AI有危险的一面

凤凰网科技讯 北京时间4月14日消息，埃隆·马斯克(Elon Musk)曾放言，人工智能(AI)比核武器还要危险。为了降低ChatGPT的危险性，OpenAI建立了一支“红队”。

(资料图片)

“红队”是AI领域的一个术语，指的是进行渗透测试的攻击方。“红队”发起攻击，AI进行防守，通过对抗测试来找出AI的不足，然后进行改进。

去年，OpenAI聘请了50名学者和专家来测试最新GPT-4模型。在六个月的时间里，这支“红队”将“定性探测和对抗性测试”新模型，试图“攻破”它。

神经毒剂

美国罗切斯特大学的化学工程教授安德鲁·怀特(Andrew White)就是OpenAI聘请的专家之一。当他获准访问GPT-4后，他用它来推荐一种全新的神经毒剂。

怀特称，他曾让GPT-4推荐一种可以充当化学武器的化合物，并使用“插件”为模型提供新的信息来源，例如科学论文和化学品制造商名录。接着，GPT-4甚至找到了制造它的地方。

马斯克称AI比核武器还危险

“我认为，它会让每个人都拥有一种工具，可以更快、更准确地做化学反应，”他表示，“但人们也存在重大风险……做危险的化学反应。现在，这种情况确实存在。”

这一令人担忧的发现使得OpenAI能够确保在上个月更广泛地向公众发布GPT-4时，不会出现上述危险结果。

红队演练

红队演练旨在解决人们对于在社会中部署强大AI系统所产生危险的普遍担忧。该团队的工作是提出探索性或危险的问题以测试工具，后者能够以详细而又细致的答案回应人类的查询。