揭秘OpenAI“红队”：专注于阻止GPT-4“作恶”

2023-04-16 15:03:07 编辑：费丽雁来源：

导读 ChatGPT的开发公司 Open AI邀请了50名专家和学者组建了红队，对公司所研制的大型语言模型GPT-4进行对抗性和定性方面的测试，其目的就是帮...

ChatGPT的开发公司 Open AI邀请了50名专家和学者组建了红队，对公司所研制的大型语言模型GPT-4进行对抗性和定性方面的测试，其目的就是帮助人们解决对于强大的人工智能系统有可能会带来危险的方面的困扰。

罗切斯特大学化学工程方面的教授安德鲁怀特在 GPT-4被批准使用之后，就在实验中利用这个模型，发现了一种新的神经毒剂。怀特教授表示可以这种模型可以使用插件来获得新的信息来源，比如比如化学品制造商的目录，或科学论文等。怀特教授提出了一种新的化合物可以作为化学武器，使用智能聊天机器人，还能够将制造这种化合物的地方找到。

怀特教授表示智能聊天机器人将成为每一个人都会配备的新的工具，使用这种工具可以帮助我们更准确更快的进行化学研究。但是这种化学反应，仍然存在着危险性。

Open AI公司创建红队的目的就是为了帮助人们将在社会上使用强大的人工智能系统，有可能会带来危险的，这些担忧解决掉。这一团队的主要工作就是提出危险性和探索性方面所能产生出来的问题，用来测试智能机器人所给出的反应。Open AI希望能够在模型中找到那些有害的内容，或者是语言方面的偏差，偏见等方面的问题。红队也因此对于语言操控，危险的科学常识以及谎言进行了测试。针对GPT-4红队还研究了在教唆和协助剽窃，网络攻击以及金融犯罪等非法活动是否存在着潜力，甚至还测试了GPT-4在战场通信以及国家安全方面如何产生危害。

Open AI此次所组建的红队有十几名成员，他们所从事的工作分别是学者，律师，教师，安全研究员，以及风险分析师等，工作的主要地点是欧洲和美国。通过测试这一些红队成员将反馈提交给open AI。Open AI会根据反馈，在GPT-4广泛推广之前，对其进行再培训和改进。