要闻 财经 宏观 商业 金融 理财 行情 股票 外汇 期货 基金 综合
首页 > 综合 > 正文

【当前热闻】AI前哨|AI胡编乱造怎么办?OpenAI称找到解决“幻觉”方法

2023-06-01 10:17:30 凤凰网科技


【资料图】

凤凰网科技讯 《AI前哨》北京时间6月1日消息,ChatGPT开发商OpenAI周三发布了一份研究论文,阐述了如何解决人工智能(AI)“幻觉”的新方法。AI幻觉指的是聊天机器人用编造的信息进行回应。

OpenAI要对抗AI幻觉

ChatGPT或谷歌“巴德”(Bard)这样的聊天机器人会完全捏造信息,表现得好像他们在滔滔编程客栈不绝地讲事实,这就是AI幻觉。举个例子:在谷歌2月份为巴德拍摄的宣传视频中,这个聊天机器人对詹姆斯韦伯太空望远镜做出了不真实的陈述。最近,ChatGPT在纽约联邦法院的一份文件中引用了“虚假”案例,涉案的纽约律师可能面临制裁。

OpenAI研究人员在报告中称:“即使是最先进的模型也容易生成谎言,它们在不确定的时刻会表现出捏造事实的倾向。这些幻觉在需要多步骤推理的python领域尤其是个问题,因为一个逻辑错误就足以破坏一个更大的解决方案。”

为了对抗AI幻觉,OpenAI找到了一种潜在新策略:训练AI模型在推理出答案的每个正确步骤上给予自我奖励,而不仅仅是等到推理出正确的最终结论时才给予奖励。研究人员表示,这种方法被称为“过程监督”,与之相反的是“结果监督”,这可能会训练出更好的可解释AI,因为这种策略鼓励模型按照更类似人类的“思考”方式进行推理。

“检测和减轻一个模型的逻辑错误或幻觉,是构建一致性通用人工智能(AI)的关键步骤。”OpenA编程I数学论文生成器(mathgen)研究员卡尔科布(Karl Cobbe)在接受采访时表示。他指出,尽管OpenAI并非发明了过程监督方法,但编程该公司正在推动其发展。“这项研究的动机是解决幻觉问题,以使模型在解决具有挑战性的推理问题方面能力更强。”

科布说,OpenAI已经发布了一个附带的数据集,其中包含80万个人类标注,它们用于训练研究论文中提到的模型。凤凰网科技《AI前哨》对此将持续关注。

标签:

最近更新