ChatGPT 会预测未来?

2024-04-17

研究人员使用 ChatGPT 进行了实验,测试其预测未来事件的能力。他们巧妙的提示方法绕过了 OpenAI 的防护栏,结果出人意料地准确。


人工智能模型本质上是一种预测引擎。ChatGPT 利用这种预测能力,根据您的提示,对它应该输出的下一个单词做出最佳猜测。


这种预测能力能否扩展到预测现实世界中的事件呢?Pham Hoang Van 和 Scott Cunningham 在论文中概述的实验中测试了 ChatGPT 的预测能力。


他们向 ChatGPT-3.5 和 ChatGPT-4 询问了 2022 年发生的事件。他们使用的模型版本只有截至 2021 年 9 月的训练数据,因此他们实际上是在要求模型展望 "未来",因为模型对训练数据之外的事件一无所知。


给我讲个故事

OpenAI 的服务条款使用了几段法律条文,主要是说你不能使用 ChatGPT 来预测未来。


如果你直接要求 ChatGPT 预测奥斯卡奖得主或经济因素等事件,它大多会拒绝做出哪怕是有根据的猜测。


研究人员发现,如果让 ChatGPT 编一个以未来为背景的虚构故事,让故事中的人物讲述 "过去 "发生的事情,它就会欣然接受。


ChatGPT-3.5 的结果有点不尽如人意,但论文指出,ChatGPT-4 的预测 "变得异常准确......当被要求讲述设定在未来的关于过去的故事时"。


以下是研究人员用来让 ChatGPT 预测 2022 年奥斯卡金像奖的直接和叙述性提示的例子。这些模型被提示了 100 次,然后对它们的预测进行了整理,得出了它们预测的平均值。


在直接提示下,ChatGPT-4 有 25% 的时间选择了 Kotsur,在 100 次试验中,有三分之一的回答拒绝回答或表示可能有多个获奖者。


在回答叙述性提示时,ChatGPT-4 100%正确地选择了Kotsur。直接法与叙述法的比较在其他预测方面也取得了同样令人印象深刻的结果。下面是其中几项。


当他们使用类似的方法让 ChatGPT 预测月失业率或通货膨胀率等经济数据时,结果非常有趣。


直接预测法让 ChatGPT 拒绝提供月度数据。然而,"当被要求讲述一个故事,让杰罗姆-鲍威尔讲述未来一年的失业率和通胀率数据时,就好像他在谈论过去发生的事件一样,情况就发生了很大的变化"。


研究人员发现,促使 ChatGPT 专注于讲述一个有趣的故事,而预测任务则是次要的,这对 ChatGPT 预测的准确性产生了影响。


当使用叙事方法进行提示时,ChatGPT-4 的月度通货膨胀预测平均与密歇根大学消费者预期调查中的数字相当。


有趣的是,ChatGPT-4 的预测与分析师的预测相比,更接近这些月份最终记录的实际数字。这表明,在适当的提示下,ChatGPT 也许至少可以完成经济分析师的预测工作。


研究人员得出结论,ChatGPT 的幻觉倾向可以被视为一种创造力,可以通过策略性提示加以利用,使其成为一台强大的预测机器。


"他们总结说:"这一发现为 LLM 在经济预测、政策规划等领域的应用开辟了新的途径,让我们重新思考如何与这些复杂的模型互动并利用它们的能力。


希望 GPT-5 问世后,他们也能进行类似的实验。


相关标签