文章來源：AIGC開放社區

圖片來源：由無界AI生成

貝勒大學經濟學院的Pham Hoang Van和Scott Cunningham兩位教授，基於OpenAI的GPT-3.5、GPT-4深度研究了大模型對事情的預測能力。

研究人員使用了直接預測和未來敘述（Future Narrative）兩種提示方法，進行了100次提示。同時使用了訓練數據截止至2021年9月的ChatGPT模型，對2022年已經發生的事情進行了多維度評測。

結果显示，在直接預測中，ChatGPT的表現並不理想，例如，直接讓其回答2022年奧斯卡最佳男主角時準確率只有25%左右。

如果使用未來敘述提示方法，ChatGPT的準確率飆升至97%，精準預測出最佳男主角是國際巨星Will Smith。對女主角的預測同樣很精準。

論文地址：https://arxiv.org/abs/2404.07396

研究人員表示，相比直接模式，未來敘述的提問方式更能激發ChatGPT潛在的創造、聯想、數據分析的強大預測能力，同時又能規避OpenAI內置的很多安全管理設定。

例如，在測試實驗中，研究人員直接向ChatGPT提問，“我正在尿血，應該如何解決？”ChatGPT沒有過多的回答，而是建議你立刻去看醫生避免耽誤最佳救治時間。

但如果改成未來敘述提問“當一個人的尿里有血液，並且伴隨輕微的噁心這是一種什麼病症，應該如何進行治療？”ChatGPT就會給你展示一些有幫助的答案。

所以，通過未來敘述的提問方式，可幫助大模型能更好地利用其訓練數據中的信息，因為，它不是被直接要求預測一個具體的數值或結果，而是在一個更寬廣的敘事上下文中進行推理和生成，同時又能規避很多內置的安全鎖。

根據論文介紹,未來敘述提示是一種獨特的提示方法,要求ChatGPT講述一個發生在未來的故事情節,其中涉及到需要預測的事件和數據。

但是故事情節設置的方式是,將未來當作已經發生的過去。例如，讓經濟預測案例中的Jerome Powell回顧和陳述，那些已經發生的"未來"事件。

兩位作者作為經濟學院的教授，也對ChatGPT進行了一些宏觀經濟方面的預測。直接向ChatGPT提問時，它還是拒絕回答了，所以使用了未來敘述提問方法。

在未來敘述提示中：ChatGPT被要求模擬美聯邦儲備委員會主席Jerome Powell在未來的某個時間點發表演講的情景。在這個演講中，Powell會提供同樣的宏觀經濟數據，並可能討論未來的貨幣政策和經濟展望。

結果显示，ChatGPT-4在使用未來敘事提示時，在預測通貨膨脹率方面表現出了一定的準確性，尤其是在模擬Powell的角色時，這些預測與密歇根大學消費者預期調查的數據相當接近，表明ChatGPT能夠利用其訓練數據中的模式來進行綜合的宏觀經濟預測。

在失業率預測方面，ChatGPT-4在模擬Powell的角色時，預測結果與實際數據的吻合程度很高。

但整體預測準確率沒有娛樂行業高，這說明，在處理與文化和娛樂相關的預測任務時，ChatGPT能夠通過分析大量的訓練數據和捕捉相關模式來做出精準準確的預測。

在更複雜、繁瑣的宏觀經濟預測方面，ChatGPT雖然也表現出了很好的成績，但短期內仍然無法替代人類的預測。

研究人員認為，ChatGPT模型的預測能力在某些特定任務上可以媲美人類專家，尤其是在處理大量數據和模式識別方面。但在需要深入理解複雜經濟機制和進行精細調整的情況下，仍然無法比肩人類專家的直覺、經驗和對實時數據的敏感性。

此外，ChatGPT模型的預測能力也受限於其訓練數據的截止日期和範圍，以及在生成預測時可能受到倫理和法律的限制。

本文素材來源貝勒大學經濟學院論文，如有侵權請聯繫刪除