大宗商品交易市场会用一套专业的指标来评估AI的预测到底有多准【新智元导读】AI能像科幻影戏中的先知相似预测来日吗？一个名为「Prophet Arena」的全新基准测试，正通过预测确凿天下变乱来评估AI的「预言」才干。

　　以ChatGPT为代外的AI，则能够按照过去的语料来「预测下一个Token」。

　　那题目来了，AI能不行像先知相似，从全天下的混乱新闻里寻找蛛丝马迹，凿凿地预测来日呢？

　　正在昨晚的男篮亚洲杯冠军抢夺战中，中邦男篮虽以1分之差惜败澳大利亚，但已是近十年来的最好功劳！

　　信赖绝大片面人都不会猜到这个比分，那么，AI能否按照中邦队此前的显露，提前预测到呢？

　　更进一步的，AI能否像拉普拉斯妖相似，正在获取了当来世界的通盘新闻后，准确预测来日的整个？

　　要是它能正在某一倏得了然宇宙中通盘粒子的职位与速率，而且齐备贯通自然法则。

　　即日要先容的Prophet Arena便是一个通过及时更新简直凿天下预测职分来评估AI体例预测智能的基准测试。

　　把商场共鸣、自愿化预测、新闻收拾和社区洞察联结起来，酿成更强的具体预测才干

　　为「人机团结」而生：你能够给AI供应线索，看看它的预测若何转移；AI也会把它的思量流程告诉你。

　　直面确凿天下：AI的预测直接与确凿的投注决定挂钩，显露好的模子真的能正在虚拟商场里赚到钱。

　　Prophet Arena以及时预测商场变乱为依托，初度设备了一个无法「刷题」的动态基准。

　　Prophet Arena从像Kalshi和Polymarket云云的预测商场平台挑选热门、众样且周期性简直凿变乱行为考题。

　　Kalshi是一家美邦的金融往还所和预测商场平台，是美邦第一个受美邦商品期货往还委员会（CFTC）囚禁的、用心于往还「变乱结果」的往还所

　　AI模子们使用探寻引擎，像侦探相似网罗合于某个变乱的信息报道，收拾成一份精练的「谍报简报」。同时，也会把当时的商场价值（能够看作是公共的整体聪颖）放进去。

　　拿到不异的谍报后，每个AI模子都要提交一份注意的「预测呈报」：对通盘能够的结果给出一个概率漫衍，并附上长篇大论的起因，注明己方为什么这么看。

　　变乱完结，结果揭晓。会用一套专业的目标来评估AI的预测毕竟有众准，然后更新正在一个及时排行榜上。

　　排行榜要紧看两个目标：一个是权衡凿凿度和校准度的Brier分数（越高越好），另一个是模仿确凿投注的均匀回报（看谁能赢利）。

　　除了上述两个中枢目标外，Prophet Arena还采用了受统计学和心情衡量修模启迪的高级评估手段，如项目反响外面（Item Response Theory，IRT）和广义Bradley-Terry（BT）模子。

　　正在Brier分数不高（0.3-0.5分）的区间里，反而出生了很众回报率惊人的预测。

　　好比一场温布尔登网球赛，赛前商场广泛以为选手保罗有84%的胜率，以至正在开赛前一度攀升至95%。

　　恰是这微细的分歧，让模子鄙人注时，以为押注敌手奥夫纳获胜的「性价比」更高。

　　你看，AI并没有凿凿预测到胜者，因而它的凿凿度分数（Brier分数）很普通。

　　这注明，成为一个凿凿的先觉和成为一个赢利的投资者，是两种不齐备不异的技术。

　　为了探求这一点，检讨了每个Brier得分区间的模子组成，每个模子用分别的颜色暗示。

　　绝众人半LLM正在预测时偏向于与主流新闻保留一概，是以大片面预测聚合正在高Brier分数区间。

　　好比正在「AI囚禁法则会正在2026年前成为联邦执法吗？」这个变乱上，商场以为能够性唯有25%。

　　激进派代外Qwen3：它看到各式法案都正在饱动，感应势头很猛，直接给出了75%的超高概率。

　　落后｜后进派代外Llama 4 Maverick：它也看到了同样的新闻，但以为立法流程庞杂又平缓，因而只给出了比商场略高一点的35%。

　　AI的预测并非随机，它们有着机合化的推理和特殊的危机偏好，就像人类专家也会有主见不合相似。

　　比如正在圣地亚哥与众伦众的美邦职业足球大定约竞争中，o3-mini正在1美元的投注上取得了9美元的回报。

　　按照商场数据和信息起原，o3-mini预测众伦众获胜的概率为30%，而商场隐含的概率仅为11%（价值=0.11）。

　　假使众伦众是不被看好的一方，但AI识别到了正的生机值，并因为其最大的上风比率30%/11%≈3。

　　它总能找到少少商场没提防到的纤细分别，然后下注正在那些「性价比」超高的选项上。

　　就像正在上面那场足球赛中，商场以为众伦众队唯有11%的胜算，但o3-mini经历认识以为有30%。

　　因而，正在预测的天下里，获胜的要害不正在于每次都对，而正在于你对的时刻能带来众大的回报。

　　数值越低（颜色越深的单位格）暗示概率推理更亲近一概；数值越高（颜色越浅的单位格）则解释不合越大。

　　个中一个超过的模子是DeepSeek R1，它的预测结果不时与其他模子天差地别。

　　与Kimi K2、o3和Llama 4 Maverick等模子比拟，它的L2隔绝永远高于0.7，这解释其能够采用了分别的校准格式或内部决定机制。

　　正在频谱的另一端，诸如Grok-4和GPT-5之类的模子常常作出高度一概的预测，L2隔绝每每低于0.3。

　　换句话说，这张图出现了AI预测的众样性：有些模子酿成「群体共鸣」、有些模子像「特立独行的反驳者」。

　　设念，AI体例将成为预测商场的踊跃出席者，将人类的直觉洞察与AI重大的数据认识才干相联结，最终擢升统统社会的整体远睹，为那些高危机的决定供应更牢靠的凭据。

　　终归，要是说发言模子的下一步是预测下一个词，那么它的终极状态，可能便是预测这个确凿天下的下一个变乱。