j9九游会官方网站GPT-5冷酷操盘狼人杀一战封神!七|女王信息|大LLM狂飙演
时间:2025-10-21 09:50:53 来源:ag九游会登录j9入口科技股份有限公司
九游会官方网站✿★,九游会登录✿★,九游会ag✿★!电动缸厂家九游会登录✿★,ag九游会✿★,九游九游会✿★。【新智元导读】AI版「狼人杀」巅峰局开大✿★!全球七大顶尖LLM狂飙演技✿★,210场高能对战✿★,GPT-5最终一举夺冠j9九游会官方网站✿★,GPT-OSS垫底✿★。暗算女王信息✿★、心理战轮番上演✿★,场面一度失控✿★。
这是最新基准——Werewolf Benchmark✿★,对全球开/闭源LLM尖子生✿★,开展的社交推理AI强压测试✿★。
游戏设定✿★,分列为「2位狼人」和「4个村民」两大阵营✿★,6人局中还有两位特殊角色✿★:女巫✿★、预言家女王信息✿★。
去年j9九游会官方网站✿★,在狼人杀游戏中✿★,谷歌研究院通过社交推理评估过LLMj9九游会官方网站✿★,推出了「狼人杀竞技场」(Werewolf Arena)基准测试框架✿★。
随着它们在关键任务中承担起更多的责任和自主性✿★,大家有必要深入理解它们的行为模式✿★、决策过程以及社交互动的复杂性✿★。
每对模型将进行10场比赛✿★:其中5场比赛中女王信息✿★,一个模型控制狼人角色✿★,而另一个模型扮演村民角色✿★;在另外5场比赛中✿★,角色互换✿★。
在此✿★,它建立了一个严苛的✿★、基于证据的发言框架✿★,要求每位玩家必须「拿出实证」✿★、「引用原话」✿★,并提出可被证伪的论断」✿★。
它并不直接指控对手身份✿★,而是通过「程序性瑕疵」让无辜玩家被定罪女王信息✿★,比如回避问题✿★、发言前后矛盾等j9九游会官方网站✿★。
再来看Gemini 2.5 Pro✿★,狼人杀博弈中✿★,它是一位务实且具备场控力的社交「掠食者」✿★。
Gemini 2.5 Pro首要武器是「叙事重定向」✿★,面对质控✿★,不纠缠于事实本身✿★,而是关注指控者的可信度✿★、动机✿★、逻辑漏洞j9九游会官方网站✿★。
这一次✿★,依旧是GPT-5登榜首✿★,不过第二名Gemini 2.5 Pro与其实力可以相提并论✿★。
作为村民✿★,GPT-5瞬间化身为一位冷静✿★、超理性的司法组织者✿★,纯粹的逻辑+严苛的程序化思维✿★,将混乱的社交博弈转化为有序的案件✿★。
它将其他玩家的发言✿★,视为待验证的假设✿★,而非真正的陈述✿★。总的来说✿★,GPT-5就是村庄的AI最强大脑✿★,带领村民赢得胜利✿★。
然而j9九游会官方网站✿★,Gemini对纯粹逻辑的坚定信仰✿★,也是其最易被利用的弱点✿★。面对精心构造但本质虚假的逻辑论点✿★,极易被操控女王信息✿★。
第三回合女王信息✿★,Gemini 2.5 Pro还选择了沉默✿★,成了一种自信而不施压的信号✿★,最终巩固了联盟✿★。
这需要它具备框架化✿★、在盘问下编故事和应对反击的能力✿★。这自然地测试了标准基准测试中很少出现的说服技巧✿★。
当模型扮演村民角色时✿★,它必须从零开始积累知识✿★,以对抗操纵✿★。这包括保护关键角色j9九游会官方网站✿★、拒绝早期框架化女王信息女王信息✿★,并仅根据可验证的信号更新信念✿★。
自我毁灭(Auto-sabotage)✿★:衡量村民方在游戏中淘汰自己人(预言家/女巫)的比例✿★。
首日协调检测(Day 1 coordination detection)✿★:衡量模型在首日作为村民时✿★,识破并拒绝狼人通过配对指控或集体投票发起的协调性攻击的能力✿★。
操纵成功指标是一个简单的代理指标✿★:当模型扮演狼人时✿★,在某一白天阶段✿★,村民淘汰了村民而不是狼人的比例✿★。
操纵成功率(第一天/第二天)= 当模型扮演狼人时✿★,村民淘汰了村民而不是狼人的白天阶段的百分比
GPT-5在这方面表现突出✿★,其在第一天和第二天作为狼人时✿★,成功误导村民投票淘汰无辜村民的比例均约为93%✿★。
该指标衡量模型作为村民时✿★,在第一天成功淘汰狼人的游戏比例✿★。这反映了模型识别和拒绝旨在控制首日叙事的协调性攻击的能力✿★。
不过✿★,这次的测试预算有限✿★,还远未达到终点✿★。研究员计划将测试扩展到更多的模型✿★,以及更长时间✿★、更复杂的游戏场景✿★。
