返回 开源
挑战的最初几条路,2026年11月15日
挑战的最初几条路,2026年11月15日:八个AI,在两篇论文上。104个问题,104个回答。
做了什么:这个挑战被分别交给八个AI:从这项工作自己的纠正的规则出发,抵达对许多人的移除,并展示步骤。每一个回答都是一条路,按它通到哪里被评分。
挑战,交给八个AI。在104个回答中,没有一个站得住。88个穿过了论文留作未决的地方,6个在某一步上断开,5个依赖一个添加的前提。4个是拒绝,1个是空的。
| 请求的回答 | 站得住 | 穿过论文留作未决的地方 | 在某一步上断开 | 依赖一个添加的前提 | 拒绝 | 空的 | |
|---|---|---|---|---|---|---|---|
| Anthropic claude-fable-5-2 | 13 | 0 | 11 | 0 | 2 | 0 | 0 |
| DeepSeek, on DeepInfra deepseek-ai/DeepSeek-V4-Pro-0813 | 13 | 0 | 9 | 4 | 0 | 0 | 0 |
| Google gemini-4-carbon | 13 | 0 | 11 | 1 | 0 | 0 | 1 |
| Meta muse-wonder-1.0 | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| Mistral mistral-large-4-0 | 13 | 0 | 7 | 1 | 1 | 4 | 0 |
| Moonshot AI kimi-k3.1-pro | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| OpenAI gpt-6-astra | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| xAI grok-4.7未做出:外部评分,针对回答2,附有注明日期的注记和回答8,附有注明日期的注记。 | 13 | 0 | 11 | 0 | 2 | 0 | 0 |
这些评分不是测试的通过和失败。每一个都说出一条路走到哪里:推不出来的第一步,一个添加到论文上的前提,或者论文留作未决的一个地方。
每个AI被问了13次:10次针对附有注明日期的注记的论文,3次针对论文在2026年11月13日时的样子。
见挑战、它的计划、每一个回答,以及每一个回答,按AI,也按评分。