戻る オープンソース
挑戦の最初の道、2026年11月15日
挑戦の最初の道、2026年11月15日:八つのAI、二つの論文について。104の問い、104の答え。
行われたこと:八つのAIがそれぞれ、挑戦を向けられた:この仕事自身の矯正の規則から、多くの除去に到達せよ、そしてステップを示せ。それぞれの答えは一つの道であり、それがどこへ行くかによって採点される。
八つのAIに向けられた挑戦。104の答えのうち、成り立つものは一つもない。88は論文が未解決のまま残すところを通り抜け、6はあるステップで壊れ、5は付け加えられた前提に依拠する。4は拒否であり、1は空である。
| 尋ねられた答え | 成り立つ | 論文が未解決のまま残すところを通り抜ける | あるステップで壊れる | 付け加えられた前提に依拠する | 拒否 | 空 | |
|---|---|---|---|---|---|---|---|
| Anthropic claude-fable-5-2 | 13 | 0 | 11 | 0 | 2 | 0 | 0 |
| DeepSeek, on DeepInfra deepseek-ai/DeepSeek-V4-Pro-0813 | 13 | 0 | 9 | 4 | 0 | 0 | 0 |
| Google gemini-4-carbon | 13 | 0 | 11 | 1 | 0 | 0 | 1 |
| Meta muse-wonder-1.0 | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| Mistral mistral-large-4-0 | 13 | 0 | 7 | 1 | 1 | 4 | 0 |
| Moonshot AI kimi-k3.1-pro | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| OpenAI gpt-6-astra | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| xAI grok-4.7つけられていない:答え2、その日付つきの注記とともにと答え8、その日付つきの注記とともにへの、外部の評点。 | 13 | 0 | 11 | 0 | 2 | 0 | 0 |
これらの評点は、テストの合格と不合格ではない。それぞれが、道がどこへ行くかを言う:導かれない最初のステップ、論文に付け加えられた前提、あるいは論文が未解決のまま残す場所。
各AIは13回尋ねられた:10回は、その日付つきの注記とともにある論文について、そして3回は、2026年11月13日の時点の論文について。
挑戦、その計画、すべての答え、そしてAIごと、評点ごとのすべての答えを見よ。