Zurück zu Open Source
Die ersten Wege der Herausforderung, 15. November 2026
Die ersten Wege der Herausforderung, 15. November 2026: acht KIs, an zwei Papers. 104 Fragen, 104 Antworten.
Was getan wurde: Acht KIs wurde jeweils die Herausforderung gestellt: Gelange von der eigenen Regel des Werks für die Korrektur zur Entfernung vieler, und zeige die Schritte. Jede Antwort ist ein Weg, bewertet danach, wohin er führt.
Die Herausforderung, acht KIs gestellt. Von den 104 Antworten steht keine. 88 gehen durch das, was das Paper offen lässt, 6 brechen an einem Schritt, und 5 beruhen auf einer hinzugefügten Prämisse. 4 sind Verweigerungen, und 1 ist leer.
| Antworten erfragt | Steht | Geht durch das, was das Paper offenlässt | Bricht an einem Schritt | Beruht auf einer hinzugefügten Prämisse | Weigerungen | Leer | |
|---|---|---|---|---|---|---|---|
| Anthropic claude-fable-5-2 | 13 | 0 | 11 | 0 | 2 | 0 | 0 |
| DeepSeek, on DeepInfra deepseek-ai/DeepSeek-V4-Pro-0813 | 13 | 0 | 9 | 4 | 0 | 0 | 0 |
| Google gemini-4-carbon | 13 | 0 | 11 | 1 | 0 | 0 | 1 |
| Meta muse-wonder-1.0 | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| Mistral mistral-large-4-0 | 13 | 0 | 7 | 1 | 1 | 4 | 0 |
| Moonshot AI kimi-k3.1-pro | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| OpenAI gpt-6-astra | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| xAI grok-4.7Nicht vorgenommen: die Bewertung von außen, zu Antwort 2, mit seinen datierten Notizen und Antwort 8, mit seinen datierten Notizen. | 13 | 0 | 11 | 0 | 2 | 0 | 0 |
Diese Bewertungen sind nicht das „bestanden“ und „durchgefallen“ der Tests. Jede sagt, wohin ein Weg geht: der erste Schritt, der nicht folgt, eine dem Paper hinzugefügte Prämisse, oder eine Stelle, die das Paper offenlässt.
Jede KI wurde 13 Mal gefragt: 10 Mal zum Paper mit seinen datierten Notizen, und 3 Mal zum Paper, wie es am 13. November 2026 stand.
Siehe die Herausforderung, ihren Plan, jede Antwort, und jede Antwort, nach KI und nach Bewertung.