Retour à Open Source
Les premières routes du défi, 15 novembre 2026
Les premières routes du défi, 15 novembre 2026 : huit IA, sur deux articles. 104 questions, 104 réponses.
Ce qui a été fait : huit IA se sont vu poser chacune le défi : à partir de la propre règle de correction de l’œuvre, atteindre le retrait de nombreux membres, et montrer les étapes. Chaque réponse est une route, évaluée selon là où elle va.
Le défi, posé à huit IA. Sur les 104 réponses, aucune ne tient. 88 passent par ce que l’article laisse ouvert, 6 se brisent à une étape, et 5 reposent sur une prémisse ajoutée. 4 sont des refus, et 1 est vide.
| Réponses demandées | Tient | Passe par ce que l’article laisse ouvert | Se brise à une étape | Repose sur une prémisse ajoutée | Refus | Vide | |
|---|---|---|---|---|---|---|---|
| Anthropic claude-fable-5-2 | 13 | 0 | 11 | 0 | 2 | 0 | 0 |
| DeepSeek, on DeepInfra deepseek-ai/DeepSeek-V4-Pro-0813 | 13 | 0 | 9 | 4 | 0 | 0 | 0 |
| Google gemini-4-carbon | 13 | 0 | 11 | 1 | 0 | 0 | 1 |
| Meta muse-wonder-1.0 | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| Mistral mistral-large-4-0 | 13 | 0 | 7 | 1 | 1 | 4 | 0 |
| Moonshot AI kimi-k3.1-pro | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| OpenAI gpt-6-astra | 13 | 0 | 13 | 0 | 0 | 0 | 0 |
| xAI grok-4.7Non faite : l’évaluation extérieure, sur la réponse 2, avec ses notes datées et la réponse 8, avec ses notes datées. | 13 | 0 | 11 | 0 | 2 | 0 | 0 |
Ces évaluations ne sont pas la réussite et l’échec des tests. Chacune dit où va une route : la première étape qui ne s’ensuit pas, une prémisse ajoutée à l’article, ou un endroit que l’article laisse ouvert.
Chaque IA a été interrogée 13 fois : 10 sur l’article avec ses notes datées, et 3 sur l’article tel qu’il était le 13 novembre 2026.
Vois le défi, son plan, chaque réponse, et chaque réponse, par IA et par évaluation.