Marktmannen wiki AI-platforms

ARC-AGI-3 en GPT-5.6

Laatst bijgewerkt

TL;DR: GPT-5.6 (Sol) haalde in juli 2026 bij maximale redeneerinspanning 96,5% op ARC-AGI-1 en 92,5% op ARC-AGI-2 maar slechts 7,8% op ARC-AGI-3 (wel als eerste model een gewonnen publiek ARC-AGI-3-spel), een stand die GPT-6 Astra (03-09-2026) met 62,7% (Standard harness) en 98,6% (Provider Adapter) inmiddels heeft achterhaald — de score hangt sterk af van de harness.

Vertaling/analyse (oorspronkelijk Alberto Romero, The Algorithmic Bridge) van OpenAI's GPT-5.6-lancering, bekeken door de lens van de ARC-AGI-benchmarkreeks van François Chollet.

De kern: twee soorten intelligentie

  • Gekristalliseerde intelligentie: patronen en taken die het model al kent uit trainingsdata — hier zijn frontier-modellen inmiddels overweldigend goed in (wiskundebewijzen, agentic coding).
  • Fluïde intelligentie: ter plekke, efficiënt problemen oplossen waar je nog nooit mee te maken hebt gehad, zonder bekende regels of skillset. Mensen doen dit moeiteloos (bijv. een onverwacht object op de weg herkennen en erop reageren zonder het te kunnen benoemen); AI worstelt zodra een probleem "buiten de verdeling" valt.

ARC-AGI-3 is zo ontworpen dat het voor mensen intuïtief aanvoelt (volgens ARC Prize is het "100% human-solvable"; 100% betekent even efficiënt als de mediane mens) maar draait om precies dat soort fluïde oriëntatie in een onbekende spelomgeving.

Wat GPT-5.6 (Sol) liet zien (stand juli 2026)

  • ARC-AGI-1 en -2: bij maximale inspanning 96,5% / 92,5%; bij medium 92,5% / 67,1%; bij low 74,5% / 42,5%. Volgens de bron tegen verwaarloosbare kosten per taak — een nieuw Pareto-front voor prestatie-efficiëntie.
  • 7,8% op ARC-AGI-3 (7,78%, max effort, 9 juli 2026) — laag in absolute zin, maar een kwalitatieve mijlpaal: volgens ARC Prize het eerste model dat een publiek ARC-AGI-3-spel won (ft09, 87%).
  • Waarom Sol won waar andere modellen faalden: volgens de bron oriënteert het zich sneller en beter in een nieuwe omgeving en doorgrondt het meestal de kernmechanismen van een level. Faalt het, dan gebeurt dat volgens de bron vooral in de planning-/uitvoeringsfase, niet in de waarnemingsfase.
  • Waar het misgaat: naarmate de benodigde redeneerketen dieper wordt, kan het model wat het net heeft geleerd niet meer samenvoegen tot een werkend plan — een geheugen-/planningsprobleem, geen waarnemingsprobleem. Volgens de bron kostte de volledige evaluatie bij maximale redeneerinspanning bijna $20.000.

Huidige stand (oktober 2026)

  • Sol is niet meer de topscore. GPT-6 Astra (03-09-2026) haalt op ARC-AGI-3 62,7% met de Standard harness (max) en 98,6% met een Provider Adapter (max); de kop van het ARC Prize-blog noemt 99,9% (Provider Adapter, high, ~$18,8K).
  • De harness bepaalt veel: hetzelfde model scoort met een Provider Adapter fors hoger dan met de Standard harness. Vergelijk scores dus alleen binnen dezelfde opzet.
  • Opvolgers bij OpenAI: GPT-6 Astra, GPT-6 Sol/Luna en GPT-6.1 Sol (aanbevolen voor complex werk); GPT-5.5 gaat 14-10-2026 uit ChatGPT/Work/Codex (API blijft). Zie GPT vs Claude Modelvergelijking.

Waarom dit relevant is voor de AGI-discussie

AI-bedrijven zijn de definitie van AGI economisch gaan invullen ("80% van kantoorwerk automatiseren", omzetdrempels) omdat daar het commerciële geld zit. Het artikel houdt een strengere lat aan: er is geen AGI zolang ARC-AGI in al zijn versies niet is "uitgespeeld". Zodra ARC-AGI-3 op zijn beurt verslagen wordt (volgens de bron werkt het ARC Prize-team al aan ARC-AGI-4), verschuift de lat opnieuw — met de open vraag hoeveel iteraties dit patroon nog kan doormaken.

Praktische implicatie

Voor agentic/coding-taken (waar Marktmannen mee werkt) is het gat vrijwel gedicht — dat verklaart waarom Claude Code, Codex en vergelijkbare harnassen zo snel bruikbaarder worden. Voor taken die om echte oriëntatie in een nieuwe, ongestructureerde situatie vragen (geen bekende tools, geen bekend patroon) blijft voorzichtigheid geboden: het model oriënteert zich prima, maar valt terug op geheugen-/planningsfouten zodra de keten lang wordt.

Open vragen

  • Hoe presteert Anthropics Fable op ARC-AGI-3? Het artikel merkte in juli 2026 op dat dit nog niet getest was.
  • Nu GPT-6 Astra met een Provider Adapter vrijwel het maximum haalt: telt ARC-AGI-3 daarmee als "uitgespeeld", of alleen de Standard-harness-score?
  • Vertaalt de "fluïde vs. gekristalliseerde intelligentie"-scheiding zich naar iets meetbaars in agentic-coding-taken, of blijft het een aparte as?

Verwante concepten

Bronnen

#modellen

Backlinks