같은 모델, 36포인트 차이 나는 두 ARC-AGI-3 점수
시대: LLM 시대 · 2020년대~현재
2026년 9월 2일 ARC Prize는 GPT-6 Astra의 ARC-AGI-3 검증 결과를 열두 가지 harness 구성에 걸쳐 공개했다. 같은 반비공개 평가 집합에서 모델은 표준 harness로 62.71%를 얻는다. 이 harness는 모델이 남기기로 고른 메모를 이어갈 수 있게 한다. Provider Adapter harness로는 98.55%를 얻으며, 이는 요청 사이에 추론 상태를 보존하고 긴 대화를 압축한다. Astra는 96%의 레벨에서 시험받은 사람의 중앙값보다 적은 동작을 썼다. 이 수치는 모델과 그 발판을 함께 잰 것이므로 둘 다 기록한다.
ARC Prize Foundation
출처와 근거
GPT-6 Astra — ARC-AGI Results
ARC Prize Foundation · 출처 유형: 기관 기록
ARC Prize는 같은 모델이 같은 Semi-Private 세트에서 Standard 하네스로 62.71%, Provider Adapter 하네스로 98.55%를 기록했으며, 하네스 구성은 열두 가지에 걸친다고 적는다.
게시일: ·접근일:
OpenAI’s GPT-6 Astra on ARC-AGI-3
ARC Prize Foundation · 출처 유형: 1차 발표
ARC Prize 자체 분석은 Standard 하네스에서 2만 6000달러로 62.7%, Provider Adapter에서 1만 9000달러로 관측된 최고치 99.9%를 들고, Astra가 96%의 레벨에서 테스트에 참여한 사람들의 중앙값보다 적은 행동을 썼다고 밝힌다.
게시일: ·접근일: