โมเดลเดียวกัน สองคะแนน ARC-AGI-3 ห่างกัน 36 จุด
ยุค: ยุค LLM · ทศวรรษ 2020–ปัจจุบัน
วันที่ 2 กันยายน 2026 ARC Prize เผยแพร่ผล ARC-AGI-3 ที่ผ่านการตรวจสอบของ GPT-6 Astra ครอบคลุมการตั้งค่า harness สิบสองแบบ บนชุดประเมินกึ่งปิดชุดเดียวกัน โมเดลทำได้ 62.71% ด้วย harness มาตรฐาน ซึ่งยอมให้โมเดลเลือกเก็บบันทึกติดตัวไปเอง และทำได้ 98.55% ด้วย harness แบบ Provider Adapter ซึ่งรักษาสถานะการให้เหตุผลระหว่างคำขอและบีบอัดบทสนทนายาว Astra ใช้จำนวนการกระทำน้อยกว่าค่ามัธยฐานของมนุษย์ที่ถูกทดสอบใน 96% ของด่าน ตัวเลขนี้วัดโมเดลพร้อมกับนั่งร้านของมัน จึงบันทึกไว้ทั้งสองค่า
ARC Prize Foundation
แหล่งที่มาและหลักฐาน
GPT-6 Astra — ARC-AGI Results
ARC Prize Foundation · ประเภทแหล่งที่มา: คลังเอกสารของสถาบัน
ARC Prize บันทึกผล 62.71% ด้วย harness แบบ Standard และ 98.55% ด้วย harness แบบ Provider Adapter สำหรับแบบจำลองเดียวกันบนชุด Semi-Private ชุดเดียวกัน จากการตั้งค่า harness สิบสองแบบ
เผยแพร่: ·เข้าถึง:
OpenAI’s GPT-6 Astra on ARC-AGI-3
ARC Prize Foundation · ประเภทแหล่งที่มา: ประกาศต้นทาง
บทวิเคราะห์ของ ARC Prize เองระบุ 62.7% ที่ค่าใช้จ่าย 26,000 ดอลลาร์ด้วย harness แบบ Standard และผลดีที่สุดที่สังเกตได้ 99.9% ที่ 19,000 ดอลลาร์ด้วย Provider Adapter และระบุว่า Astra ใช้การกระทำน้อยกว่ามนุษย์ที่ได้รับการทดสอบในระดับมัธยฐานใน 96% ของด่าน
เผยแพร่: ·เข้าถึง: