繁體中文
返回時間線

同一個模型的兩個 ARC-AGI-3 分數,相差 36 個百分點

時代:大模型時代 · 2020年代—現在

2026年9月2日,ARC Prize 公布了對 GPT-6 Astra 的 ARC-AGI-3 核驗結果,涵蓋十二種 harness 配置。在同一個半私有評測集上,標準 harness 下模型得 62.71%,該 harness 允許模型自行選擇帶走哪些筆記;Provider Adapter harness 下得 98.55%,它在請求之間保留推理狀態並對長對話做壓縮。Astra 在 96% 的關卡上使用的動作數少於受測人類的中位數。這個分數衡量的是模型連同它的鷹架,因此兩個數字都記錄在此。

ARC Prize Foundation

來源與支持內容

  1. GPT-6 Astra — ARC-AGI Results

    ARC Prize Foundation · 來源類型:機構檔案

    ARC Prize 記錄了同一模型在同一半私有測試集上,用 Standard harness 得 62.71%,用 Provider Adapter harness 得 98.55%,共涉及十二種 harness 配置。

    發布日期: ·存取日期:

  2. OpenAI’s GPT-6 Astra on ARC-AGI-3

    ARC Prize Foundation · 來源類型:一手公告

    ARC Prize 自己的分析指出,Standard harness 下花費 2.6 萬美元得 62.7%,Provider Adapter 下花費 1.9 萬美元觀測到的最佳成績為 99.9%,並稱 Astra 在 96% 的關卡上所用動作少於受測人類的中位數。

    發布日期: ·存取日期: