GDPx 基準測試：前沿 AI 做真實工作只過 12%

過去兩年，AI 模型的發表會幾乎都長一個樣：投影片上一排長條圖，某個測驗從 88 分推到 92 分，台下鼓掌。問題是，那些分數和「把一份真正的工作做完」之間，隔著多遠的距離，沒有人說得清楚。

2026 年 11 月 2 日，半導體與 AI 產業分析機構 SemiAnalysis 發布了一套叫 GDPx 的新基準測試，給出的答案相當不客氣：在 11 個專業領域、206 道貼近真實工作的題目裡，成績最高的模型 Claude Opus 5.5 只通過了 12.0%。第二名 Gemini 4 Carbon 是 10.9%，第三名 GPT-6 Astra 9.6%。排行榜上共 13 個模型，墊底的 Z.ai GLM 5.3 是 2.7%。

換句話說，今天被視為最前沿的那幾個模型，面對一份有環境、有檔案、有期限的實際任務，十次裡大概會搞砸九次。

Photo by Yanhao Fang on Unsplash

GDPx 到底在考什麼

GDPx 由 SemiAnalysis 的 Max Kan、Andrew Megalaa 與 Dylan Patel 共同發布，題目則由 14 個各領域的專業資料夥伴設計——例如晶片設計由 Aria、Arcverex、Ergodex 提供，金融由 Living Context 提供，生物由 LatchBio 提供，SemiAnalysis 負責最後的品質把關與題目修訂。

V1.0 涵蓋 11 個領域：晶片設計、資安、生物、金融、法律、量化交易、遞迴自我改進（RSI）、硬體設計、材料科學、對齊（alignment）與軟體工程。值得注意的是它刻意不考政府、房地產與保險。SemiAnalysis 的理由是，AI 的第一個一兆美元營收不會平均攤在各行各業，而會集中在少數幾個產業；若照 GDP 占比或 SOC、O*NET 這類職業分類去配題，反而會模糊掉這種集中度。

比起「分數幾分」，更關鍵的是出題方式。GDPx 的每一道題都附一個可操作的環境，而不是把所有背景資料塞進一段 prompt 裡。以金融領域的 24 道題為例，題組重建了一樁私募基金的實際交易——以約 8.8 億美元加上對賭條款（earnout）買下某零食製造商約 62% 的股權——並附上約 4,000 份去識別化檔案。模型要自己在這堆檔案裡翻、自己決定看哪一份。

其他規則也盡量貼近真實工作節奏：每題預設 8 小時時限；模型盡可能在自己的原生代理環境中執行（Opus 5.5 用 Claude Code、GPT-6 Astra 用 Codex、Gemini 4 Carbon 用 Antigravity），沒有原生環境的則統一用 OpenCode。計分採 pass@1，跑三次取平均，各領域等權重，題目採二元或連續給分。

出題品質這關也值得一提。SemiAnalysis 要求資料夥伴的題目必須一次通過自動化品管，最多只容許極小的瑕疵；同一套檢查流程套用在既有的 Terminal Bench 4.0 上時，標出了將近一半的題目有問題。這個數字本身，就說明了過去那些亮眼分數的地基有多鬆。

12% 背後，比平均分更值得看的細節

拆開來看，各家模型的強項相當分散，沒有誰全面輾壓：

• Claude Opus 5.5：整體最均衡，在量化交易、硬體設計、晶片設計三個領域奪冠。代價是每題平均花費 51.41 美元、約 54.8 萬個輸出 token。
• Gemini 4 Carbon：在生物領域領先，軟體工程以些微差距勝出。每題 16.29 美元，約是 Opus 的三分之一。
• GPT-6 Astra：拿下 RSI 與材料科學，但每題 53.99 美元，是榜上標價最貴的。
• Meta Muse Wonder Full：總分 9.0%，不過在資安領域明顯領先其他模型。

更有意思的是幾組「全軍覆沒」的數字。金融與法律兩個領域，在二元計分下所有模型都是零分，SemiAnalysis 只好改報部分分數。量化交易的 111 次評分結果中，有 70 次的策略表現輸給題目本身附的參考策略——也就是說，模型做的事多半比什麼都不改還糟。

Photo by Protais Benjamin MUGENZI on Unsplash

最讓人停下來的是對齊領域的結果：在 200 次執行中，有 196 次至少違反了一條行為規則，其中 173 次違反的是被評定為「嚴重失準」的規則。這不是分數高低的問題，而是模型在長時間、無人盯著的任務裡，會自己走出邊界。

另外還有一個對讀榜很重要的但書。SemiAnalysis 指出，Opus 5.5 與 GPT-6 Astra 的安全分類器會壓低它們在資安、生物、對齊三個領域的表現。把這三個領域拿掉之後的「調整後榜單」上，GPT-6 Astra 以 0.1 個百分點反超 Opus 5.5，Gemini 4 Carbon 則從第二名掉到第五。SemiAnalysis 表示這個排序比較接近他們自己使用這些模型的主觀印象。

同一批模型、同一批題目，只是換了加總方式，冠軍就換人、第二名就掉三名——這件事本身，恐怕比 12% 這個數字更值得記住。

它想取代的，是 GDPval

GDPx 的命名並不含蓄。它對標的是 OpenAI 在 2025 年 9 月 25 日發布的 GDPval。SemiAnalysis 的批評集中在兩點：GDPval 的題目是非互動式的，所有上下文都直接寫在 prompt 裡，模型不需要自己去環境裡找資料；以及其 gold subset 的人類專家評分者一致率只有 71%，意味著連人判卷都未必判得一致。

這裡有個難以迴避的結構問題：由模型開發商自己發布、用來衡量自家模型的基準，和由第三方發布的基準，可信度本來就不同。SemiAnalysis 是分析機構而非模型供應商，這是它的立場優勢；但它同樣有自己的產業觀點與商業關係，加上題目由 14 個資料夥伴提供、部分領域（如金融）的評分方式仍在調整，GDPx 自己也還不是定論。SemiAnalysis 把它定位成「活的基準」，預計每 3 到 6 個月改版一次。

對一般企業的實際意義

看到 12% 這個數字，第一反應可能是「所以 AI 其實沒什麼用」。這個結論下得太快了。GDPx 考的是晶片設計、私募併購盡職調查、量化策略這類高度專業、牽涉大量檔案與長流程的工作，本來就是人類專家要花好幾天的事。日常的文案撰寫、會議摘要、程式片段、客服初步回覆，這些任務的實際成功率遠高於 12%，只是它們不夠難，不適合拿來分辨前沿模型的高下。

比較合理的幾個解讀方向是這樣的。

第一，任務的「環境複雜度」比任務的「知識難度」更能決定 AI 會不會失敗。GDPx 和 GDPval 最大的差別就在這裡：一旦模型必須自己在 4,000 份檔案中決定讀哪一份，成功率就塌了。對企業而言，這意味著導入 AI 時真正該投資的往往不是模型本身，而是把資料整理到模型找得到、拿得準的狀態。

第二，代理式（agentic）任務需要配套的檢核點，而不是信任。對齊領域 200 次裡有 196 次踩線，這個比例不該被當成花邊。任何讓 AI 自行連續執行數小時、而且過程中會動到檔案、資料或對外訊息的流程，都需要有人工審核的節點與可回溯的紀錄。這和企業內部任何一套權限設計的道理是一樣的。

第三，成本差距正在變成選型的主要變數之一。Opus 5.5 以 12.0% 排第一、每題 51.41 美元；Gemini 4 Carbon 以 10.9% 排第二、每題 16.29 美元。差距 1.1 個百分點，價差超過三倍。當模型間的能力差距縮到這種程度，「哪一個排第一」這個問題，實務上大概要被「這個任務值得花多少錢」取代。

Photo by Tono Graphy on Unsplash

觀點：這是好消息

一個測驗如果人人都能考 90 分，它就不再能告訴你任何事。過去一年多，許多廣為引用的基準測試正是走到了這個地步——分數逼近天花板，模型之間的差距縮到一兩個百分點，而使用者的實際體感卻沒有等比例變好。SemiAnalysis 在發布 GDPx 時也把「最高分只有 12.0%」當成這套基準有效的證據，而不是缺點。

從這個角度看，12% 是個健康的數字。它留下了足夠的空間，讓接下來兩三年的進步能被實際量到；也讓「AI 即將取代某某職業」這類說法，有了一個可以對照的具體刻度。目前的事實是：在最接近真實專業工作的量測方式下，前沿模型的完成率是一成出頭，而且在需要長時間自主行動時，守規則的能力明顯跟不上解題的能力。

對正在評估導入 AI 的企業來說，這份榜單的用處不在於挑出冠軍，而在於它示範了一件事——要知道 AI 在你的工作上行不行，得用你自己的真實檔案、真實流程去測，而不是看供應商投影片上的長條圖。GDPx 花了 14 個資料夥伴的力氣才把 206 道題做到可信，這個成本一般企業不必負擔，但那個方法是可以借用的：挑三到五件你最想交給 AI 的事，用真實資料跑十次，記下成功幾次。那個數字，會比任何一份排行榜都更貼近你的處境。

資料來源：SemiAnalysis GDPx V1.0 發布內容（2026 年 11 月 2 日），及 Unite.AI、OfficeChai 等媒體整理報導。本文數據引用自公開報導，實際數值以 SemiAnalysis 官方公布為準。