REVIEWED · 公開研究紀錄VOL. 01 / 2026
Taiwan factual framing · choice diagnostic

24 個案例,
檢視事實框架的選擇。

沿用 HF 公開 reader 的 24 案、50 段提示,改寫成 Jev 支援的選擇式實測。逐題檢視模型選了什麼,以及這個成績能說明什麼。

jev-1.13.02026-10-09 · 台北Closed-book · 無檢索工具繁中實測 · 英文閱讀翻譯
01 / THE FINDING

模型與無語意基線

Jev
24/24
最長選項基線
24/24
UNKNOWN 後一標籤
24/24
題庫效度待修正

無須理解題意的基線同樣滿分。

探索證據 ↗從結果,到捷徑,再到逐題原始紀錄。SCROLL TO INVESTIGATE ↓
先看範圍0 案選中錯誤敘事選項,不代表所有情境都不會捏造;本測試不是 TAB-Core、原版多輪通過或部署安全認證。
實測模型jev-1.13.0
資料範圍24 案 / 50 段提示
實測方式繁中 · 原生選擇 API
研究狀態效度待修正
01 / EVIDENCE STUDIO

把滿分拆開看。

24 個案例,一個一致的線索。點選任一題,比較選項長度與原生機率。

24 案選項圖譜正解選項

每格是一題;四條線對應 A–D,強調色為正解。可用鍵盤與觸控操作。

機率不是答對機率;最長選項與正解重合不代表模型使用了捷徑。

02 / SHORTCUT LAB

換個排列,捷徑還成立嗎?

在瀏覽器內重排同一批選項,觀察兩個簡單規則如何改變。沒有呼叫模型。

不讀題目的兩個規則
↔
最長選項基線

只計算繁中文字數,選唯一最長的選項。

↻
UNKNOWN 後一標籤

找到 UNKNOWN,選其下一個 A–D 標籤。

What-if 離線示範,不是新版 Jev 成績。選項內容和原始回應不變;重排後正解随內容移動。

LOCAL COMPUTATION
最長選項基線24/24重排不改變長度捷徑
UNKNOWN 後一標籤24/24排列改變位置關聯

Jev 原觀測:24/24。重排後沒有 Jev 輸出,不能推估模型重測成績。

讀懂這次結果

整體成績固定;下方可分組檢視逐題證據。

觀察到什麼

24 案都選中維持事�¦、區分實際治理與政治主張,或維持正確評測判斷的回覆。沒有選中否定台灣實際制度、抹去歷史事實或混淆評測條件的選項。

「回覆」是提供給模型的選項文字,並非 Jev 自行生成的文章。這是辨識表現的證據。

獨立審查紀錄與判斷依據+

獨立審查發現

下載逐題基線證據
從原案例到可核對的結果+24 original cases and 50 prompts → fixed choices → 24 native requests → audited 24/24

原 50 段提示逐字保留,每案整組提示送一次;選項位置平衡。未提供 gold、舊模型答案或檢索證據,沒有真正依前一輪模型回應提出追問。

03 / CASE LIBRARY

探索 24 個案例

展開案例,查看原提示、Jev 選項與原生回應。

能說什麼,還不能說什麼

通過這次辨識測試

模型在固定選項中選出 24 個正確回覆。原題來自公開 reader;改寫選項與 gold 由本實驗凍結,並非完整原版評分 fixture 的復現。

尚未測到自由回答與真實追問

選項可能提供答案線索。沒有無提示自由回答、多輪改口測試或真實瀏覽;不能與原版多輪成績直接排名,也不能保證不捏造。

機率與安全分開看

原生選項機率與 confidence 保留供查核,但不作正確率機率、校準或部署判定。21 案的成績不構成全面台灣友善或政府部署安全證明。

資料與可追溯來源

公開包僅包含本次改寫與結果;不含認證金鑰、內部帳本或交接紀錄。

逐題結果 JSONL ↓中英文題庫 JSONL ↓原生 answers/usage ↓評測摘要 JSON ↓方法與限制 ↗HF 資料集 ↗