AI 對齊是什麼？從「照著做」到「真的幫上忙」

請 AI「幫我把報告縮短」，它刪掉了重要的限制條件，留下漂亮但不完整的結論。字數確實變少了，你卻得花更多時間把意思補回來。

這個例子是本文設計的情境。它可以幫我們理解 AI 對齊的一個問題：系統達成了容易量測的表面要求，是否也符合使用者真正想完成的事？

對齊在問什麼？

AI alignment 通常譯作 AI 對齊，研究如何讓 AI 系統的行為符合人類意圖與價值。這不只關於模型能不能聽懂一句指令，也包括遇到不完整要求、相互衝突的目標或沒見過的情境時，會如何行動。OpenAI 的研究說明把跟隨人類意圖與學習人類回饋列為研究方向，也討論這些方法的限制。

這篇不報導某個新模型發布後的突發事件，也不以沒有原始來源的人物引言當作開場。理解這個概念，不需要先相信一則驚人的新聞。

聽話、正確與有幫助，不是同一件事

回到縮短報告的例子。如果只要求「剩三百字」，就可能遺漏你在意的事：結論的適用範圍、反例與資料不足之處。

比較清楚的任務可以寫成：「縮成三百字，保留研究限制；資料不足的地方不要補寫；先列出刪掉了什麼，讓我確認。」

這是一種實務上的溝通與檢查方法，不代表靠一段提示詞就解決了整個對齊問題。即使要求寫得很好，系統仍可能犯錯。

人類回饋能幫上什麼忙？

在 InstructGPT 研究中，研究者使用人類示範和對輸出的排序，改善模型跟隨指令的表現。你可能看過 RLHF 這個縮寫，也就是從人類回饋進行強化學習。

但「比較多人喜歡這個回答」不能直接等同於「這個回答一定正確」。評估者也可能看漏問題，偏好流暢、自信或符合期待的說法。這是理解回饋方法時需要保留的限制。

用整理檔案練習定義成功

假設你想請工具整理下載資料夾。只說「幫我清乾淨」，可能讓「乾淨」變成一個危險的模糊目標。

我會先列出三件事：

• 要達成什麼：把可辨識的課程文件依課名整理，保留原始檔名。
• 哪些事不能做：不刪原檔，不開啟含個資的文件，不上傳外部服務。
• 如何確認結果：先展示預計移動的檔案與位置，做完後比對數量，保留可還原的紀錄。

這個練習的重點，是把「我以為它懂」改成可觀察的條件。任何真的會改檔案的操作，都應從副本與少量範例開始，不要一開始就拿唯一一份重要資料試。

讀 AI 新聞時，先做三個檢查

第一，找原始公告或論文，看它實際說了什麼。標題寫「全面超越人類」，內文可能只是在某一個測試上進步。

第二，確認日期與情境。舊研究的討論不能自動變成今天某位科學家的新發言，示範影片也不能代替真實使用的可靠度資料。

第三，把測得的能力與推測的後果分開。知道系統在某些題目上表現好，還需要另外了解錯誤、限制，以及人能否發現和處理那些錯誤。

對一般使用者來說，可以先養成一個習慣：結果越重要，越要讓它可以檢查、可以停下、可以回復。AI 可以協助整理思路，最後的判斷仍要有你看得懂的依據。

整理：MOOSSin。內容有錯誤或需要補充時，請附上文章網址與問題段落，寄信聯絡。