如何公平比較兩個 AI 人設?
使用相同問題、相同條件與公開檢查項目,挑出適合目前工作的設定,而不把一次回答當成效果認證。
先決定你要比較哪件工作
比較的是對你目前任務是否有幫助,不是誰的人格比較好。例如整理會議記錄時,可比較極簡秘書和專案管家;要學一個概念時,則比較老師和家教。
先寫三個判斷項目:是否保留重要資訊、是否知道下一步、語氣是否適合。不要只問哪個比較聰明。
準備一組可以核對的材料
可以用三類題:一則有期限衝突的摘要、一題你知道答案的練習、一個資訊不足必須先問的情境。使用假設資料,避免分享私人內容。
兩個人設都用同一份材料,不讓其中一個多拿到關鍵條件。若比較外部平台,盡量使用同一模型與相同功能;無法控制的差異要記下。
一個編寫的比較例子
題目是:小林週二交文案,小周拿到後兩天做圖,週四上午送印。極簡秘書可能用三點指出時程衝突;專案管家可能列出負責人、前置條件與待確認時間。
兩者都應保留衝突,不能因為表格比較漂亮就給它較高評價。若你要轉寄短訊息,前者可能更方便;若要交接工作,後者的結構可能更合用。
記錄觀察,不只記總分
記下具體句子:哪一版漏了期限、哪一版憑空補負責人、哪一版需要你再問一次。若用分數,先說每個分數代表什麼,保留原始觀察。
至少在幾個不同的自選情境重試,才能看出是否只適合某一題。這是個人的選擇方法,沒有經過控制實驗,不應發表為模型能力排名。
選好後只改最不順的一點
例如喜歡管家的結構但嫌太長,就降低話量;喜歡軍師的檢查卻覺得太兇,就降低毒舌。人設是可修改的起點,不是必須整套接受的身分。
完成後把設定帶回熟悉的平台。分享本站配方只含列舉選項與量表,不含你的自訂角色或其他禁止事項文字;比較紀錄請另外自行保存。