回饋造就完善 — 機器學習模型的評估

任何產品或系統在正式上線時，幾乎都不可避免地會伴隨一些漏洞。最常見的例子，就是我們日常使用的應用程式進行版本更新時，這其實正是一種持續部署與優化的過程。

有些小問題在所難免，對產品本身或使用者體驗影響有限；但在某些情況下，也可能出現相當明顯的缺陷，甚至在全球範圍內造成重大影響。人們往往會疑惑，這類錯誤為何能通過品質保證流程？答案其實很簡單——資料不足，或模型評估與測試不夠完善。

若未經充分的模型測試，就無法確定模型在實際消費者使用情境下，是否能如預期般正常運作。

許多人普遍誤以為，只要對模型進行一次測試，就足以確保其長期穩定運行。然而，若要真正讓模型趨近完善，每一次模型更新後，都必須重新進行評估與測試。

根據我們於 2022 年發布的《AI 與機器學習全景報告》顯示，去年有 86% 的企業至少每季更新一次模型，而今年這個比例已提升至 91%。這樣持續且頻繁的更新趨勢，正凸顯出 人機協同模型評估 在現代 AI 發展中的重要性。

《AI 與機器學習全景報告》的第三項關鍵洞察，正是聚焦於「評估」本身，並說明為何在當今快速演進的 AI 時代，人機協同的模型評估機制仍然不可或缺。

AI 模型評估的基礎概念

受訪者對於人機協同（Human-in-the-loop）的重要性，普遍具有高度共識。調查顯示，81% 的受訪者認為人機協同非常重要或極其重要，而 97% 的受訪者則認為，人機協同式評估對於 AI 模型的準確性至關重要。

評估是機器學習成功的關鍵因素之一，實際上，它也是 AI 資料生命週期中的第四個階段，同時也是最後一個階段。

當模型完成部署後，除非需要進一步驗證或重新訓練，否則模型大多會以近乎全自動的方式運作。然而，由於模型必須不斷引入新的資料點，才能產生更多輸出結果，因此多數模型都需要在相對固定的節奏下持續進行重新評估。

雖然 AI 模型的目的，是在各種應用場景中自動解決問題並做出回應，但若模型在學習過程中出現偏差，或是使用了品質不佳的訓練資料，整個系統的運作便可能因此失準。此時，人工介入就顯得不可或缺。

透過人工檢視與標註資料集，能確保模型產出的結果符合預期，而這些預期結果，往往是對人類判斷邏輯的反映。若模型輸出正確，則無需進一步處理；但若結果出現錯誤，則必須：

• 將新的正確資料重新輸入模型
• 移除先前導致偏誤的資料
• 再次進行模型測試與評估

這樣的流程需反覆進行，直到模型能穩定產出正確結果為止。

一旦模型在學習階段產生偏誤，便可能自動沿著錯誤的方向持續放大問題，除非有外力介入修正——而這個「外力」，正是人類。

機器終究會犯錯，而它也無法完全取代人類。評估與訓練，是打造與優化 AI 模型不可或缺的核心環節，也是人類在 AI 發展中始終扮演關鍵角色的原因。

AI 模型評估的挑戰

儘管模型評估對機器學習模型的成功至關重要，實務上卻經常未獲得相對應的重視與資源投入。根據《2022 年 AI 全景報告》的分析結果顯示，AI 生命週期中的第四階段（也就是最後一個階段：模型評估）所獲得的預算配置最少。

然而，正是在模型評估階段，團隊才能辨識模型輸出中的不一致之處，或確認系統是否如預期正常運作。若一個即將推向市場的系統在此階段才被發現無法正常運作，往往就必須重新開發或調整模型，而其所產生的成本與時程影響，通常遠高於在初期規劃階段就納入完善模型評估所需的投入。

另一項關鍵挑戰，在於找到具備足夠品質保證能力與專業知識的資料合作夥伴，以支援 AI 模型在不同階段所需的成果。實際上，有 83% 的受訪者表示，他們希望能由同一家合作夥伴，橫跨整個 AI 專案生命週期提供支援。

合適的資料合作夥伴，不僅能確保模型在一開始就以正確且高品質的資料進行訓練，還能在整體專案執行上，大幅節省時間與成本。

在 Appen，我們引以為傲的是——

「我們具備獨特的能力，能在 AI 生命週期中，針對不同資料型態與以資料為核心的各個階段提供完整支援，這也使 Appen 成為企業理想的外部資料合作夥伴。」—— 首席產品長 Sujatha Sagiraju

深入了解 AI 生命週期中的資料關鍵

模型評估是 AI 模型成功的核心關鍵之一。在我們第 8 期年度《AI 與機器學習全景報告》中，多位產業專家分享了對 AI 生命週期與模型評估的重要觀察與洞見。

立即閱讀完整報告，並深入了解其中另外四項關鍵洞察，掌握當前產業發展趨勢，以及企業在資料採集與模型評估過程中所面臨的各種挑戰。