什麼是大模型微調？微調的類型、方法與步驟

2023 年，大型語言模型（LLM）成為熱議話題，各行各業皆在探索大模型的應用與落地方式，以及如何幫助企業提升競爭力。儘管微軟（Microsoft）、OpenAI、百度等企業已投入大型語言模型的研發與應用，但對於大多數企業而言，自行訓練獨特的基礎模型（Foundation Model）並不實際，因為建構基礎模型需要數百億筆數據與龐大算力資源，使其成為少數大型科技公司的「專屬優勢」。

然而，無法自行訓練基礎模型，並不代表企業無法善用大模型。隨著眾多基礎模型開源，企業可以透過大型語言模型微調（Fine-tuning） 技術，訓練出符合自身產業需求與獨特應用場景的專屬 AI 模型。

本文將探討大型語言模型微調的定義、重要性、常見方法、流程，並說明 Appen 如何協助您運用大型語言模型技術，推動 AI 應用落地。

什麼是大型語言模型微調？

大型語言模型微調（Fine-tuning）是指在已預先訓練的大型語言模型基礎上，透過特定數據集進一步訓練，使其更適應特定任務或領域。

其核心原理在於，機器學習模型只能理解與學習其接收的數據內容，對於未曾見過的數據樣本，模型無法準確識別或理解。此外，即使是大型語言模型，也無法針對特定場景提供準確回應。

舉例來說，一個通用型大型語言模型可能涵蓋廣泛的語言資訊，能夠進行流暢對話。但若應用於醫療領域，並希望它能精準回答患者的健康問題，就需要透過微調來增強其專業知識。例如，「布洛芬能否與感冒藥一起服用？」 為了讓模型能夠準確回答此類問題，必須提供大量醫療相關數據，讓基礎模型學習並理解這類資訊，進而提升回答的準確性與專業度。

為什麼大型語言模型需要微調？

預訓練模型（Pre-trained Model），或稱基礎模型（Foundation Model），已經能夠執行多種任務，例如回答問題、數據總結、撰寫程式碼等。然而，沒有任何一個模型可以解決所有問題，特別是在專業領域的問答、企業內部資訊等方面，通用大型語言模型往往無法涵蓋這些特定需求。在這種情況下，就需要透過特定數據集來微調合適的基礎模型，使其能夠執行特定任務、回答特定問題。因此，微調成為了提升模型準確性與適應性的關鍵方法。

大型語言模型微調的兩大主要方法

在了解微調（Fine-tuning）的定義與重要性後，我們來介紹兩種主要的微調方式。根據微調時對預訓練模型（Pre-trained Model）的調整程度，微調可分為全微調（Full Fine-tuning）與部分微調（Repurposing）兩種方式：

1. 全微調（Full Fine-tuning）

全微調是指對整個預訓練模型進行調整，包括所有的模型參數。在這種方法中，預訓練模型的所有層與參數都會被更新與優化，以適應目標任務的需求。

這種微調方式通常適用於以下情境：

• 目標任務與原始預訓練模型的差異較大
• 需要高度靈活性與自適應能力的應用

優勢：能夠確保模型針對特定應用達到最佳效能

缺點：需要大量計算資源與時間，訓練成本較高

2. 部分微調（Repurposing）

部分微調則是在微調過程中僅更新模型的頂層或少數幾層，而保留底層參數不變。這種方法的核心目標是保留預訓練模型的通用知識，同時透過調整頂層來適應特定的任務需求。

這種微調方式適用於以下情境：

• 目標任務與預訓練模型的相似度較高
• 可用數據集較小，無法支撐完整微調
• 計算資源有限，需要降低訓練成本

優勢：所需的計算資源與時間較少，適合中小型專案

缺點：在某些情境下，模型效能可能不及 Full Fine-tuning

如何選擇 Full Fine-tuning 或 Repurposing？

微調方式的選擇取決於任務需求與資源限制：

• 如果任務與預訓練模型的原始應用差異較大，或需要高自適應能力，則建議選擇 Full Fine-tuning
• 如果任務與預訓練模型的應用場景相似，或資源有限，則 Repurposing 可能是更合適的選擇

在實際應用中，可根據任務需求與實驗結果，選擇最適合的微調方法，以獲得最佳效能。

大型語言模型微調的兩大主要類型

根據微調時使用的數據集類型，大型語言模型的微調可分為監督微調（Supervised Fine-tuning）與無監督微調（Unsupervised Fine-tuning）兩種方式。

1. 監督微調（Supervised Fine-tuning）

監督微調指的是在微調過程中使用有標籤的訓練數據集。這些標籤為模型提供明確的學習目標，使其能夠更好地適應特定任務。通常，監督微調會使用帶有標籤的任務特定數據集，例如分類任務的數據集，其中每個樣本都帶有一個對應的標籤。透過這些標籤引導模型的學習，能夠使其更適用於特定領域的應用。

2. 無監督微調（Unsupervised Fine-tuning）

無監督微調指的是在微調過程中使用無標籤的訓練數據集。這表示模型只能從輸入數據本身學習，並沒有明確的目標輸出。這種方法透過學習數據的內部結構或生成數據來進行微調，以提取有用的特徵或改進模型的表示能力。

監督微調通常使用有標籤的數據集，因此可以直接優化模型的性能。而無監督微調則更側重於利用無標籤數據進行特徵學習和表示學習，以提取更有價值的特徵或提升模型的泛化能力。這兩種微調方法可以單獨使用，也可以結合使用，具體選擇取決於任務需求及可用數據的性質與數量。

大型語言模型微調的主要步驟

大型語言模型的微調方式多樣，每種方法對應不同的流程、準備工作與訓練週期。然而，大部分的大模型微調都包含以下主要步驟，並需要進行相應準備：

1. 準備數據集：收集與目標任務相關的訓練數據，確保數據品質與標註的準確性，並進行必要的數據清理與預處理。
2. 選擇預訓練模型 / 基礎模型：根據目標任務的性質與數據特性，選擇最適合的預訓練模型作為微調基礎。
3. 設定微調策略：根據任務需求與可用資源，確定微調方式，例如全微調 (Full Fine-tuning) 或部分微調 (Repurposing)，並規劃微調層級與範圍。
4. 調整超參數：設定微調過程中的超參數，如學習率、批量大小、訓練輪數等，這些參數將直接影響模型的訓練效果與收斂速度。
5. 初始化模型參數：根據預訓練模型的權重來初始化微調模型的參數。若進行全微調 (Full Fine-tuning)，則所有模型參數都會進行調整與更新；若為部分微調 (Repurposing)，則僅針對頂層或少數幾層的參數進行調整，而底層參數則保持不變。
6. 進行微調訓練：使用準備好的數據集與微調策略對模型進行訓練。在訓練過程中，根據預設的超參數與優化算法，逐步調整模型參數，以降低損失函數值並提升模型的準確度。
7. 模型評估與優化：在訓練過程中，使用驗證集評估模型表現，並根據結果調整超參數或微調策略，以提升模型的泛化能力。
8. 測試模型性能：微調完成後，使用測試集評估最終模型的表現，以獲取可量化的性能指標，確保模型適用於實際應用場景。
9. 模型部署與應用：將完成微調的模型部署到應用環境，並進一步進行優化與調整，以確保其能夠穩定運行並滿足業務需求。

這些步驟概述了大型語言模型微調的一般流程，但實際的操作細節可能會根據不同的任務與需求而有所調整。根據具體情境進行適當的調整與優化，以獲得最佳效果。

儘管微調相較於從零開始訓練基礎模型已經大幅減少時間與資源投入，但仍然需要豐富的技術經驗、強大的計算資源，以及管理與開發成本。因此，Appen 提供一系列客製化微調服務與解決方案，協助企業快速部署大型語言模型，輕鬆落地 AI 技術應用。

Appen 協助您輕鬆擁抱大型語言模型

Appen 提供全方位客製化服務與解決方案，幫助企業順利進軍大型語言模型 (LLM) 應用市場，涵蓋以下關鍵領域：

1. 數據清理、數據集建立與標註客製化

作為人工智慧數據服務領域的全球領導者，Appen 擁有超過 26 年的專業經驗，並深入研究超過 235+ 種語言與方言，能為您的 LLM 訓練提供所需的多語言數據、定制化數據採集，以及多層次細緻標註，打造堅實的數據基礎。

2. 微調 / RLHF (強化學習與人類反饋)

依託全球 100 萬+ 眾包資源 及專業標註團隊，Appen 能為您的模型微調提供大規模 RLHF (Reinforcement Learning from Human Feedback) 支持，幫助 LLM 降低幻覺 (hallucination) 的影響，提升準確性與應用價值。

3. LLM 智能開發平台

LLM 應用開發不僅涉及模型訓練與微調，還包含多項技術開發流程，以提升開發效率並降低技術門檻。Appen 自主研發的 LLM 智能開發平台 提供多層次、全方位的開發工具，幫助企業加速 LLM 訓練與部署，提升產品落地效率。

4. LLM 應用客製化服務

對於尚未具備開發能力的企業，Appen 提供完整的數據與演算法團隊支援，根據您的應用需求與使用場景，選擇最合適的基礎模型，並透過最佳化的數據進行微調，最終交付符合您業務需求的 LLM 應用。