什麼是自動語音辨識（ASR）？

在人工智慧技術快速發展，加上全球疫情的影響下，企業大幅強化了與客戶之間的線上互動。愈來愈多企業仰賴虛擬助理、聊天機器人及各類語音技術，以提升溝通效率與客戶體驗。而這些人工智慧應用的核心技術之一，正是自動語音辨識（Automatic Speech Recognition，ASR）。

ASR 的主要功能是將人類的語音轉換為文字，讓電腦能夠理解人類語言，並進一步與人進行對話與互動。

ASR 的使用量正持續快速成長。在 Deepgram 與 Opus Research 合作進行的最新調查中，研究團隊訪問了來自北美多個產業的 400 位決策者，了解其企業對 ASR 的使用情況。結果顯示，高達 99% 的受訪者表示其公司已導入 ASR 技術，其中最常見的應用場景為行動裝置中的語音助理，顯示 ASR 在現代企業中的關鍵地位。

隨著 ASR 技術持續成熟，越來越多企業開始重視其價值，並將其應用於虛擬環境中的客戶服務，以提升服務品質與回應效率。

歡迎深入閱讀本文，進一步了解 ASR 的運作原理、最佳應用場景，以及在部署人工智慧 ASR 模型時，如何克服常見挑戰。

自動語音辨識

自動語音辨識的運作原理

在過去幾十年間，隨著人工智慧與機器學習演算法的快速進展，自動語音辨識（ASR）的發展速度大幅提升。時至今日，多數 ASR 系統仍以定向對話為主，不過部分較先進的版本已開始導入自然語言處理（NLP）技術，而 NLP 本身正是人工智慧的重要子領域之一。

定向對話式 ASR

當你致電銀行客服時，可能就曾體驗過定向對話的 ASR 系統。在許多大型銀行中，來電者通常會先與電腦系統互動，再被轉接至合適的客服人員。系統可能會要求你以「是」或「否」回答問題來確認身分，或請你直接唸出信用卡號碼等資訊。

在這類情境中，你所互動的正是定向對話式 ASR。這類系統通常僅支援簡短、預期內的語音回應，因此可辨識的詞彙範圍有限。定向對話式 ASR 適合處理簡單、結構化的客戶互動，但在面對較複雜或需要理解語境的溝通時，其能力仍有所限制。

基於自然語言處理的 ASR

如前所述，自然語言處理（NLP）是人工智慧的一個重要子領域，其核心目標是教會電腦理解人類的語音與自然語言。以下以較易理解的方式，簡要說明基於 NLP 的語音辨識（ASR）系統是如何運作的：

• 你向 ASR 系統下達一個指令，或提出一個問題。
• 系統會先將你的語音轉換為頻譜圖，這是一種機器可讀的音訊表示形式。
• 聲學模型會進一步處理音訊，去除背景雜音（例如狗叫聲、環境噪音或靜電干擾）。
• 演算法會將處理後的音訊拆解成音素。音素是語音中最基本的聲音單位，例如在英文中，「ch」或「t」都屬於音素。
• 系統會分析音素的排列順序，並透過統計機率模型來推斷可能的單字與句子結構。

• NLP 模型會將語境納入判斷，例如分辨你說的是 write 還是 right。

• 當 ASR 系統理解你所表達的內容後，便能產生合適的回應，並透過文字轉語音（Text-to-Speech, TTS）技術回覆給你。

實際流程會因所採用的演算法類型而有所差異，但整體架構大致相同，足以幫助我們理解 ASR 的運作原理。

為什麼基於 NLP 的 ASR 更先進？

基於 NLP 的 ASR 系統幾乎不受詞彙與表達方式的限制，並能更貼近真實的人類對話，是目前最先進的語音辨識形式之一。舉例來說，一套成熟的 NLP 型 ASR 系統，其詞彙庫可涵蓋 6 萬個以上的單字。

在評估 ASR 系統時，通常會關注兩個關鍵指標：

• 單詞錯誤率（Word Error Rate, WER）
• 回應速度（Latency）

在理想條件下，ASR 系統對人類語音的辨識準確率可接近 99%；然而，現實環境往往存在口音、雜音或語速差異等變因，使得挑戰仍然存在。

ASR 的持續學習與進化

資料科學家仍持續研究，如何讓 ASR 系統更有效地理解人類語言。除了傳統的完全監督式學習之外，研究人員也在探索能與其互補的方法，例如主動學習（Active Learning）等技術。

採這類方法不需要採集所有可能出現的語言樣本，就能持續優化模型表現。與系統互動的使用者越多，ASR 的自主學習能力也就越強，進而大幅節省研究與訓練所需的時間與成本。

自動語音辨識（ASR）的應用場景

整體而言，自動語音辨識（ASR） 幾乎可應用於各行各業。至今，已有許多企業導入 ASR 技術，以優化客戶體驗並提升營運效率。以下是幾個具代表性的應用案例：

語音虛擬助理

市面上已有多款廣受歡迎的語音虛擬助理，例如 Google Assistant、Siri、Amazon Alexa，以及 Cortana。

這類應用大幅提升了資訊取得的速度與效率，在日常生活中早已無所不在。未來，語音助理市場預期仍將持續成長。

語音轉錄與聽寫

許多產業都有語音轉錄的需求。透過 ASR 應用，可將公司會議內容、業務與客戶的通話紀錄、政府調查訪談，甚至是病患的治療過程，自動轉換為文字，大幅節省人力與時間成本。

教育應用

ASR 也為教育領域帶來實用的工具，例如協助學習第二外語的應用程式，能即時辨識使用者發音，並提供回饋，提升學習效率。

車載資訊娛樂系統

在汽車產業中，ASR 已被廣泛導入以優化車內使用體驗。許多新款車型具備語音指令辨識功能，駕駛人可直接下達指令，例如：「把溫度調高兩度。」

這類系統的目標，是讓車內環境管理自動化，避免駕駛人分心操作，進而提升行車安全。

安全應用

ASR 也可應用於安全場景中，例如透過語音辨識來判斷是否具備進入特定區域的權限，提升整體安全性。

無障礙應用

ASR 是推動無障礙科技的重要工具之一，未來發展潛力可期。對於不熟悉或無法操作傳統裝置的使用者，只需透過語音即可完成指令，例如在智慧型手機上說出「打電話給 Jane」，即可完成操作。

如何克服自動語音辨識（ASR）中的挑戰

如前文所述，ASR 實際運作的環境多半無法符合「理想條件」，這往往會對辨識準確度造成負面影響。影響 ASR 表現的因素相當多，也為導入與部署 ASR 的團隊帶來不少挑戰。所幸，這些問題並非無法克服，只要採取正確的方法，仍能大幅改善系統效能。

ASR 常見挑戰

以下是導致 ASR 系統表現受限的幾個常見因素：

噪音資料

一般而言，噪音資料指的是沒有意義的資訊；但在 ASR 的情境中，「噪音」往往具有實際的聲音來源。理想情況下，音訊檔中的語音應該清晰，且不包含任何背景干擾，但現實環境往往並非如此。

常見的噪音來源包括：

• 背景中的咳嗽聲
• 其他人同時說話
• 建築或環境噪音
• 靜電或設備干擾

高品質的 ASR 系統必須具備能力，能從音訊中擷取有用的語音資訊，同時有效排除無關的噪音資料。

發話者差異性

ASR 系統經常需要理解來自不同性別、地區與背景的使用者語音。人類語音的差異可能體現在多個層面，包括：

• 語言
• 方言
• 口音
• 音高
• 音量
• 語速

若要為所有使用者提供一致且優質的體驗，ASR 系統必須能夠準確理解並處理各種不同的語音特徵。

錄音設備品質不一

多數企業並未配備高品質的錄音設備，導致音訊檔案中容易出現雜音或失真，進一步影響語音辨識的準確度。

同音詞與語境理解困難

即使只看英文這一種語言，就存在大量發音相同但意義不同的同音詞。ASR 系統必須依賴高度精準的 NLP 演算法，才能根據語境判斷使用者實際想表達的意思。

語音中缺乏明確的單字邊界

在書寫或打字時，我們會使用空格與標點符號來區分單字與句子；但在口語表達中，語音往往是連續的，單字與單字之間並沒有明確界線。

在這樣的情況下，ASR 系統需要具備將連續語音切分為正確語意單位的能力，否則將難以準確理解整段內容。

通往成功的關鍵路徑

所幸，透過客製化的資料採集與標註專案，我們能有效解決前述的部分挑戰。企業可以自行採集，甚至建立專屬的語音資料集，讓資料更真實地反映客戶之間的語音差異，進而提升整體客戶服務品質。

在執行方式上，你可以選擇自行處理相關問題，或與具備 ASR 專業經驗的第三方資料供應商合作，充分運用其專業知識與工具。合適的資料合作夥伴，能提供符合特定使用情境的資料，並支援與你現有 ASR 應用相容的資料平台，協助專案快速啟動並順利推進。

目前，許多資料供應商都能提供可直接使用的語音辨識成品資料集，但這往往仍不足以滿足實際需求。理想的合作夥伴，應能根據多元發話者族群進行資料設計，因應不同口音、語言背景與使用情境，滿足企業的客製化需求。

此外，專業的資料供應商也能提供相應的工具與流程，協助克服噪音、語境理解與資料偏誤等挑戰。選擇合適的合作夥伴，往往是 ASR 專案能否成功的關鍵因素。

數據科學總監｜Chi Zhang 的專業洞察

在訓練之前，先釐清 ASR 的實際使用情境

像 TIMIT、LibriSpeech 這類標準語料庫，長期被用於 ASR 模型的初始訓練或既有模型的基準測試。然而，真正對最終 ASR 模型效能產生關鍵影響的，往往是實際應用場景中的資料。

在 ASR 模型的訓練資料蒐集或資料合成階段，應先明確定義 ASR 的使用情境，並深入了解系統將面對的條件，例如：

• 使用的錄音設備
• 聲學環境（室內、戶外、噪音來源）
• 特定領域的術語與詞彙
• 使用者的人口結構（年齡、性別、健康狀況等）

採用與實際應用情境相符的訓練資料，能顯著提升 ASR 應用的整體表現。

重視你所使用的語言模型

在完成使用情境定義並準備好相關訓練資料後，選擇合適的語言模型同樣關鍵。相較於通用語言模型，針對特定領域打造的語言模型，更能有效提升 ASR 在實際應用中的準確度。

隨著近年技術快速發展，即使在既定的垂直領域或特定應用中，全球仍不斷出現新的詞彙、縮寫與專業術語。因應這樣的變化，透過重新訓練語言模型，或調整模型中的關鍵詞（hot words）權重，可確保 ASR 的效能持續維持在高水準，並與使用者需求同步演進。

持續迭代與更新模型

近年來，新的工具與前端技術不斷推陳出新，使用者行為與重大事件也會帶來全新的詞彙與語言用法。因此，ASR 模型（包含聲學模型與語言模型）需要透過可靠的資料標註與語音轉錄，定期進行再訓練或迭代更新。

透過持續優化模型，ASR 應用才能提供一致且穩定的使用體驗，並在必要時進一步提升整體使用者體驗。

我們能為您做些什麼

Appen 能提供高品質、具標註的訓練資料，為業界最具創新性的機器學習與商業解決方案提供關鍵支援。我們協助打造能夠理解並擷取人類文字與語音語義的智慧系統，應用場景涵蓋聊天機器人、語音助理、搜尋相關性、語音轉錄等多元需求。

我們的多項資料標註工具具備智慧標註能力，能結合機器學習模型進行自動標註，大幅提升標註效率與準確度，協助團隊更快交付高品質資料。

我們深刻理解現代企業所面臨的複雜需求。Appen 成立超過 25 年，支援 235 種以上的語言與方言，長期為全球政府機構與大型企業提供可靠、高品質的語言資料與服務。

歡迎進一步了解我們在 ASR（自動語音辨識） 方面的能力，或立即聯絡我們，直接與專家團隊交流。