語音是最自然的人類介面，而 AI 終於讓它變得可程式化。語音 AI 支援從客服機器人到有聲書敘述，再到即時會議語音轉文字等各項應用。語音克隆的倫理影響 — 同意、身分、詐騙 — 使這成為 AI 領域中最敏感的領域之一。
語音AI在過去兩年經歷了世代的轉變。舊有的流程——語音轉文字，再用大型語言模型（LLM）處理文字，最後文字轉語音——在每個階段都會產生明顯的延遲。一個往返可能需要兩到三秒，這在對話中會讓人覺得無比漫長。新一代的模型，例如OpenAI的GPT-4o語音模式與ElevenLabs的對話API，能直接處理音訊。模型會將你的聲音當作音訊標記（token）來聽，理解其含義後，直接生成語音標記——不需要中間的文本步驟。這將延遲降低至數百毫秒，這已經跨越了互動感覺真正即時的門檻。如果你曾經使用過感覺遲鈍且機械的語音助理，與感覺靈活自然的語音助理，這種架構上的差異通常就是原因。
來自ElevenLabs、Cartesia與PlayHT等供應商的現代文字轉語音技術，所產生的語音大多數聽眾都無法與真人錄音區分開來。模型能捕捉呼吸、語速、強調與甚至情緒語調。語音克隆——僅需幾分鐘的語音資料訓練文字轉語音模型——效果令人不安地良好。這是一種真正的雙刃劍能力。有聲書旁白、輔助工具與多語言配音都因此受益良多。但語音詐騙、深度偽造通話與未經授權的冒充也是真實的威脅。目前大多數供應商在克隆語音前都要求明確的同意驗證，而Pindrop與Resemble等公司的偵測工具也逐漸成為防禦系統的一部分。如果你正在開發任何使用克隆語音的產品，請從第一天起就將同意與揭露機制內建到產品中。
在語音辨識方面，OpenAI的Whisper是讓高品質語音轉文字（STT）技術普及至大眾的關鍵時刻。在Whisper問世之前，準確的語音轉錄需要昂貴的雲端API或專屬的設備引擎。現在你可以本地執行Whisper，而AssemblyAI與Deepgram等服務提供的串流轉錄技術，能以驚人的準確度處理口音、語言之間的切換與嘈雜環境。實際應用無處不在：會議轉錄與摘要、即時字幕、忙碌手部環境（如手術室或工廠）的語音控制介面，以及多語言客服，當來電者說中文時，客服人員能即時看到英文文字。
如果你正在開發語音驅動的產品，關鍵的決定因素包括延遲預算、成本結構與如何處理中斷。延遲預算指的是在用戶停止說話後，需要多快回傳第一個音訊位元——低於500毫秒會感覺對話式，超過一秒則會讓人覺得像是在與等候隊列對話。成本結構很重要，因為透過即時WebSocket API串流語音，每分鐘的成本遠高於批次轉錄。而中斷處理——當用戶在AI說話時插話時會發生什麼——是區分玩具示範與可用產品的關鍵。最好的語音代理能偵測到中斷，立即停止當前輸出，並處理新輸入而不會失去上下文。正確做到這一點需要仔細的狀態管理，通常還需要伺服器端的WebSocket代理來控制音訊串流。這項工作雖然棘手，但卻是區分人們能容忍的語音體驗與真正偏好的語音體驗的關鍵。