用于生成、理解及操控人类语音的人工智能系统。这包括文本到语音（TTS）、语音到文本（STT/ASR）、声音克隆、实时语音翻译、语音情感识别以及对话式语音代理。该领域已发展到人工智能生成的语音通常与人类语音难以区分的程度。
语音是最自然的人类界面，而AI终于使其变得可编程。语音AI驱动了从客服机器人到有声书朗读再到实时会议转录的一切应用。声音克隆—知情同意、身份、欺诈—的伦理影响，使其成为人工智能领域中最敏感的领域之一。
在过去两年中，语音AI经历了代际变革。旧的流程——语音转文本，然后用大语言模型（LLM）处理文本，再转为文本转语音——每个阶段都会引入明显的延迟。一次往返可能需要两到三秒，在对话中这感觉像是永恒。新一代模型，如OpenAI的GPT-4o语音模式和ElevenLabs的对话API，能够原生处理音频。模型将你的声音作为音频标记进行处理，推理其含义，并直接生成语音标记——无需中间的文本步骤。这将延迟降低到几百毫秒，达到了交互真正实时的临界点。如果你曾经使用过感觉迟滞且机械的语音助手，与感觉流畅自然的语音助手进行对比，这种架构差异通常就是原因。
如今，ElevenLabs、Cartesia和PlayHT等提供商的现代文本转语音（TTS）技术生成的语音，大多数听众已无法与真实人类录音区分。模型能够捕捉呼吸、节奏、强调，甚至情感语调。语音克隆——通过几分钟的语音训练TTS模型——效果令人不安地好。这是一种真正的双刃剑能力。有声书旁白、无障碍工具和多语言配音从中获益匪浅。但语音钓鱼、深度伪造通话和未经授权的冒充也是真实威胁。目前大多数提供商在克隆语音前都需要明确的同意验证，而Pindrop和Resemble等公司的检测工具正成为防御体系的一部分。如果你正在开发任何使用克隆语音的产品，请从第一天起就将同意和披露机制融入产品中。
在识别方面，OpenAI的Whisper是让高质量语音转文本（STT）技术普及的关键节点。在Whisper之前，准确的转录需要昂贵的云API或专有的设备端引擎。现在你可以在本地运行Whisper，而AssemblyAI和Deepgram等服务提供的流式转录能够以惊人的准确性处理口音、语言切换和嘈杂环境。实际应用无处不在：会议记录与摘要生成、实时字幕、在操作室或工厂车间等双手繁忙环境中使用语音控制的界面，以及在客服场景中实时将讲中文的来电者转为英文文本。
如果你正在开发语音驱动的产品，关键决策包括延迟预算、成本结构以及如何处理中断。延迟预算意味着用户停止说话后，需要多快返回音频的第一字节——低于500毫秒感觉像是对话，超过一秒则感觉像是在排队等待。成本结构很重要，因为通过实时WebSocket API流式传输语音，每分钟的成本显著高于批量转录。而中断处理——当用户打断AI时会发生什么——是区分玩具演示和实用产品的关键。最好的语音代理能够检测到打断，立即停止当前输出，并在不丢失上下文的情况下处理新输入。正确实现这一点需要仔细的状态管理，通常还需要一个服务器端的WebSocket代理来控制音频流。这是一项繁琐的工作，但这是决定用户是容忍语音体验还是更喜欢语音体验胜过打字的关键。