Salesforce AI Research发布了VoiceAgentRAG，这是一个通过预测缓存解决语音AI基本延迟问题的开源系统。双代理架构运行一个"Fast Talker"，从内存语义缓存中在0.35毫秒内提供响应，同时"Slow Thinker"后台代理监控对话并预取可能的后续话题到本地存储。这种方法比标准向量数据库查询提供316倍加速，后者通常消耗50-300毫秒——这是自然对话的整个响应预算。

这解决了当今阻碍语音代理的核心约束。虽然基于文本的RAG系统可以承受多秒的"思考"暂停，但语音界面需要200毫秒以下的响应才能感觉自然。大多数生产系统在LLM甚至开始生成之前就在数据库往返上消耗了这个预算。时间约束解释了为什么语音助手与文本界面相比仍然感觉笨拙——这不仅仅是模型的问题，还有基础设施。

技术实现揭示了明智的工程选择。VoiceAgentRAG的基于FAISS的语义缓存直接索引文档embeddings，而不是索引查询，即使用户措辞与预测不同也能实现适当的语义搜索。系统使用0.40的余弦相似度阈值（低于典型的0.95查询到查询阈值）并通过300秒TTL和LRU淘汰维护缓存新鲜度。后台代理生成"文档风格描述"而不是问题，以更好地将embeddings与实际知识库内容对齐。

对于构建语音界面的开发者来说，这代表了一条清晰的前进道路。开源发布意味着你可以实现预测缓存而无需从头重建。但真正的洞察是架构性的——通过异步后台处理将检索与生成解耦。这种模式可能会成为任何实时AI应用的标准，在这些应用中延迟比完美准确性更重要。