在Edinburgh接受训练的IR研究员Sarah Chen强调了一个名为"Bits over Random"(BoR)的新指标如何暴露了我们衡量RAG系统方式中的关键缺陷。传统指标如Success@K和召回率专注于寻找相关信息，而BoR衡量检索是否真正具有选择性，还是只是用更多材料填充上下文窗口。研究表明，系统可以达到99%的成功率，同时表现仅比随机选择稍好——这种现象解释了为什么许多生产环境中的RAG系统在仪表板上看起来很好，但产生分散、不可靠的智能体行为。

这很重要，因为大多数RAG团队都在为错误的事情进行优化。经典的IR思维——我们找到了相关块吗，召回率提高了吗——对于人类过滤结果的搜索引擎来说效果很好。但LLM智能体必须处理你给它们的所有内容，使得上下文污染成为真正的性能杀手。当你通过检索更多块来提高召回率时，你经常会拖拽弱相关的材料，这会稀释模型的注意力并降低推理质量。

特别引人注目的是，这项研究验证了许多从业者感受到但无法表达的东西：在纸面上看起来出色的检索在生产环境中可能表现得像噪音。BoR指标为开发者通过直觉调试的东西提供了数学框架——更多的上下文并不总是更好的上下文。

对于开发者来说，这项研究建议重新思考你的评估堆栈。与其只衡量是否找到了相关信息，不如开始衡量有多少不相关材料伴随而来。将检索选择性视为与传统召回测量并列的一流指标。你的智能体会以更专注、更可靠的行为感谢你——即使你的仪表板数字看起来不那么令人印象深刻。