Zubnet AI学习Wiki › AI 垃圾内容
安全

AI 垃圾内容

别名:AI Slop、生成式垃圾内容
低质量、通用、不受欢迎的人工智能生成内容,充斥着互联网。该术语于2024年出现,用作对劣质人工智能文本、图像和视频泛滥成灾的贬义词,这些内容污染了搜索结果、社交媒体信息流和在线市场。Slop是人工智能内容的垃圾邮件等价物——从技术上讲是“内容”,但毫无价值,通常与其他Slop难以区分,并且会降低其接触的每个平台的质量。例如,LinkedIn上以“在当今快节奏的世界中”开头的帖子,六指手的股票照片,或2000字却毫无内容的SEO文章。

为什么重要

劣质内容是内容生成免费化的环境成本。当任何人可以在几分钟内生成1000篇博客文章或10000张产品图片时,内容创作的经济模式崩溃——质量也随之崩溃。劣质内容正是平台竞相开发AI检测工具的原因,也是谷歌不断更新搜索算法的原因,更是“人工创作”逐渐成为卖点的原因。它也是对“AI将民主化创意”这一天真观点最有力的反驳。

深度解析

“slop”这个词在2024年初进入AI术语体系,并且迅速流行起来,因为它非常贴切。开发者兼博主Simon Willison是推动该词普及的主要人物,他将“slop”与电子邮件垃圾信息直接联系起来:正如“spam”从一个蒙提·派森的喜剧小品演变为通用的垃圾邮件代名词,“slop”则命名了每个人都在经历但此前没有合适词汇描述的现象——即由低质量AI生成内容引发的席卷互联网各平台的浪潮。这种类比不仅限于命名层面。垃圾邮件并未摧毁电子邮件,因为单个垃圾邮件本身并不危险。它摧毁电子邮件是因为发送成本降至零,而过滤成本却居高不下。slop同样如此。当生成一篇2000字的文章只需零点几美分且耗时十二秒时,内容创作的经济性就彻底崩溃了。这个词迅速流行起来,因为人们早已愤怒不已——他们只是需要一个足够尖锐的词汇来匹配这种感受。

Slop生态系统

顺着资金流向,slop生态系统便清晰可见。SEO内容农场是最早且最积极采用slop的群体——那些原本支付自由撰稿人每篇文章15美元的公司发现,他们几乎可以零成本每天生成数千篇文章,并用关键词堆砌的页面对谷歌进行地毯式轰炸。亚马逊的Kindle Direct Publishing平台被AI生成的书籍淹没,其中一些书籍被归于真实作者名下,而这些作者与书籍毫无关系;另一些则以“由ChatGPT撰写”作为卖点进行销售。Etsy曾是手工艺品的避风港,如今其市场却被AI生成的艺术印刷品和“数字下载”产品所充斥,这些产品不过是Midjourney生成的图像,售价仅为2.99美元。LinkedIn则沦为吸引互动的荒地——那些令人难以忍受的帖子,比如以“我刚刚解雇了我最好的员工。这是我做过最好的决定”开头,而这些帖子的作者显然从未解雇过任何人,甚至可能连员工都没有。此外还有假新闻网站:整个出版物由AI生成的文章、AI生成的作者署名和AI生成的作者照片组成,不断产出看似合理但纯粹为了广告收益而优化的故事。这些参与者对自身行为毫不困惑。他们清楚自己在做什么。他们知道这是slop。他们只是不在意,因为即使内容毫无价值,金钱却是真实的。

模型崩溃与毒井效应

这就是slop成为存在性问题而非仅仅是烦扰之处。AI模型是基于互联网数据进行训练的。而互联网中AI生成内容的比例正日益增加。那么,当下一代模型在前一代模型的输出上进行训练时会发生什么呢?研究人员称之为模型崩溃——一种递归退化现象,每一代基于AI训练的AI都会在保真度、多样性和准确性方面逐渐下降,就像复印机复印复印件,每次都会更加模糊。牛津大学2023年的一项研究实证了这一点:基于自身输出进行训练的语言模型逐步失去了表示分布尾部的能力,风格逐渐变得狭窄和通用。实际后果是,2023年之前的互联网——即生成式AI尚未席卷所有平台时的网络——正变得异常宝贵,因为它是人类撰写的。如今,公司正在为预AI数据集支付溢价,并与出版商达成协议,购买“认证人类”内容。讽刺的是,那些本应让内容丰富的工具,却让真实内容变得稀缺。

平台的反击(某种程度上)

平台的反应混合了真诚的努力和形式主义的担忧。谷歌在2023年和2024年推出的“有帮助内容更新”明确针对那些仅为在搜索结果中排名而存在、而非真正帮助他人的AI生成页面。这使得一些最差的内容农场的流量大幅下降,但军备竞赛仍在继续——slop生成器的适应速度比算法的捕捉速度更快。Reddit采取了更严厉的措施,许多主要子版块直接禁止AI生成内容,而该网站在谷歌搜索结果中的曝光度增加(得益于两家公司之间的协议)则成为“可能由人类撰写”的信号。Stack Overflow在2022年12月禁止AI生成的回答,因为版主注意到大量看似自信但细微错误的回答——这正是大型语言模型擅长生成的合理胡言乱语。在监管方面,欧盟AI法案和各国的多项倡议推动了AI生成内容的水印和披露要求,尽管执行仍停留在理论层面。在这场斗争中获胜的平台是那些验证人类而非试图检测机器的平台——因为检测在面对每月不断改进的模仿人类写作的模型时,注定是场失败的战斗。

特性,而非缺陷

让我们诚实地面对slop到底是什么:它不是生成式AI的失败。它正是生成式AI按照设计运行的结果,而在那些与你利益不一致的人手中。同一款工具,既可以让独立开发者为他们的开源项目撰写文档,也可以让内容工厂在一夜之间生成一万篇垃圾文章。同一款图像生成器,既可以帮助独立游戏设计师制作概念艺术原型,也可以让按需印刷的骗子向亚马逊倾销AI生成的填色书。你不能创造一种让创作变得轻而易举的技术,然后对轻而易举的创作大多是垃圾感到惊讶——这就是“轻而易举”的含义。真正的问题,目前尚无人能给出好答案,是平台能否比生成器更快地建立过滤机制。到目前为止,生成器正在获胜。只要不对称性持续存在——生成成本为零,而过滤成本极高——他们将继续获胜。直到有人解决这个经济方程式,slop才不会消失。它将成为新的基准。地板已经掉落,我们都站在其中。

相关概念

← 所有术语
← Sarvam AI Stability AI →
ESC