機制：在真實資料上訓練的模型不完美地捕捉分布——它高估了某些模式並遺漏了其他模式。當第二個模型在第一個模型的輸出上訓練時，它捕捉了第一個模型不完美的分布，放大了誤差。到了第 5 或第 10 代，分布已崩塌為原始分布的狹窄、扭曲版本。Shumailov 等人（2023年）在多種模型類型上實證地證明了這一點。
實際的擔憂：預訓練資料集通常從網路爬取，而網路日益包含 AI 生成的內容。如果訓練語料庫的 20% 是 AI 生成的，且該 AI 內容與正在訓練的模型具有相同的統計偏差，這些偏差就會被強化。結果不是災難性的失敗，而是逐漸的同質化——模型聽起來越來越像彼此，越來越不像人類表達的多樣性。
解決方案包括：從訓練資料中偵測和過濾 AI 生成的內容（在大規模下很困難）、將 AI 生成的資料與經過驗證的人類資料混合（維持「人類資料下限」）、為 AI 輸出加上浮水印以便過濾，以及維護經過策劃的、無 AI 的參考資料集。一些研究者認為，如果資料得到適當的多樣化和品質控制，模型崩塌被誇大了，但這個風險被認真對待，主要實驗室都在投資資料來源追蹤。