一種模型從未標記資料中自行生成監督訊號的訓練方法。隱藏輸入的一部分，訓練模型預測被隱藏的部分。對 LLM 來說：遮蔽下一個詞元並預測它。對視覺來說：遮蔽影像的區塊。
兩種主要方法：因果語言模型（預測下一個詞元 → GPT/Claude/Llama）和遮蔽語言模型（預測被遮蔽的詞元 → BERT）。對比學習（CLIP、SimCLR）是另一種用於視覺和嵌入向量的形式。