Self-Supervised Learning（自監督式學習）
別名：SSL
一種模型從未標記資料中自行生成監督訊號的訓練方法。隱藏輸入的一部分，訓練模型預測被隱藏的部分。對 LLM 來說：遮蔽下一個詞元並預測它。對視覺來說：遮蔽影像的區塊。
為什麼重要
自監督式學習是使現代 AI 成為可能的突破。它開啟了在整個網際網路上訓練的可能性，而不必依賴昂貴的人工標記資料集。
深度解析
兩種主要方法：因果語言模型（預測下一個詞元 → GPT/Claude/Llama）和遮蔽語言模型（預測被遮蔽的詞元 → BERT）。對比學習（CLIP、SimCLR）是另一種用於視覺和嵌入向量的形式。