一種自監督學習方法，透過對比正對（相似的項目，應在嵌入空間中接近）和負對（不相似的項目，應在嵌入空間中遠離）來訓練模型。CLIP 對比匹配的圖像-文本對和不匹配的對。SimCLR 對比同一圖像的增強視圖和不同圖像的視圖。模型學習到嵌入空間中的相似性反映真實世界的相似性的表示。
對比學習是大多數嵌入模型的訓練方式 — 這些模型驅動著語意搜尋、RAG 和推薦系統。它也是 CLIP 背後的訓練方法，連接了語言和視覺。每當你使用嵌入來衡量相似性時，對比學習很可能就是這些嵌入的建立方式。
InfoNCE 損失（CLIP 和許多嵌入模型使用）：給定一批 N 個正對，將批次中的 N−1 個不匹配項目視為負例。損失將正對嵌入推得更近，將負對嵌入推得更遠。關鍵洞見：你不需要明確標記的負例 — 批次中的其他項目免費充當負例，使這種方法具有高度可擴展性。
在視覺中，對比學習透過資料增強建立正對：同一圖像的兩個隨機裁剪是一個正對（它們從不同視角展示相同內容）。不同圖像形成負對。模型學習增強視圖應具有相似的嵌入，而不同圖像應具有不同的嵌入。這在沒有任何標籤的情況下學習了有用的視覺表示 — 純自監督。
並非所有負例對學習都同等有用。「困難負例」— 相似但不匹配的項目 — 提供最多的學習訊號。對於關於「Python 網頁框架」的查詢，困難負例可能是關於「Python 資料科學」的文件（相似主題，錯誤答案），而非關於「烹飪食譜」的文件（明顯不相關）。挖掘困難負例是訓練高品質嵌入模型的關鍵技術。