向原始資料添加標籤、標記或後設資料的過程，使其可用於監督學習。標註圖像意味著在物體周圍繪製邊界框。標註文本意味著標記實體、情感或意圖。為 RLHF 標註意味著按品質排列模型回應。標註是將原始資料轉化為訓練資料的人工勞動。
標註是監督式 AI 不起眼的基礎。每個標記的資料集、每個微調的模型、每個對齊的助手都依賴於花費數小時正確標記資料的人工標註者。標註的品質直接決定了模型品質 — 不一致或有偏差的標記會產生不一致和有偏差的模型。這是建構 AI 系統中最勞動密集且通常最昂貴的部分。
標註工作流程通常包括：（1）建立清晰的標記指南（什麼算「正面情感」？邊界框中「車」的邊界在哪裡？），（2）根據指南培訓標註者，（3）多位標註者對每個範例進行標註（用於品質控制），（4）衡量標註者之間的一致性（標註者是否對標籤達成共識？），以及（5）解決分歧（通過裁決或多數投票）。低一致性通常表示指南模糊或資料本身確實模糊。
對於 LLM 對齊，標註意味著比較模型回應：「對於這個提示，回應 A 還是回應 B 更好？」這種偏好標註特別具有挑戰性，因為「更好」是主觀的、依賴於上下文的且文化多變的。標註者的人口統計、專業知識和指令都會影響所產生的偏好資料，進而塑造模型行為。這就是為什麼對齊常被描述為編碼撰寫標註指南的人的價值觀。
越來越多的 AI 模型協助標註：預先標記由人工隨後糾正的資料（比從頭標記更快）、生成合成標註資料，或作為額外標註者與人工並行工作。這創建了一個有趣的回饋迴路：AI 幫助標記訓練更好 AI 的資料。風險在於 AI 輔助標註會繼承輔助模型的偏差，因此人工監督仍然至關重要。