一種以有意義的順序 — 通常從簡單到困難 — 呈現範例的訓練策略，而非隨機呈現。就像教學生先學算術再學微積分，課程學習先給模型基礎模式，然後逐步增加複雜性。這可以帶來更快的收斂，有時也能帶來更好的最終效能。
課程學習是一種被低估的技術，可以在不改變模型或資料的情況下提高訓練效率。LLM 預訓練越來越多地使用資料排程 — 在最後的訓練階段展示更乾淨、更高品質的資料 — 這就是一種課程學習的形式。你呈現資料的順序很重要，不僅僅是資料本身。
直覺是：隨機的訓練順序意味著模型在還沒有學習基礎的情況下就遇到困難的範例，浪費了梯度更新。通過從簡單、清晰的範例開始，模型建立基本表示，使困難的範例變得可學習。Bengio 等人（2009 年）將此形式化，顯示課程訓練比隨機順序收斂更快，有時還能達到更好的解。
現代 LLM 訓練通過資料混合排程使用一種課程學習形式。早期訓練可能使用廣泛的網路文本混合。後期階段增加高品質資料（精選文本、程式碼、數學、推理）的比例。一些訓練配方在最後階段對優質資料進行「退火」 — 模型先學習廣泛的模式，然後在精心挑選的範例上精煉。這種資料排程是前沿實驗室最嚴格保護的秘密之一。
自定步調學習是一種變體，其中模型根據自己在每個範例上的當前損失自行決定什麼是簡單或困難。損失低的範例（已學會的）被降低優先級，而損失中等的範例（有挑戰性但可學習的）被強調。損失非常高的範例（噪音、標記錯誤的資料）也被降低優先級作為潛在的異常值。這種自適應課程會隨著模型的改進自動調整。