Zubnet AIसीखेंWiki › Instruction Following
AI उपयोग

Instruction Following

इसे भी कहा जाता है: Instruction Adherence
Model की वह क्षमता कि वह उपयोगकर्ता की request को सटीक रूप से execute करे — format constraints, length requirements, style specifications, और behavioral instructions का सम्मान करते हुए। "X के बारे में French में ठीक 3 bullet points लिखें" instruction following test करता है: response bullets होना चाहिए (paragraphs नहीं), ठीक 3 (2 या 5 नहीं), French में (English नहीं), और X के बारे में (Y नहीं)।

यह क्यों मायने रखता है

Instruction following सबसे व्यावहारिक रूप से महत्वपूर्ण LLM capability है। Users इस बारे में कम care करते हैं कि model अधिक facts "जानता" है और अधिक इस बारे में कि क्या यह वही करता है जो उन्होंने वास्तव में मांगा। एक model जो सुंदर prose लिखता है लेकिन आपकी format requirements ignore करता है, एक ऐसे model से कम useful है जो reliably instructions follow करता है। यही कारण है कि IFEval और अन्य instruction-following benchmarks model evaluation के केंद्र बन गए हैं।

गहन अध्ययन

Instruction following instruction tuning (instruction-response pairs पर SFT) के माध्यम से trained होती है और RLHF/DPO (instructions को accurately follow करने वाले responses prefer करना सीखना) के माध्यम से refined होती है। Instruction-following की quality training data की diversity और precision पर बहुत निर्भर करती है: जो models "exactly 3 items" के कई उदाहरण देखते हैं वे count करना सीखते हैं; जो models केवल vague instructions देखते हैं वे नहीं।

Models कहां Fail करते हैं

सामान्य instruction-following failures: length constraints ignore करना ("संक्षिप्त रहें" → फिर भी paragraphs लिखता है), format drift (requested format से शुरू लेकिन prose में revert), constraint amnesia (पहले constraint follow करता है लेकिन complex instruction में बाद के forget करता है), और over-following (ambiguous instructions को बहुत literally या बहुत broadly interpret करना)। ये failures छोटे models में अधिक आम हैं और scale के साथ rarer होती हैं, लेकिन frontier models भी कभी-कभी constraints miss करते हैं।

System Prompts और Hierarchy

Instruction following तब complex हो जाती है जब instructions conflict करते हैं: system prompt कहता है "हमेशा JSON में respond करें" लेकिन user कहता है "मुझे एक कविता लिखें।" अधिकांश models instruction hierarchy implement करते हैं जहां system-level instructions user messages पर precedence लेती हैं, लेकिन boundaries fuzzy हैं। Well-designed applications अपनी instruction hierarchy स्पष्ट रूप से structure करती हैं और edge cases test करती हैं जहां instructions के विभिन्न levels conflict कर सकते हैं।

संबंधित अवधारणाएँ

← सभी शब्द
← Inpainting Instruction Tuning →