मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Agent Harness
AI उपयोग

Agent Harness

इसे भी कहा जाता है: Scaffolding, Agent Scaffold
Model के चारों ओर लिपटा software जो उसे agent बनाता है, जिसमें loop, tools, context management, permissions और memory शामिल हैं।

यह क्यों मायने रखता है

एक ही model अपने harness के हिसाब से बहुत अलग प्रदर्शन कर सकता है। SWE-bench Verified और Terminal-Bench जैसे coding benchmarks पर सिर्फ़ harness बदलने से scores कई points ऊपर-नीचे हो सकते हैं, और इसीलिए leaderboards model और agent system को साथ-साथ लिखते हैं। जब कोई agent product उसी model की सीधी API call से ज़्यादा समझदार लगता है, तो वजह harness होता है।

बनाने वालों के लिए ज़्यादातर engineering harness में ही लगती है। आप आम तौर पर model नहीं बदल सकते, लेकिन यह बदल सकते हैं कि वह क्या देखता है, उसके पास कौन-से tools हैं और कुछ गड़बड़ होने पर क्या होता है।

गहन अध्ययन

Language model अपने-आप में सिर्फ़ text को text में बदलता है। वह कोई file नहीं पढ़ सकता, कोई command नहीं चला सकता और यह याद नहीं रख सकता कि उसने एक घंटे पहले क्या किया था। Harness model के चारों ओर का वह program है जो ये चीज़ें संभव बनाता है। वह model को prompt भेजता है, model जिन tool calls की माँग करता है उन्हें चलाता है, नतीजे वापस देता है और task पूरा होने तक यही दोहराता है।

एक काम का सूत्र: agent = model + harness। Claude Code, OpenAI का Codex CLI, Cursor का agent mode और OpenHands व SWE-agent जैसे open-source projects, सब harness हैं। वे frameworks भी harness हैं जिनसे लोग अपना harness बनाते हैं, जैसे Claude Agent SDK, OpenAI Agents SDK और LangGraph। Researchers अक्सर इसी चीज़ को scaffolding कहते हैं।

Harness क्या करता है

  • Loop: model को call करना, tool calls चलाना, नतीजे लौटाना, दोहराना और तय करना कि कब रुकना है।
  • Tools: उन्हें define करना, arguments को validate करना, उन्हें चलाना और नतीजों को ऐसे format करना कि वे छोटे और काम के हों। SWE-agent paper ने इसे agent-computer interface कहा और दिखाया कि tool design उतना ही मायने रखता है जितना prompts।
  • Context management: system prompt बनाना, project instructions load करना, context window भरने पर पुरानी history का सार बनाना (compaction), और prompt cache को बरकरार रखना।
  • Permissions और sandboxing: तय करना कि कौन-से actions अपने-आप चलेंगे, किनके लिए इंसानी मंज़ूरी चाहिए और agent किन चीज़ों को छू भी सकता है।
  • Memory और state: notes, to-do lists और files जो एक context window के बाद भी बने रहते हैं, साथ ही undo के लिए checkpoints।
  • Orchestration: subagents शुरू करना, tools को parallel में चलाना, errors के बाद दोबारा कोशिश करना और steps व tokens के budgets लागू करना।

एक छोटा-सा Harness

मूल loop छोटा है:

messages = [{"role": "user", "content": task}]
while True:
    reply = model(messages, tools=tools)
    messages.append(reply)
    if not reply.tool_calls:
        break
    for call in reply.tool_calls:
        messages.append(run_tool(call))

Production harness की बाकी हर चीज़ उन बातों को संभालने के लिए है जिन्हें यह loop नज़रअंदाज़ करता है: लंबे tasks, failures, safety और cost।

समय के साथ पतला होता Harness

शुरुआती agent systems को भारी scaffolding चाहिए थी: कड़े plans, output parsers, हाथ से बनाया गया retrieval और कई specialized prompts। जैसे-जैसे models tool use और planning में बेहतर हुए, इसमें से काफ़ी कुछ गैर-ज़रूरी या नुकसानदेह भी हो गया, क्योंकि वह model को अपनी समझ इस्तेमाल करने से रोकता था। यह agents पर लागू हुआ Bitter Lesson है। आज के कई सबसे मज़बूत harness जानबूझकर सरल हैं: एक अच्छा loop, shell और file editor जैसे कुछ general tools, और सावधानी से किया गया context management।

इससे एक व्यावहारिक आदत निकलती है: जब कोई नया model आए, तो अपने harness के कुछ हिस्से हटाकर देखिए कि नतीजे बेहतर होते हैं या नहीं।

Harness और Evaluation

चूँकि harness नतीजे बदल देता है, benchmark के आँकड़ों की तुलना तभी हो सकती है जब harness एक ही हो। Safety evaluations के लिए कमज़ोर harness एक असली जोखिम है, क्योंकि वह model को उससे कम सक्षम दिखा सकता है जितना वह है। इसलिए evaluators elicitation पर मेहनत करते हैं: model को अच्छे tools और काफ़ी budget देना ताकि वह दिखा सके कि वह असल में क्या कर सकता है।

चुनना या खुद बनाना

जब तक आपकी ज़रूरतें अनोखी न हों, किसी मौजूदा harness या SDK से शुरू कीजिए। पहले साफ़ descriptions और छोटे outputs वाले tools पर निवेश कीजिए, फिर context management पर, फिर permissions पर। Loop के हर step को log कीजिए। जब कुछ fail हो, तो transcript पढ़िए: agents की ज़्यादातर नाकामियाँ इस बात से आती हैं कि model को क्या दिखाया गया, model की क्षमता से नहीं।

← सभी शब्द
ESC