Computer Use
यह क्यों मायने रखता है
गहन अध्ययन
Computer use system loop है, single model नहीं। Current screen का screenshot multimodal model में जाता है; model task तथा अब तक की conversation पर reason करता है, फिर एक structured action emit करता है — इन pixel coordinates पर click, यह string type, यह key press या scroll; छोटा executor sandboxed environment में action करता है, fresh screenshot लेता है, conversation में append करता है और cycle repeat होती है। 'Tokyo की $900 से कम flight खोजें और booking form भरें' जैसा task 30–100 ऐसे steps और कई minutes ले सकता है, क्योंकि हर step context में images वाली full model call है। यह इसे APIs पर बने Autonomous Agent से fundamentally different contract बनाता है: typed arguments से functions call करने के बजाय agent वही pixels तथा widgets operate करता है जिन्हें human करता, उससे जुड़ी पूरी ambiguity और fragility के साथ।
Screenshot-Action Loop
Mechanics जानबूझकर simple हैं। Model DOM या accessibility tree नहीं, pixels देखता है, हालाँकि browser agents elements को आसान reference बनाने के लिए accessibility tree अक्सर second input के रूप में जोड़ते हैं, और exact coordinates वाले action से answer करता है — 'left-click at (412, 637)'। Coordinates ठीक करना hard part है: model को 'Save button' जैसी visual concept pixel position में ground करनी होती है, इसीलिए computer use ने मल्टीमॉडल models को annotated UI elements वाले screenshots पर specifically train करने के लिए push किया। Screenshots context भी खाते हैं: single desktop frame की cost roughly thousand tokens हो सकती है, इसलिए 50-step session बहुत-सी visual history जमा करता है और implementations window में रहने के लिए old frames downscale या drop करती हैं। हर round trip inference plus action execution के few seconds cost करता है, इसीलिए GUI agents structured APIs पर टूल यूज़ के पास slow महसूस होते हैं — latency generality की price है।
Category को Define करने वाले Releases
Anthropic ने अक्टूबर 2024 में 'computer use' को product category बनाया, जब updated Claude 3.5 Sonnet capability के public beta के साथ ship हुआ: developers को reference environment, virtual display वाला containerized Linux desktop, और tool definition मिली जो model को API के ज़रिए mouse, keyboard तथा screenshot actions request करने देती है। Anthropic ने इसे explicitly experimental — कभी cumbersome और error-prone — बताया और repetitive desktop work automate करते developers के लिए target किया। जनवरी 2025 में OpenAI ने Operator के साथ idea consumer-facing बनाया, उसके Computer-Using Agent (CUA) model द्वारा powered hosted product: agent cloud browser drive करता, sites navigate तथा forms fill कर सकता है और logins, payments तथा दूसरी sensitive steps के लिए control user को वापस देता है। Open-source browser agents की wave ने same pattern follow किया और general 'GUI agent' agent roadmaps में standard item बन गया।
OSWorld और Reliability का गणित
Progress मुख्यतः OSWorld पर track होती है, करीब 370 real tasks — spreadsheets edit करना, applications configure करना, programs के बीच files move करना — का बेंचमार्क जो live Ubuntu virtual machines पर execute होता है, साथ में WebArena तथा WorkArena जैसे web-focused suites। Humans OSWorld tasks का करीब 72% complete करते हैं। First computer use release लगभग 15% manage कर पाया और OpenAI के CUA ने early 2025 में इसे just under 40% तक push किया — उस समय state of the art, फिर भी dependable से बहुत दूर। Brutal हिस्सा compounding है: हर step 95% time succeed हो तो 30-step task केवल करीब 21% time succeed करता है और 100-step task लगभग कभी नहीं। इसीलिए GUI agents की evaluation per-step accuracy के बजाय full-task success report करती है और production deployments tasks को short, verifiable तथा reversible रखती हैं।
यह आपकी APIs की जगह नहीं लेगा
एक आम गलतफ़हमी है कि GUI agents integrations obsolete बनाते हैं — connectors क्यों बनाएँ जब agent person की तरह software इस्तेमाल कर सकता है। व्यवहार में pixels click करना last resort है: structured Function Calling call या typed inputs तथा outputs वाले MCP tool की तुलना में slow, UI redesigns तथा pop-ups से brittle और audit करना कठिन। Target system में API हो तो उसे इस्तेमाल करें; GUI उस long tail of software के लिए है जिसमें कोई नहीं — legacy desktop apps, vendor portals और one-off internal tools। Strongest production agents hybrids हैं: उपलब्ध होने पर APIs drive करते हैं और cleaner path न होने पर ही screen control पर drop down करते हैं, जिससे fragile pixel-clicking केवल सच में आवश्यक few steps तक सीमित होती है।
Prompt Injection कठिन हिस्सा है
GUI agent screen पर जो भी है उसे पढ़ता है और open web पर कुछ content adversarial होता है। Web page, email या document hidden instructions रख सकता है — invisible text जो agent को user की files कहीं forward करने को कहे — और screen contents को commands मानने वाला model कभी comply करेगा, जो real mouse clicks के पीछे Prompt Injection है। दोनों flagship products इसी warning के साथ ship हुए: Anthropic computer use को minimal privileges और आसपास कोई credentials न रखकर dedicated virtual machine में चलाने की recommendation देता है, और Operator purchases तथा logins को user confirmation तथा takeover mode के पीछे gate करता है जहाँ human password type करता है। Practical playbook किसी agentic system की AI safety posture से मिलता है: environment sandbox करें, visit करने योग्य sites allowlist करें, current step से अधिक secrets कभी न दें और sending, paying या deleting जैसी irreversible चीज़ों के लिए human approval require करें।