Harvard और Perplexity का एक नया अध्ययन, "How AI Agents Reshape Knowledge Work: Autonomy, Efficiency, and Scope" (Harvard के Jeremy Yang के साथ Perplexity के Kate Zyskowski, Noah Yonack और Jerry Ma, arXiv 2606.07489), वह करता है जिसे agent discourse ज़्यादातर skip करता है: production data से मापता है कि agents वास्तव में कितनी देर autonomously चलते हैं। Headline number है Perplexity Computer (agentic orchestrator) के लिए प्रति session 26 मिनट machine execution time, बनाम Perplexity Search (conversational answer engine) के लिए 33 सेकंड, एक 48x gap। Medians सख्त हैं लेकिन वही कहानी बताते हैं, 9 मिनट बनाम 14 सेकंड, एक 40x gap। यहाँ value specific मिनट गिनती नहीं है, यह है कि measurement उन्हीं users से आता है जो एक ही 90-दिन window (27 फरवरी से 27 मई 2026) में दो products को hit करते हैं, 10,000 session pairs में matched, cosine similarity 0.99 से ऊपर, इसलिए comparison agentic-versus-conversational अंतर को isolate करता है बजाय इसे इससे confound करने के कि कौन पूछ रहा है या वे किस बारे में पूछ रहे हैं। Computer sessions वास्तविक "do" tools के invocation पर gated थे, code execution, browser actions, file writes, connector calls, इसलिए 26 मिनट machine work है, user think-time नहीं।
Methodology वह हिस्सा है जिसे builders को गंभीरता से लेना चाहिए, क्योंकि यह तुम्हारे अपने agents को ईमानदारी से मापने का एक template है। अधिकांश agent autonomy claims vendor demos हैं: एक single impressive run, एक cherry-picked 35-घंटे का session, एक benchmark जो pass किए जाने के लिए designed है। यह अध्ययन इसके बजाय counterfactual को गंभीरता से लेता है। यह अनुमान लगाता है कि अकेले Search का उपयोग करने वाले एक professional को प्रति task 269 मिनट चाहिए, जबकि Computer-plus-human को 36 मिनट चाहिए, 87% time saving और 94% cost saving, और फिर यह breakeven को ईमानदारी से नाम देता है: एक professional जो 20 मिनट के अंदर सभी manual steps पूरे कर सकता है उसे लाभ नहीं होता, क्योंकि उस threshold के नीचे agent का overhead worth नहीं है। यह एक useful और असामान्य रूप से candid framing है, agent उन tasks पर जीतता है जो अपने setup और oversight cost को amortize करने के लिए काफ़ी लंबे हैं, और छोटे tasks पर हारता है, जो ठीक वह calculation है जो एक builder को एक workflow को agentify करने से पहले run करना चाहिए। Quality signal उसी दिशा में इशारा करता है: Computer sessions ने Search के 2.9% के मुकाबले 1.3% dissatisfaction rate दिखाई, 55% की कमी, इसलिए लंबे autonomous runs aggregate में correctness की कीमत पर speed नहीं खरीद रहे थे।
Benchmark से बड़ा सवाल खोलने वाला finding scope के बारे में है, और यह वह हिस्सा है जिसके साथ बैठने लायक है। जब users के पास एक agent उपलब्ध था, वे सिर्फ वही काम तेज़ी से नहीं करते थे, वे अलग काम attempt करते थे। 76% agentic queries higher-order Bloom cognition (analyze, evaluate, create) तक पहुँचीं बनाम conversational के लिए 55%, और 59% ने occupational boundaries पार कीं बनाम 50%, मतलब लोग अपने स्वयं के domain से परे उन tasks तक पहुँचते थे जिन्हें वे सामान्य रूप से attempt नहीं करते। यह second-order effect है जिसे 26-मिनट number undersell करता है। Autonomy केवल वह समय compress नहीं करती जो एक known task लेता है, यह tasks के उस set को बदलती है जिसे एक व्यक्ति worth starting मानता है, क्योंकि कुछ ambitious या तुम्हारी expertise से बाहर attempt करने की cost गिर जाती है जब एक agent 26 मिनट का execution carry कर सकता है। नीचे की adoption curve steep है, cumulative Computer queries अध्ययन window में अपने first-week total के 84x तक बढ़ीं, इसलिए behavior change एक lab artifact नहीं है, यह वह है जो लोगों ने किया जब capability वास्तव में उनके हाथों में थी। यह पूरी agent-autonomy बातचीत को "यह कितनी देर चल सकता है" से "सस्ती autonomy लोगों द्वारा चुने गए काम की shape को क्या करती है" में reframe करता है, और वह दूसरा सवाल वह है जिसकी सबसे लंबी tail है।
सोमवार सुबह, अगर तुम तय कर रहे हो कि एक workflow को agentify करें या नहीं: under-20-minutes breakeven internalize करने वाला number है, agents long-horizon multi-step tasks पर अपना overhead कमाते हैं और quick lookups पर हारते हैं, इसलिए पहले वालों को target करो और बाद वालों को plain calls के रूप में छोड़ो। अगर तुम अपने अपने agents मापते हो: यह paper copy करने के लिए एक methodology है, उन्हीं users से agentic और conversational sessions match करो, वास्तविक tool invocation पर gate करो, wall-clock या vendor demos के बजाय machine execution time मापो, और human-only path की counterfactual cost का अनुमान लगाओ, क्योंकि वही है जो "हमारा agent impressive है" को "हमारा agent एक Y-मिनट threshold से ऊपर X मिनट बचाता है" में बदलता है। अगर तुम agent-runtime threads को track करते हो, यह persistence-in-time axis के नीचे का empirical floor है जिसे हमने vendors को assert करते देखा है (35-घंटे autonomous runs, always-on scheduled tasks), अब उसमें grounded जो production users ने वास्तव में पाया, प्रति session दसियों मिनट, घंटे नहीं, लेकिन यह बदलने के लिए काफ़ी कि उन्होंने कौन से tasks attempt किए। और अगर तुम build sheet से परे सोचते हो, scope finding वह है जिसे रखना है: autonomous agents का दिलचस्प परिणाम शायद वह काम न हो जो वे करते हैं, बल्कि वह अधिक ambitious काम हो जिसे लोग attempt करना शुरू करते हैं एक बार ambition की execution cost गिर जाती है।