IIT Madras的20歲學生Dev Mandal發布了一個名為'computer-use-large'的資料集,在Hugging Face上的下載量已突破10萬次。該資料集擷取人類與電腦的互動行為——螢幕截圖、滑鼠點擊、鍵盤輸入——專門用於訓練AI代理程式像人類一樣控制電腦。

這個時機恰到好處。電腦控制AI正是當前的淘金熱,Anthropic的Claude領先,傳聞OpenAI緊隨其後。但這些模型出了名的資料飢渴,而高品質的真實人類電腦行為資料集稀缺。現有的大多數資料集要麼是合成的,要麼範圍有限,或者被鎖在企業圍牆後面。

原始報導中缺少的是關於資料品質和方法論的關鍵背景。不知道Mandal如何收集這些互動資料——是群眾外包的嗎?來自真實工作流程?經過隱私清理?——就無法判斷這個資料集是否真的能推動進展。下載數字表明開發者對這類資料足夠絕望,願意嘗試任何東西,但下載量不等於部署成功。

對於構建computer-use代理程式的開發者來說,這代表了一個難得的機會,可以用人類行為模式而非合成資料進行訓練。但要謹慎行事——在投入訓練資源之前徹底檢查資料品質。Computer-use領域發展得足夠快,一個平庸的資料集可能讓你的專案倒退數週。