AGI 面臨的首要問題在於人們對其定義尚未達成共識。OpenAI 於 2024 年發表了一個五階框架：第一階是聊天機器人（對話式 AI），第二階是推理者（人類等級的問題解決），第三階是代理者（能採取行動的系統），第四階是創新者（能協助發明的系統），第五階是組織（能完成整間公司工作的 AI）。根據他們自己的定義，他們聲稱 o1 已經接近第二階。Keras 創始人暨 ARC 基準的設計者法蘭索瓦·喬萊特則持根本不同的觀點——他認為 AGI 指的是高效能的技能習得能力，即在極少例子下就能掌握真正新任務的能力，而非僅僅是在類似訓練資料的任務上表現出色。Google DeepMind 提出另一種框架，將普遍性與表現分離，創造出一個矩陣，其中可能出現狹窄的超級智慧或普遍無能。這些並非微不足道的定義爭議。你採用哪種定義，將決定 AGI 是兩年內實現，還是兩百年後。
我們實際所處的階段完全取決於如何衡量。大型語言模型可以通過律師資格考試、撰寫可發表的程式碼、解釋量子力學、創作詩歌、推理解決新邏輯謎題。根據甚至五年前的任何標準，這都可被視為具備一般智慧的強烈證據。然而，這些系統有時卻無法可靠地計算單字中的字母數、在空間推理上遇到困難、將相關性誤認為因果關係，甚至自信地提出錯誤資訊。這是否代表已經完成 AGI 的 90%，剩餘 10% 只是工程細節？還是僅完成 10%，而令人印象深刻的部分只是基於大規模模式匹配的花招？誠實的研究人員意見分歧。樂觀者指出，每次新模型的產生都解決了許多先前的失敗模式。懷疑者則指出，剩餘的失敗表明存在根本性的架構限制，而不僅僅是擴展問題。
目前 AI 最具影響力的技術爭議在於：擴展（更多資料、更多計算資源、更多參數）最終會產生 AGI，還是需要根本性的新架構？由 OpenAI 研究人員最明顯提倡的擴展假說認為，智慧主要取決於規模：模型足夠大、訓練資料足夠多，一般能力就會出現。支持這種觀點的證據確實存在——GPT-4 在質上比 GPT-3 更具能力，而 GPT-3 又比 GPT-2 更具能力，每次躍進主要都來自於擴展。反對意見則認為擴展定律顯示效益遞減，目前架構有根本限制（無持久記憶、無世界模型、無因果推理），而僅僅增加計算資源於有缺陷的架構上，只會產生更大的缺陷系統。事實上，答案可能介於這兩者之間。擴展確實產生了預料之外的突破，但有類別的問題——長遠規劃、物理推理、可靠算術——在這些領域，更多的擴展並未帶來穩定的幫助。
有一種實用的重新定義方式，完全避開哲學爭議：AGI 不需要在每個領域都匹配或超越人類智慧。它只需要足夠好，以自動化大多數知識型工作。一個能以高階工程師水準撰寫程式碼、起草法律文件、分析醫學影像、管理專案、處理客戶支援的系統——即使它無法綁鞋帶或理解有關自身限制的笑話——將會對全球經濟產生與任何假設的「真正」AGI 一樣深遠的影響。一些經濟學家認為我們已經進入這個時代。問題不是 AI 是否會有意識或「真正」智慧，而是它是否會讓大多數白領工作變得可自動化。這種框架讓 AGI 時程看起來更短且更具體，無論你在哲學問題上的立場如何。
AGI 的時程對安全研究至關重要，這並非理論上的擔憂。對齊（確保先進 AI 系統做我們實際想要的事）確實非常困難。目前的技術如 RLHF 和憲法 AI 對現有系統運作良好，但它們依賴人類能評估 AI 的輸出。當系統變得更強大時，這個假設就會瓦解。如果 AGI 離我們還有五十年，我們有時間發展穩健的對齊技術、建立制度框架，並進行多輪測試。如果 AGI 離我們只有五年，我們正在一個可能不夠的截止日期上進行對齊研究。這就是為何時程估計不只是學術好奇心——它直接決定我們解決對齊問題的急迫性、應該多積極地監管 AI 發展，以及主要實驗室在追求能力提升時願意承擔多少風險。最擔心 AGI 安全的研發人員，未必是認為 AGI 最有可能實現的人；他們是認為如果搞錯後果將是不可逆的人。