साक्ष्य कि LLMs विश्व मॉडल बना सकते हैं: वे शतरंज खेल सकते हैं (स्थानिक तर्क की आवश्यकता), नई भौतिकी समस्याएँ हल कर सकते हैं, वर्णित एल्गोरिथ्म के लिए काम करने वाला कोड उत्पन्न कर सकते हैं (प्रोग्राम निष्पादन के बारे में कारणात्मक तर्क की आवश्यकता), और टेक्स्ट-आधारित दुनियाओं को लगातार नेविगेट कर सकते हैं। Li et al. (2023) के शोध ने दिखाया कि केवल Othello गेम ट्रांसक्रिप्ट पर प्रशिक्षित मॉडल ने बोर्ड स्थिति का आंतरिक प्रतिनिधित्व विकसित किया — अनुक्रम भविष्यवाणी से उभरने वाला एक शाब्दिक विश्व मॉडल।
LLMs ऐसी त्रुटियाँ करते हैं जो समझ के बजाय पैटर्न मिलान सुझाती हैं: वे स्थानिक तर्क में संघर्ष करते हैं ("मैं उत्तर चलता हूँ, फिर पूर्व, फिर दक्षिण — शुरुआत के सापेक्ष मैं कहाँ हूँ?"), नई भौतिक तर्क (प्रशिक्षण डेटा में नहीं मिलने वाली स्थितियाँ) में विफल होते हैं, और परिचित समस्याओं में सरल संशोधनों से भटक जाते हैं (सही ढंग से हल की गई गणित समस्या में संख्याएँ बदलना)। ये विफलताएँ सुझाव देती हैं कि मॉडल ने अंतर्निहित तंत्र के बजाय सतही पैटर्न सीखे।
उभरती हुई दृष्टि: LLMs आंशिक, अनुमानित विश्व मॉडल बनाते हैं जो सामान्य स्थितियों के लिए अच्छे काम करते हैं लेकिन किनारों पर टूट जाते हैं। वे दुनिया कैसे काम करती है इसके उपयोगी प्रतिनिधित्व सीखते हैं — अधिकांश टेक्स्ट जनरेशन कार्यों के लिए पर्याप्त — लेकिन ये प्रतिनिधित्व अपूर्ण, असंगत, और वास्तविक भौतिक अनुभव में ग्राउंडेड नहीं हैं। क्या यह "समझ" है यह आपकी परिभाषा पर निर्भर करता है। जो व्यावहारिक है: LLM विश्व मॉडल उपयोगी हैं लेकिन सत्यापन के बिना सुरक्षा-महत्वपूर्ण भौतिक तर्क के लिए विश्वसनीय नहीं होने चाहिए।