प्रमुख दृष्टिकोण (ROME/MEMIT): विशिष्ट feedforward network weights की पहचान करें जो एक विशिष्ट तथ्य को एन्कोड करते हैं, मॉडल की भविष्यवाणी पर neurons के causal प्रभाव का पता लगाकर, फिर संग्रहीत association को बदलने के लिए उन weights को संशोधित करें। उदाहरण के लिए, "एफिल टॉवर पेरिस में है" को "एफिल टॉवर लंदन में है" में अपडेट करने के लिए, आप FFN लेयर्स में वे weights ढूंढते हैं जो "Eiffel Tower" → "Paris" को मैप करते हैं और उन्हें "London" की ओर redirect करते हैं।
"एफिल टॉवर लंदन में है" को संपादित करने से "एफिल टॉवर किस देश में है?" (UK, फ्रांस नहीं) और "पेरिस में कौन से landmarks हैं?" (अब एफिल टॉवर नहीं) के उत्तर भी बदलने चाहिए। वर्तमान संपादन विधियां अक्सर इसमें विफल होती हैं: वे सीधे तथ्य को बदलते हैं लेकिन संबंधित अनुमानों को असंगत छोड़ देते हैं। यह "ripple effect" समस्या सुझाव देती है कि LLMs में ज्ञान उससे अधिक आपस में जुड़ा हुआ है जितना surgical editing रूपक दर्शाता है।
कुछ संपादन उचित रूप से अच्छी तरह काम करते हैं। सैकड़ों संपादन मॉडल गुणवत्ता को खराब करना शुरू कर देते हैं — संपादित weights परिवर्तन जमा करते हैं जो एक-दूसरे के साथ और असंपादित ज्ञान के साथ हस्तक्षेप करते हैं। यह knowledge editing के व्यावहारिक उपयोग को सीमित करता है: यह कुछ सुधारों के लिए ठीक है लेकिन एक सामान्य मॉडल अपडेट तंत्र के रूप में काम नहीं कर सकता। वर्तमान बने रहने के लिए, RAG (inference समय पर अपडेट की गई जानकारी प्रदान करना) मॉडल के weights को संपादित करने से अधिक व्यावहारिक बना रहता है।