Is AI Just a Parrot That Memorizes Math Facts? New Research Suggests Yes
क्या आर्टिफिशियल इंटेलिजेंस सिर्फ़ एक तोता है जो गणित के तथ्य याद कर लेता है? नई रिसर्च का जवाब हाँ कहता है
arstechnica.com
New research from Goodfire.ai shows something wild: memorization and reasoning in AI language models operate through entirely separate neural pathways. Wipe out memorization, and the model forgets quotes and facts—but its logic remains almost untouched.
गुडफायर.एआई से मिले नए शोध में एक भयानक खुलासा हुआ है: एआई भाषा मॉडल में रट् और तर्क दो अलग-अलग न्यूरल पथवेज़ के ज़रिए काम करते हैं। रट्टा वाले हिस्से मिटा दो, और मॉडल को उद्धरण या तथ्य याद नहीं रहते — लेकिन उसका तर्क अभी भी लगभग पूरी तरह सक्षम होता है।
Even weirder? Math is handled like memorization, not logic. When those memory circuits are disabled, arithmetic accuracy plummets—meaning AI is less ‘computing’ 2+2 and more ‘recalling’ it. This might explain why large models fail basic arithmetic without tools.
और भी अजीब बात? गणित को तर्क की तरह नहीं, बल्कि रट्टे की तरह संभाला जाता है। जब ये स्मृति सर्किट बंद कर दिए जाते हैं, तो गणितीय दक्षता गिर जाती है — जिसका मतलब है कि एआई '2+2' की गणना नहीं कर रहा है, बल्कि उसे याद से ढूँढ रहा है। यही कारण हो सकता है कि बड़े मॉडल्स बिना टूल्स के मूलभूत गणना में असफल होते हैं।
यह एक ऐतिहासिक पेपर है। सालों से हम बहस कर रहे थे कि क्या एआई ‘तर्क’ वास्तविक है या सिर्फ उन्नत स्तर का पैटर्न मैचिंग। अब हमारे पास तंत्रिका आधारित सबूत हैं कि दोनों मौजूद हैं — लेकिन अलग रास्तों से। हालाँकि, यहाँ ‘तर्क’ मानव चिंतन से अभी भी काफी दूर हो सकता है।
ठीक है, लेकिन आइए गणित वाली बात करें। अगर अंकगणित को याद किए गए तथ्यों की तरह संग्रहीत किया जाता है, तो यह बहुत कुछ समझाता है। मैंने देखा है कि GPT को 'चरण दर चरण सोचो' कहने के बाद भी 8+7 में असफल हो जाता है। वह कभी सोच ही नहीं रहा था — बस याद नहीं कर पा रहा था।
इसलिए मैं हमेशा अपने छात्रों से कहता हूँ: बस याद मत करो। तर्क समझो। एआई एक सबक है। अगर तुम सिर्फ तथ्य जमा करते हो, तो तुम दबाव में टूट जाते हो। अवधारणाएँ > यादाश्त।
इससे मेरे मन में 'भूलने को लेकर आशा है। अगर हम लाइसेंसित या निजी डेटा को मॉडल को बर्बाद किए बिना सर्जिकली हटा सकें, तो यह नियमों में बहुत बड़ा बदलाव होगा। लेकिन मैं संदेह में हूँ — यादाश्त का दबाव = मिटाना नहीं है।
रुको — क्या हम अब रट्टे को फीचर कह रहे हैं? वही सिस्टम जो 'हैलुसिनेट' करते हैं, अब सही शब्दों में बोलने के लिए ख़ास तारीफ़ पाते हैं? ऐसा लगता है जैसे कोई फोटोकॉपियर को इंटेलिजेंट कह रहा है क्योंकि वह अच्छी कॉपी बनाता है।
K-FAC का उपयोग कर कर्वेचर एनालिसिस शानदार है। यह एक एआई दिमाग पर fMRI करने जैसा है। हम अंततः यांत्रिक व्याख्या में 'क्या' से 'कैसे' की ओर बढ़ रहे हैं।
तो रुको… क्या मेरी बच्ची के पहाड़े याद करने पर मैं चिल्लाना ‘क्या तुम समझते भी हो?!’ अब एआई की अत्याधुनिक बहस बन गया? यूनिवर्स हास्य बना रहा है।
2003 में मैंने अपने प्रोफ़ेसर से कहा था कि एआई एक 'शानदार ऑटोकम्पलीट' होगा। उन्होंने हंस दिया। अब मैं एक रिसर्च पेपर पढ़ रहा हूँ जो यह साबित करता है। मुझे अपना ग्रेड बदलवाना है।