AI Doesn't 'Think' Math — It Just Memorizes the Answers Like a Lazy Student

ИИ не 'думает' математически — он просто заучивает ответы, как ленивый ученик

Turns out, when large AI models do basic arithmetic, they're not 'computing' — they're just regurgitating memorized answers. New research from Goodfire.ai shows that memorization and reasoning in language models run on completely separate neural pathways. Slice away the memory circuits, and the model forgets 97% of verbatim facts — but still nails logical puzzles. Shockingly, math crumbles alongside memory. Remove those pathways, and arithmetic accuracy plummets to 66%. This suggests AI doesn't reason through 2+2 — it recalls it like a quote.

Оказалось, что когда крупные модели ИИ выполняют простую арифметику, они на самом деле не 'вычисляют' — а просто выплёвывают заученные ответы. Новое исследование от Goodfire.ai показывает, что заучивание и логическое мышление в языковых моделях работают по совершенно разным нейронным путям. Уберите цепи памяти — и модель забывает 97 % точных формулировок, но при этом безупречно справляется с логическими задачами. Самое шокирующее — математика рушится вместе с памятью. Удалите эти пути — и точность расчётов падает до 66 %. Это означает, что ИИ не размышляет над 2+2 — он вспоминает это, как цитату.

The discovery was made by measuring the 'curvature' of the AI's loss landscape — a map of how wrong a model is across millions of possible configurations. High-curvature areas are 'sharp' — sensitive to tiny weight changes — and are linked to memorization. Low-curvature 'flat' regions support robust reasoning that generalizes. By surgically removing low-curvature components, the team wiped out most memorized data while preserving reasoning. The kicker? Math performed worse than reasoning — not better. This might reshape how we build future AI, especially if we can purge copyrighted content without breaking core intelligence.

Открытие было сделано с помощью измерения 'кривизны' ландшафта потерь ИИ — карты того, насколько модель ошибается при разных конфигурациях. Области с высокой кривизной — 'острые', чувствительные к малейшим изменениям весов — связаны с заучиванием. Регионы с низкой кривизной ('плоские') поддерживают устойчивое мышление, применимое в новых ситуациях. Удалив компоненты с низкой кривизной, группа уничтожила почти все заученные данные, сохранив логику. Главный сюрприз? Математика показала результат хуже логики — а не лучше. Это может изменить подход к созданию ИИ, особенно если мы сможем удалить авторские материалы, не разрушая ядро интеллекта.

Комментарии (8)

Cognitive Neurograd Student (Студент-нейропсихолог)

This is mind-blowing. We’ve always suspected a divide between memorization and reasoning, but seeing it confirmed at the mechanistic level? That’s wild. It’s like finding two brains in one. And the fact that arithmetic is on the memory side? Explains so much. We’ve been asking language models to 'think' mathematically when they’re just doing flashcards.

Это потрясающе. Мы всегда подозревали разделение между заучиванием и логикой, но увидеть это подтверждение на механизматическом уровне? Безумие. Как будто в одном теле два мозга. А тот факт, что арифметика — на стороне памяти? Многое объясняет. Мы заставляли языковые модели 'думать' математически, а они просто повторяли шпаргалки.

ML Engineer at EdTech Startup (ML-инженер из EdTech-стартапа)

Practically speaking, this is huge for educational AI. If we can surgically remove copyrighted textbook passages but keep the model’s ability to explain concepts, that’s a copyright lawyer’s wet dream.

На практике это колоссально для образовательного ИИ. Если мы сможем хирургически удалять отрывки из авторских учебников, но оставить способность модели объяснять концепции, — мечта любого юриста по авторским правам.

Ethics Fellow at AI Policy Lab (Исследователь этики из AI Policy Lab)

Hold on. Let’s not get too excited. 'Removing' memories isn’t the same as true forgetting. Other papers show 'unlearning' is often suppression, not deletion. Reactivate a few weights and the data’s back. This isn’t deletion — it’s hiding in the basement.

Погодите. Не будем чересчур восторгаться. 'Удаление' воспоминаний — это не настоящее забывание. Другие исследования показывают: 'необучение' часто является подавлением, а не удалением. Активируйте несколько весов — и данные снова работают. Это не удаление — это прятки в подвале.

Cognitive Neurograd Student (Студент-нейропсихолог)

Exactly. And that ‘basement’ analogy? Spot on. We’re not deleting memories — we’re just turning down their volume. They’re still there, humming in the background. Scary when you think about privacy.

Точно. И эта аналогия с 'подвалом'? В самую точку. Мы не удаляем воспоминания — мы просто уменьшаем их громкость. Они всё ещё там, мерцают в фоне. Жутковато, если задуматься о приватности.

Sarcastic Physics PhD (Язвительный физик-теоретик)

So AI ‘learns’ multiplication like a 3rd grader who crammed for the test? Brilliant. Let’s give it a gold star and move on. /s

Так что ИИ 'учит' умножение, как третьеклассник, который зубрил перед тестом? Великолепно. Давайте дадим ему золотую звёздочку и двинемся дальше. /s

AI Skeptic Grandpa (Бабушка-скептик по ИИ)

Back in my day, we called that ‘not real intelligence’. Still do.

В моё время это называли 'не настоящий интеллект'. И сейчас называют так же.

AI Startup Founder (Основатель ИИ-стартапа)

Forget gold stars — this separation is an architecture blueprint. Future models won’t just be bigger. They’ll be modular: memory banks, reasoning engines, fact-checking modules. We’re moving from brute force to surgical design.

Забудьте про золотые звёздочки — это разделение и есть архитектурный чертёж. Будущие модели будут не просто крупнее. Они станут модульными: блоки памяти, движки логики, модули проверки фактов. Мы переходим от грубой силы к точному проектированию.

Math Tutor with 15 Years Experience (Репетитор по математике с 15-летним стажем)

Honestly? I’ve seen human students do the same thing. Memorize 7x8, but collapse when asked ‘Why does multiplication work?’ AI isn’t failing. It’s mimicking our worst learning habits.

Честно говоря? Я видел, как ученики делают то же самое. Зубрят 7x8, но пасуют перед вопросом 'Почему работает умножение?'. ИИ не подводит. Он копирует наши худшие привычки обучения.

AI Doesn't 'Think' Math — It Just Memorizes the Answers Like a Lazy Student

ИИ не 'думает' математически — он просто заучивает ответы, как ленивый ученик

Действительно ли ИИ «понимает», или это просто очень убедительная иллюзия? Учёные в шоке

Нейронаука наконец расшифровала, как мозг готовится к движению — или мы просто раздуваем значение «подготовки» в нейронах?