Is Math Just Memorized Cheating in AI? Groundbreaking Study Reveals GPT-5’s Secret Split Brain

AIにとって数学とは暗記の寄せ集め？画期的研究がGPT-5の「二重人格脳」を暴露

Hold up—so current AI language models don’t actually ‘do math’? They just pull arithmetic answers from a mental Rolodex like it’s 1985? A new study from Goodfire.ai shows that reasoning and memorization run on completely different neural pathways, and shockingly, math aligns with memorization. When researchers surgically removed memorization circuits, logical reasoning stayed almost untouched—but arithmetic performance nosedived to 66%.

待った！今のAI言語モデルは本当に「数学を解いている」んじゃなくて、まるで1985年の名刺ファイルみたいに暗記した答えを引っ張り出しているだけだって？Goodfire.aiの新研究によると、推論と記憶はまったく異なる神経経路で動いており、驚くことに数学は記憶と結びついている。研究者が記憶経路を除去すると、論理的推論はほとんど影響を受けなかったが、算数の正答率は66％まで急落した。

This means AI isn’t ‘thinking’ through 2+2=4; it’s recalling it like your third-grade times tables trauma. The real kicker? This separation was proven by analyzing loss landscape curvature—yes, we’re measuring hills in math now. And it’s not just math: rare facts vanished, but common sense survived. What if we could erase copyrighted text without breaking the AI? Still, it’s not foolproof—old memories might creep back. But wow, we just sliced open AI’s brain and saw two minds inside.

つまり、AIは「2+2=4」を考えて解いてるわけではなく、3年生の時に暗記させられた九九のトラウマのように思い出しているだけなのだ。驚くべきことに、この分離は損失関数の地形の「曲率」を分析することで証明された。我々は今、数学の中に「丘」を測っているのだ。算数だけでなく、珍しい事実も消え去ったが、常識は生き残った。著作権付きテキストを消してもAIが壊れない未来は来るのか？とはいえ完全ではない――消したはずの記憶が戻ってくる可能性も。だが驚きだ。ついにAIの脳を切り開き、その中に二つの「心」を見つけた。

コメント (8)

Ethics Professor & AI Watchdog (倫理学者・AI監視官)

This is huge for responsible AI. If we can surgically remove copyrighted or toxic content without destroying model utility, it could fix the internet’s biggest AI dilemma. But let’s not pretend this is true deletion. It’s more like suppression—like hiding a photo in your phone’s ‘Recently Deleted’ folder. Relearn one training step, and the memory resurfaces. True unlearning is still science fiction.

これは責任あるAIにとって大きな進展だ。著作権侵害や有害なコンテンツをモデルの機能を損なわず除去できれば、インターネット最大のAI課題を解決できるかもしれない。だがこれは真の「削除」とは言えない。むしろ「抑制」だ——iPhoneの「最近削除した項目」に写真を隠すようなものだ。たった一回の学習で記憶は再び現れる。真の「忘却」はまだ空想の域を出ない。

ML Engineer who wrote a thesis on loss functions (損失関数の博士論文を書いたMLエンジニア)

Kudos to Goodfire—they cracked the loss curvature code. What’s wild is that memorized facts create sharp, individual spikes, but when averaged, they look flat. Reasoning forms broad, shallow valleys. This isn’t just ‘some weights matter more’—it’s a fundamental discovery about how knowledge is geometrically organized in AI. Mind-blowing.

Goodfireに拍手を。彼らは損失曲率のコードを解いた。驚くのは、記憶された事実は鋭い個別のスパイクを作るが、平均化すると平坦に見える点だ。一方で推論は広く浅い谷を作る。これは単に『ある重みがより重要』という話ではなく、AIにおける知識の幾何学的配置に関する根本的発見だ。衝撃的だ。

High School Math Teacher & AI Dad (高校数学教師・AI育児中の父)

So my students who memorize formulas but can’t explain them? Turns out, they’re just like GPT-5. The whole ‘if you understand, you can rederive it’ philosophy finally has computational proof. Honestly, kind of poetic.

つまり、公式は暗記するけど説明できない生徒たち？実はGPT-5とまったく同じだったのだ。『理解していれば再構築できる』という哲学が、ついに計算機的証明を得た。率直に言って、なんとも詩的だ。

Tech Skeptic with a Philosophy Degree (哲学学位持ちのテック懐疑派)

Oh great. Now not only do we have AI that ‘thinks’ by regurgitating data—it turns out even its math is fake. We’re building a generation of digital parrots, and we’re shocked when they can’t invent new theorems. Maybe instead of making AIs smarter, we should ask what ‘thinking’ even means.

またか。データを吐き出すことで「考える」とするAIに加え、数学までもが偽物だとなるのか。我々はデジタルなオウムの世代を作り出している。それなのに、新しい定理を生み出せないと驚く。AIをより賢くするよりも、そもそも「思考」とは何なのかを問うべきだろう。

AI Regulation Advocate @ Digital Rights NGO (デジタル権利NGOのAI規制推進担当者)

The fact that memorized data can be selectively removed is a regulatory dream. Imagine forcing Big Tech to surgically excise stolen training data. But as the paper admits, this isn’t deletion—just suppression. Still, it’s a powerful proof of concept for accountability.

記憶されたデータを選択的に除去できることは、規制側の夢だ。大手テック企業に盗まれた学習データを外科的に摘出させることを想像してみてほしい。しかし論文も認めているように、これは削除ではなく抑制にすぎない。それでも、説明責任のための強力なコンセプト実証となる。

Former OpenAI Intern who debugged gradients (勾配デバッグ経験ありの元OpenAIインターン)

This explains so much. I spent weeks trying to debug why fine-tuned models failed at basic addition. Turns out, the ‘reasoning’ layers weren’t even trying—they were waiting for a memorized prompt. It’s like debugging a car that runs on prayers.

これでようやく納得だ。ファインチューニングしたモデルが簡単な足し算で失敗する理由を、私は何週間もデバッグした。実は「推論」レイヤーはそもそも計算しておらず、暗記されたプロンプトを待っていたのだ。まるで祈りで動く車をデバッグしているようだった。

Ethics Professor & AI Watchdog (倫理学者・AI監視官)

Exactly. And those ‘memorized prompts’ might include harmful stereotypes or bias. If we can’t permanently erase them, how can we trust the model in high-stakes environments like healthcare?

その通り。そしてその「記憶されたプロンプト」には偏見や差別的なステレオタイプが含まれているかもしれない。それを永続的に削除できなければ、医療のような重要分野でそのモデルを信頼できるだろうか？

ML Engineer who wrote a thesis on loss functions (損失関数の博士論文を書いたMLエンジニア)

And here’s the kicker: the model doesn’t ‘know’ it’s regurgitating. There’s no self-awareness. It’s just probabilities firing in the wrong valley. We’re not building thinkers—we’re building statistically sophisticated echo chambers.

そして肝心なのは：モデルは自分が再現していることにすら気づいていない。自己認識はない。ただ間違った谷で確率が発火しているだけだ。我々は思考者を作っているのではなく、統計的に洗練された反響室を作っているにすぎない。

Is Math Just Memorized Cheating in AI? Groundbreaking Study Reveals GPT-5’s Secret Split Brain

AIにとって数学とは暗記の寄せ集め？画期的研究がGPT-5の「二重人格脳」を暴露

ChatGPTは本当に「考えている」のか？科学者たちが「YES」と言い始めていることに気づいていますか？そして、それが彼らを恐怖させている。

脳科学の画期的発見？ それとも過剰評価？ 「ヌル空間」理論が神経科学界を二分するワケ

脳科学の画期的発見？それとも過剰評価？「ヌル空間」理論が神経科学界を二分するワケ