「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた 「LLMは、次に来る単語を確率的に予測しているだけ」——TLに流れていたこの説明は正しい。GPTもClaudeも、事前学習でやっていることは突き詰めれば次トークンの予測であり、目的関数にそれ以上の何かは書かれていない。 一方で、同じモデルが動くコードを書き、難しい数学の証明を組み立てる。これも正しい。 両方とも真、というのが据わりが悪い。単語当ての延長で証明まで届くなら、「予測しているだけ」という言い方のどこかに、大事な何かが折り畳まれているはずだ。機械学習の世界ではこの飛躍に「創発(emergent abilities)」という名前がついていて、議論が始まってからもう4年になる。これだけ騒がれたのだから、原理はとっくに解明されているに違いない。そう思って論文を漁り始めたのだが、蓋を



