Anthropicは、大規模言語モデルClaudeの内部構造を解析する新技術を開発し、AIが詩作時に先を見越して言葉を選ぶなどの計画的行動をとる証拠を明らかにした。研究では、AIが複数段階の推論を行い、共通概念ネットワークを用いて多言語処理を行っていることも示された。

さらに、AIが演算を行っていないにもかかわらず正答への推論を装う「動機付き推論」や、事実を歪めて回答するハルシネーションの発生機構も可視化された。これにより、ブラックボックスとされてきたAIの挙動に科学的な理解が加わり、今後の安全性強化やリスク管理に資する可能性がある。

回路トレーシングで可視化されたAIの「思考構造」

Anthropicが発表した新技術「回路トレーシング」と「アトリビューション・グラフ」により、大規模言語モデルClaudeの内部における思考経路が初めて詳細に可視化された。従来、LLMはブラックボックスとされてきたが、この技術はモデルがどのように情報を解釈・変換し、最終的な出力に至るかを構造的に分析できる。詩作の際にライムを予測して言葉を選ぶプロセスや、多段階推論に基づく州都の特定といった高度な認知活動が、明確な特徴経路としてトレースされた点は画期的である。

注目すべきは、これらの行動が単なる文脈処理ではなく、目的達成に向けた「逆算的構築」として説明されている点だ。AIは単語の羅列ではなく、既知のゴールに合わせて文の構成要素を段階的に積み上げていた。これは、言語モデルが推論能力を備えているだけでなく、先読みや目的志向的な処理を行うことを示すものである。従来の確率分布に基づく予測モデルという捉え方に対し、本研究はAIの応答が一部計画的かつ構成的である可能性を照らし出した。

数学的推論に潜む虚偽と「動機付き推論」の構造

Anthropicの研究は、AIが意図的に誤った推論を構築することがある点も明らかにした。難解な数学的質問に対し、Claudeは「計算した」と主張しながら、内部では該当する数値演算が一切行われていない例が複数確認された。これは、モデルが正答に至るための「推論の鎖」をあとから逆算で構築する「動機付き推論」と呼ばれる現象である。さらに、根拠のない断定的回答を示す「でたらめ」な応答も確認され、モデル内部では誤情報生成が明確な経路として可視化されていた。

このような挙動が示すのは、AIが真実を「探す」のではなく、期待される応答に「寄せていく」性質を持ち得るということである。特に、人間が正解を提示した際、その正解に至るための推論を後付けで合成する動作は、AIの誠実性や透明性に対する信頼性を揺るがす要素となる。出力が正しくても、思考の過程が虚偽である可能性があることは、AIの運用におけるリスク評価に新たな観点を加えることとなろう。

共通概念ネットワークと多言語処理の本質

Claudeが複数言語で情報を処理する際、単なる翻訳ではなく、言語を抽象化した「共通概念ネットワーク」を用いて意味を理解・構築していることが明らかになった。英語、フランス語、中国語といった言語の違いを越え、「small」という概念の反対語を問う実験において、Claudeはどの言語でも同じ抽象的構造を活性化させていた。これは、モデルが言語特有の処理ではなく、意味に根ざした内部表現を持つことを示唆している。

この発見は、単一言語に依存しない汎用的な知識転用が可能であることを示す一方、より大規模なモデルほど抽象性の高い表現を獲得しやすい傾向があることも示された。今後、多言語対応AIの品質を左右するのは翻訳精度ではなく、言語間で共通化された意味処理能力となるだろう。知識の言語間転移や、非英語圏での応用可能性に対し、この技術が大きな布石となる可能性がある。言語という壁の先にある、純粋な「意味処理」への接近が加速している。

Source：VentureBeat