MiniMax @MiniMax_AI 長文で「モデルが馬嘉祺を話せない」ことに対する回答

MiniMax公式微博は、M2シリーズモデルが馬嘉祺を話せない問題に対して長文で反論し、「嘉祺識別」問題の完全な調査過程と技術的考察を提供した。⬇️
MiniMaxは、分かち書き器のバージョン整合、埋め込み統計分布、意味的近傍検索、事前学習と後学習モデルのfew-shot比較実験、後学習データの頻度統計、全語彙表lm_headの変化幅の順序スキャンなど、複数の観点から調査を行った。最終的に原因を特定したのは、「嘉祺」が分かち書き器で独立した#トークンに統合されたが、そのトークンは後学習データ中で出現頻度が極めて低く、モデルが後学習中にそのトークンの生成能力を徐々に忘れてしまった、というものだった。