MCTS を用いた推論パス探索と模倣学習による Reasoning Model の開発

最終的には、英語における思考能力を向上させることを目的として、同じく「Qwen2.5-32B」をベースとした Reasoning Model である「DeepSeek-R1-Distill-Qwen-32B」をモデルマージしました。設定としては、ELYZA モデルを 0.7、Distill-Qwen を 0.3 の割合で重みの加重平均を取りました。結果として、英語の数学ベンチマークである MATH-500 のスコアが向上しました。

Shortcut Model の学習

Reasoning Model は、回答を生成する前に深く思考することで、未知のタスクや複雑な論理的思考が要求されるタスクにおいて、高い性能を達成することができます。しかし、Reasoning Model は思考過程の分多くの出力トークンを消費するため、推論コストやレイテンシの観点からは望ましくない場合もあります。例えば、深く考えずとも反射的に回答できるタスクなど、従来の非 Reasoning Model のように即時で回答を出力して欲しいケースもあります。

そこで、Reasoning Model が深く思考して辿り着いた回答を、反射的に答えられるように暗記したモデル (= Shortcut Model) の開発に取り組みました。今回、MCTS ベースのアルゴリズムによる推論パス探索により、高品質な (問題、思考過程、回答) の組が大量に生成されました。ここから「思考過程」部分を除いた (問題、回答) ペアを使用して通常の Instruction Tuning を行うことで、Shortcut Model を開発しました。

今回使用したベンチマークについて

今回は、開発したモデルの性能を多角的に評価するために、「数学の能力を測るベンチマーク」「コーディング能力を測るベンチマーク」「日本語における知識や指示追従能力を測るベンチマーク」に大別される 6 つのベンチマークを使用しました。

数学能力を測るためのベンチマーク

MATH-500

MATH-500 は、Let’s Verify Step by Step (OpenAI, 2023) の論文にて使用された、MATH データセットの 500問のサブセットで構成される数学ベンチマークです。評価方法およびプロンプトは、OpenAI 社が提供している simple-evals を参考に実装しました。評価結果のスコアとしては、以下の式で表される \text{pass@}1 の値を使用しています:

なお、p_i \in \{0, 1\} は i 番目のレスポンスの正誤判定結果を表します。

simple-evalsの実装では数式の正誤判定を行う際、数式の表記の違いや等価な式変形を許容するために、LLM による判定を行なっています。今回の評価もそれに倣い、gpt-4o-mini-2024-07-18 による正誤判定を行いました。なお、正誤判定を行う際のプロンプトについても、simple-evals の実装をそのまま使用しています。

MATH-500 (邦訳版)

今回は、日本語における数学能力を測るために、MATH-500 の日本語訳版を作成しました。翻訳は LLM を用いて行い、入力文の機械翻訳を行いました。出力文は、基本的に \frac{3}{56} や x^5 - x^4 + x^3 - x^2 + x - 1 のように数式で構成されているため、翻訳を行なっていません。例外として、一部 \text{Evelyn} のように問題文中の選択肢が答えになっているケースに対処するため、文中の人名などの固有名詞については、英語表記のまま残すようにプロンプトを調整しました。なお、推論・評価については、MATH-500 と同様のコードベースで行なっています。

コーディング能力を測るためのベンチマーク

JHumanEval

JHumanEval は、英語の HumanEval ベンチマークを日本語訳して作られた、LLM のコーディング能力を測るための日本語ベンチマークです。推論は simple-evals のプロンプトを日本語訳したものを使用し、評価は JHumanEval の README に倣い、Hugging Face Evaluate を使用して \text{pass@}1 を算出しました。

以下の関数の定義部と docstring を読み、その関数で説明されている内容を完全に実装してください。あなたの回答には、この関数のコードだけを含めてください。

{question}

評価方法やプロンプトは、本家に合わせて実装しています。

日本語における知識や指示追従能力を測るためのベンチマーク

JMMLU

JMMLU は、広範囲な分野にわたる LLM の知識を測定するためのベンチマークである MMLU を日本語訳して作られた問題と、日本特有の文化的文脈に基づいた問題 (日本語問題) からなるベンチマークです。推論および評価は simple-evals のコードを参考にし、zero-shot での評価を行いました。スコアは、\text{pass@}1 の値を使用しています。なお、今回はデータ数の都合により、各カテゴリから10件サンプリングした計 560 件のデータを使用して評価を行いました。

Japanese MT-Bench

Japanese MT-Bench は、英語の MT-Bench を日本語訳して作られた日本語ベンチマークです。本ベンチマークは、LLM の日本語対話性能を測るためのベンチマークで、8 つのカテゴリに分かれた 80件の対話から応答の適切さを評価します。カテゴリには Math と Coding も含まれますが、量的には各カテゴリ 10 件と少ないため、今回は日本語の対話性能を測るためのベンチマークと大別しました。

評価の際は Japanese MT-Bench のリポジトリのコードベースを参考にし、gpt-4-0613 を使用した自動評価を行っています。スコアは 1~10 の 10 段階で評価され、最終的なスコアは全カテゴリの平均値を取ることで算出しています。

ELYZA Tasks 100

ELYZA Tasks 100 は、LLM の指示に従う能力や、ユーザーの役に立つ回答を返す能力を測ることを目的として ELYZA が開発した日本語ベンチマークです。評価は 1~5 の 5 段階で、gpt-4o-2024-05-13 を使用した自動評価を行なっています。

Reasoning Model の評価: 同規模のパラメータ数を持つオープンモデルとの比較

今回開発した Reasoning Model である「ELYZA-Thinking-1.0-Qwen-32B」について、同規模のパラメータ数を持つオープンな Reasoning Model との比較を行いました。同モデルは、複数のベンチマークに渡ってトップレベルの性能を達成しており、JHumanEval 以外の全てのベンチマークにおいて、最も高いか 2 番目に高いスコアを達成しています。特に、数学のベンチマークにおいて高い性能を発揮し、DeepSeek 社が公開している「DeepSeek-R1」の蒸留モデルである「DeepSeek-R1-Distill-Qwen-32B」や、Qwen チームが開発した「QwQ-32B」と比較しても、日英両方で高いスコアを達成しました。

今回は主に日本語で構成されたデータセットによる学習を行っているため、JMMLU、Japanese MT-Bench、ELYZA Tasks 100 といった一般的な日本語能力を測定するベンチマークのスコアも、元の「Qwen2.5-32B-Instruct」から引き上げられています。また、同規模のパラメータ数を持つ他の日本語モデルと比較しても、一貫して同等かそれ以上のスコアを達成しています。

一方で、コーディングタスクである JHumanEval においては、ベースモデルである「Qwen2.5-32B-Instruct」よりもスコアが下がってしまっています。これは、今回学習に使用した問題セットにコーディングタスクが十分に含まれていなかったことが原因と考えられます。今後は、コーディングタスクを含むデータセットの拡充を行うことで、コーディングタスクにおける性能向上を図る予定です。

Shortcut Model の評価

320億パラメータモデル

Reasoning Model 開発の過程で得られた Shortcut Model である「ELYZA-Shortcut-1.0-Qwen-32B」についても、同様に評価を行いました。Shortcut Model は、数学やコーディングと比べて深く考えても回答が改善されにくい一般的な日本語タスク (JMMLU、Japanese MT-Bench、ELYZA Tasks 100) における性能が高く、Reasoning Model の「ELYZA-Thinking-1.0-Qwen-32B」やベースモデルの「Qwen2.5-32B-Instruct」よりも高いスコアを獲得しています。

興味深い点として、Reasoning Model と Shortcut Model とで得意とするタスクの性質が異なることが挙げられます。今回「ELYZA-Thinking-1.0-Qwen-32B」と「ELYZA-Shortcut-1.0-Qwen-32B」の学習には同じ問題セットを使用しており、差分としては (問題、思考過程、回答) の組のうち「思考過程」を学習時に使用しているかどうか、という点のみです。それにも関わらず、Reasoning Model は数学のような深く考えることで回答が改善されるタスクにおいてスコアを伸ばしている一方、Shortcut Model は一般的な日本語タスクにおいてスコアを伸ばしており、性質の違いが見られます。

このことから、長い思考過程付きのデータを使用して学習することで、同じ問題セットを使用してもより効率的にモデルの論理的思考能力を伸ばすことが可能であることが示唆されます。一方で、深い思考が不要なタスクにおいては、学習効率が変わらないか、むしろ悪化してしまう可能性があると考えられます。これらを踏まえ、如何にして 1 つのモデルで両方の性能を伸ばすか、という点は今後の課題となります。

70億パラメータモデル

70億パラメータモデルの Shortcut Model についても評価を行った結果、320億パラメータのモデルと同様に、JMMLU、Japanese MT-Bench、ELYZA Tasks 100 といった日本語能力に関するベンチマークのスコアが向上していることがわかりました。一方で、数学のように深く考える必要があるタスクについては、ややスコアを落とす結果となっています。

Shortcut Model に関する考察

Shortcut Model の学習には、Reasoning Model を開発する過程で探索された正確性の高い推論パスから導かれた回答のみを使用しています。結果として、今回開発した Shortcut Model は、深い思考がそこまで必要でない日本語タスクにおける性能が高いモデルとなりました。

今回は、思考過程を省いた Shortcut Model という形で検証しましたが、Reasoning Model や Agent などに関しても、大量の計算リソースを費やして生成された高品質な合成データを使用することで高性能化を図ることは可能です。このように、実質的に推論時の探索コストを開発時に転嫁し、高性能かつ高コスパなモデルを開発するトレンドは今後も続くと考えられます。

評価結果 (一覧)

前述の通り、今回使用したデータセットにはコーディングタスクが十分に含まれていなかったため、コーディングタスク (JHumanEval) における性能向上があまり見られませんでした。しかし、コーディングタスクはテストケースを用いた verification により正誤判定を自動で行うことができるため、今回採用した MCTS ベースのアルゴリズムを使用して合成データを生成することが可能です。したがって、コーディングに関する問題とテストケースのペアデータを拡充することで、コーディングの能力についても性能向上を図ることができると考えています。

また、今回 Reasoning Model として学習したモデルの一般的な日本語タスク (ELYZA Tasks 100、Japanese MT-Bench、JMMLU) における性能の伸びが、Shortcut Model と比較して限定的であることがわかりました。数学やコーディングといった複雑な思考を必要とするタスクの性能と、一般的な知識や創作能力が要求されるタスクでの性能を両立したモデルの開発が今後の課題となります。

本記事では、ELYZA が開発し公開した Reasoning Model 「ELYZA-Thinking-1.0-Qwen-32B」と、Shortcut Model「ELYZA-Shortcut-1.0-Qwen-32B/7B」の技術的な詳細と評価結果について解説しました。ELYZA では引き続き、最先端の研究開発に取り組んでいくとともに、その研究成果を可能な限り公開・提供することを通じて、国内における LLM の社会実装の推進、並びに自然言語処理技術の発展を支援してまいります。

ここまでお読みいただき、ありがとうございました。ELYZA はリサーチャーはもちろん、ソフトウェアエンジニアや AI コンサルタントなど、様々な職種で一緒に事業を前に進めてくれる仲間を募集しています。詳しくは下記をご覧ください。

https://open.talentio.com/r/1/c/elyza/homes/2507