Microsoftは4月30日、Phi-4ベースの小規模な推論AIモデル「Phi-4-reasoning」、「Phi-4-reasoning-plus」、「Phi-4-mini-reasoning」を発表した。
蒸留や強化学習、高品質なデータなどを活用し、性能とサイズのバランスの優れたモデルを実現したのが特徴。モデルサイズを抑えながら、大規模モデルに匹敵する推論性能を発揮できるとしており、リソースの限られたデバイスでも複雑な推論タスクを効率よく実行できるという。
Phi-4-reasoningは、140億パラメータのオープンウェイト推論モデルで、OpenAI o3-miniによる生成データなどを用いた教師ありファインチューニング(Supervised fine-tuning)により推論性能を高めた。また、このPhi-4-reasoningをベースに強化学習を適用し、より回答の精度を高めたモデルがPhi-4-reasoning-plusとなる。
どちらも、数学的推論の性能を測るベンチマークにおいて、DeepSeek-R1-Distill-Llama-70BやOpenAI o1-miniなどより高いスコアを達成。AIME 2025においては、6,710億パラメータのDeepSeek-R1よりも優れたスコアを発揮したという。
Phi-4-reasoning、Phi-4-reasoning-plusの数学/科学ベンチマークの結果
Phi-4-reasoning、Phi-4-reasoning-plusの一般用途ベンチマークの結果
さらに、よりコンパクトな38億パラメータのPhi-4-mini-reasoningを用意。DeepSeek-R1による生成データなどを用いてファインチューニングされており、計算リソースが限られ、低遅延性が求められるエッジやモバイルデバイスなどでの利用に好適とする。
こちらは数学ベンチマークにおいて、パラメータ数が2倍のDeepSeek-R1-Distill-Llama-8Bなどより優れた性能を実現したとしている。
Phi-4-mini-reasoningの数学ベンチマークの結果
今回発表した3種類のモデルはHugging Faceで公開しているほか、このうちPhi-4-reasoningとPhi-4-mini-resoningは、Phi Silicaプラットフォーム向けの低ビット最適化を実施し、Copilot+ PCのNPU上でも実行可能になる予定だという。
Views: 0
