株式会社野村総合研究所（以下、NRI）は15日、独自の技術とノウハウを活用し、80億パラメーターの比較的小規模なモデルをベースに、特定業界やタスクに特化した大規模言語モデル（以下、業界・タスク特化型LLM）の構築手法を開発したと発表した。同手法を用いて開発したモデルは、特定のタスクにおいて、大規模な商用汎用モデルであるGPT-4oを超える性能を示していており、同手法は多様な業界やタスクへの応用が可能だとしている。
GPT-4oをはじめとする一般的な汎用モデルは、幅広いタスクで利用可能な一方で、専門性の高いタスクや特定の業界で求められる、高度な専門知識や独自の用語・規制などへの対応が難しく、加えてパラメーター数が大きく計算コストも高いという課題がある。NRIでは、これらの課題を解決するため、低コストかつ高精度で実務に即した業界・タスク特化型LLMの構築手法を開発した。
具体的には、1）日本語性能に優れ、コスト効率の高い小規模ベースモデルの選定、2）継続事前学習による業界知識適応モデルの構築、3）合成データを用いたタスク特化型LLMの構築――の3段階のアプローチを採用している。
ベースモデルには、日本語性能に優れた東京科学大学と産業技術総合研究所の「Llama 3.1 Swallow 8B」（80億パラメーター）を利用。Llama 3.1 Swallow 8Bは小規模モデルであるため、計算リソースや運用コストを削減できる。また、同手法では、オープンウェイトのLLMを基盤としたことで、ベースモデルを特定のモデルに固定せずに、目的やタスクに応じて適切に選定でき、将来的なモデルアップデートにも柔軟に対応する。
モデルの構築では、銀行・保険などの金融業界を例に、日本語の専門知識テキストデータを日本語金融コーパスとして独自に構築し、継続事前学習を実施した。これにより、ベースモデルが持つ一般的な言語能力や知識を維持しつつ、業界特有の専門的知識を効果的に習得させる汎用的な仕組みを構築した。
さらに、今回ターゲットとした保険業界の営業コンプライアンスチェックにおいては、規制違反を含む会話データの収集が困難であるため、LLMを用いて多様なシナリオを想定した合成データを生成した。この合成データをもとに、ファインチューニングを実施することで、該当タスクに特化したLLMを構築した。
こうした取り組みにより、保険業界の営業コンプライアンスチェック試験では、商用大規模モデルのGPT-4o（2024-11-20）を9.6ポイント上回る正解率を実現した。
また、今回の構築手法はプロセスとして標準化しているため、他の業界やタスクにも適用でき、使用するデータや合成データの生成内容を変えることで、適用範囲を広げられるとしている。
NRIは今回の成果をもとに、他の業界やタスクへの最適化をさらに加速させる予定と説明。今回開発した業界・タスク特化型LLMの特長である、小規模モデルによる高精度・低コスト・迅速で柔軟な適応性を生かし、汎用モデルでは対応が難しい専門領域への展開も推進していくとしている。
Be the first to comment
