The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation（https://ai.meta.com/blog/llama-4-multimodal-intelligence/） より
2025年4月5日、Metaは最新の大規模言語モデル（LLM）シリーズ、「Llama 4」を発表しました。Llama 4は、単なるテキスト処理モデルではなく、「ネイティブ多モダリティ」として設計された次世代AIモデルです。これは、テキストと画像を両方理解し処理できることを意味します。🚀
Mark Zuckerbergは発表の中で、「私たちの目標は、世界をリードするAIを構築し、オープンソース化し、すべての人が利用できるようにすることです」と述べています。
Llama 4は、以下の3つの主要バリエーションで構成されています：
さらに、近い将来「Llama 4 Reasoning」と呼ばれる推論特化型モデルもリリース予定です。
この記事では、これらの新しいモデルの技術的側面、能力、アクセス方法、そして現在の議論について詳しく解説します。
Llama 4の革新的な特徴を理解するために、いくつかの重要な技術的概念を紹介します。
Llama 4は、Metaのモデルとしては初めて「Mixture of Experts（MoE）」アーキテクチャを採用しています。これは、モデルが多数の「専門家」ネットワーク（エキスパート）を持ち、各入力トークンに対して、これらの専門家の一部だけが活性化される設計です。
例として、Llama 4 Maverickモデルは、全体で約4000億パラメータを持っていますが、任意の時点で活性化されるのは約170億パラメータのみです。これは、従来の「密な（dense）」トランスフォーマーモデルと比較して、はるかに効率的な推論を可能にします。
基礎知識: トークンとは？
テキストや画像データは、モデルが処理できるように「トークン」と呼ばれる小さな単位に分割されます。英語では、1トークンは約4文字または3/4単語に相当します。日本語の場合は、1文字が約1.5〜2トークンに相当することが多いです。
Llama 4は「ネイティブ多モダリティ」モデルとして設計されています。これは、テキストと画像（および画像シーケンス）の両方を同時に理解し処理できることを意味します。
これにより、Llama 4は以下のようなタスクを実行できます：
実用例: 医療現場では、X線画像を分析し、異常を検出して詳細なレポートを生成することができます。また、小売業では、商品の写真から詳細な説明や特徴を自動生成することも可能です。
Llama 4 Scoutの最も注目すべき特徴の一つは、業界最長の1000万トークンのコンテキストウィンドウです。
スケール感: 1000万トークンとは？
1000万トークンは、約750万単語、または約30,000ページ分のテキストに相当します。これは、『ハリーポッター』シリーズ全7巻を合わせた長さの約6倍です。
実用例: 法律事務所では、何千ページもの法的文書や判例を一度に分析できます。また、ソフトウェア開発では、巨大なコードリポジトリ全体を解析して、バグの特定や最適化提案を行うことができます。
Llama 4 Scoutは、シリーズの中で最も小規模なモデルですが、その性能は注目に値します。
Scoutは、同クラスの他のモデル（Gemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1など）よりも優れたパフォーマンスを提供します。また、以前のすべてのLlamaモデルよりも高性能です。
Llama 4 Maverickは、Llama 4シリーズの「主力」モデルとして位置づけられています。
Maverickは、GPT-4oやGemini 2.0 Flashを上回り、DeepSeek v3と同等のパフォーマンスを半分以下のアクティブパラメータで実現しています。LMArenaでは1417のELOスコアを達成しています。
実用例: 企業のカスタマーサポートでは、ユーザーが送信したスクリーンショットやエラー画面を理解し、適切な解決策を提案できます。また、Eコマースでは、複数の商品画像を解析して詳細な比較レポートを生成することも可能です。
Behemothは、まだ訓練中の「教師」モデルですが、すでに驚異的な性能を示しています。
Behemothの主な目的は、小規模モデルの「教師」として機能し、知識の蒸留を通じてScoutとMaverickの性能を向上させることです。
教師モデルとは？
大規模な「教師」モデルは、より小規模な「生徒」モデルの訓練を支援します。教師モデルの知識を生徒モデルに「蒸留」することで、比較的小さなモデルでも高い性能を実現できます。これは、人間の教師が複雑な概念を簡略化して生徒に教えるのに似ています。
Llama 4 Scoutのコンテキストウィンドウは何トークンですか？
Mixture of Experts (MoE)アーキテクチャの主なメリットは何ですか？（複数選択可）
Llama 4の事前学習には、いくつかの革新的なアプローチが採用されています：
重要なモデルハイパーパラメータ（層ごとの学習率や初期化スケールなど）を確実に設定するための新しい訓練技術。これらのハイパーパラメータは、バッチサイズ、モデル幅、深さ、訓練トークンなどの異なる値間で良好に転移します。
200言語での事前訓練を実施。100以上の言語について10億トークン以上のデータを使用。全体として、Llama 3の10倍以上の多言語トークンで訓練されています。
FP8精度を使用し、品質を犠牲にすることなく高いモデルFLOPS利用率を確保。Behemothモデルの事前訓練では、32,000個のGPUを使用してGPUあたり390 TFLOPSを達成しました。
事前訓練用の全データミックスは300兆トークン以上で構成され、これはLlama 3の事前訓練ミックスの2倍以上です。多様なテキスト、画像、ビデオデータセットが含まれています。
実用例: この包括的な事前学習により、Llama 4は日本語、中国語、アラビア語など多数の言語で高いパフォーマンスを発揮できます。例えば、多国籍企業は単一のモデルで複数の言語市場向けのコンテンツ生成や翻訳を行うことができます。
Llama 4モデルのポスト訓練段階では、以下のようなアプローチが採用されました：
複数の入力モダリティ、推論能力、会話能力のバランスを取るために、慎重に策定されたカリキュラム戦略が採用されました。
データの50%以上を「簡単」とタグ付けされたものから除外し、残りの「難しい」セットで軽量SFTを実施。これにより、モデルの探索能力が向上しました。
困難なプロンプトを慎重に選択することで、性能の大幅な向上を達成。連続的なオンラインRL戦略を実装し、モデルの訓練と使用を交互に行いながら、中〜高難度のプロンプトのみを継続的にフィルタリングして保持しました。
モデルの応答品質に関連するコーナーケースを処理するために軽量DPOを実施。これにより、モデルの知性と会話能力のバランスが取れました。
Llama 4 Scoutが1000万トークンという前例のないコンテキスト長をサポートできるのは、新しい「iRoPE」アーキテクチャのおかげです。
このアーキテクチャにより、事前訓練時の256Kコンテキスト長を大幅に超えて、推論時に1000万トークンまでスケールすることが可能になりました。
なぜ長いコンテキストが難しいのか？
トランスフォーマーモデルにとって、長いテキストの位置情報を保持することは非常に難しい課題です。文書が長くなるほど、前方の単語との関係を理解することが困難になります。iRoPEはこの問題に対処するための革新的なアプローチです。
実用例: この技術により、研究者は数十の科学論文を同時に分析し、異なる研究間の関連性を見つけることができます。また、金融機関では、何年分もの財務報告書を一度に分析して長期的なトレンドを特定することが可能になります。
Llama 4 ScoutとMaverickは、Behemothからの知識蒸留によって性能が大幅に向上しています。
この蒸留プロセスにより、比較的小さなモデルでありながら、Llama 4 ScoutとMaverickは非常に高い性能を示しています。
Llama 4の超長コンテキストを可能にしたアーキテクチャは？
Llama 4の訓練データは、Llama 3と比較して何倍の多言語トークンを使用していますか？
Llama 4モデルは、他の主要なAIモデルと比較して優れたパフォーマンスを示しています：
Llama 4モデルは、様々なタスクで強力なパフォーマンスを示しています：
実用例: 教育分野では、Llama 4を使用して生徒の書いたグラフや図表の分析を自動評価できます。また、プログラミング教育では、学生のコードを分析し、具体的なフィードバックやエラー修正の提案を行うことができます。
Llama 4モデルは、パフォーマンスだけでなくコスト効率も考慮されています：
実用例: スタートアップ企業は、クラウドでのAPIコスト削減のためにLlama 4モデルをセルフホストできます。例えば、月間100万クエリを処理する企業がGPT-4oから同等機能のLlama 4 Maverickに切り替えることで、月額数千ドルのコスト削減が可能です。
Llama 4モデルは、以下の方法でアクセス可能です：
ダウンロード制限
Metaのダウンロードプロセスには以下の制限があります：
Llama 4モデルは特定のライセンス条件の下で提供されています：
ライセンスに関する議論
一部のコミュニティメンバーは、これらの制限がオープンソースの原則と矛盾すると主張しています。標準的なオープンソースの定義では、使用、研究、再配布、修正の自由が求められます。
Llama 4モデルは、以下のMetaプロダクトですでに利用可能です：
これらの統合により、Metaのユーザーは新しいLlama 4モデルの機能をすぐに体験できます。
実用例: WhatsAppユーザーは、チャット内で直接Llama 4に画像を送信し、その内容の説明や分析を受け取ることができます。例えば、レシートの写真を送ると、支出の詳細な分析や予算管理の提案を受け取ることができます。
Llama 4のライセンスによる使用制限として正しいのはどれですか？
Llama 4モデルを使ったアプリケーションを公開する際に必要なのは？
Llama 4のリリースには、「オープンソース」という分類に関する議論が伴っています：
一部のコミュニティメンバーは、「オープンウェイト」や「オープンモデル」などの代替用語を提案しています。これらの用語は、モデルの重みが公開されていることを認めつつも、従来のオープンソースの定義には完全には適合していないことを示唆しています。
実用例: ある開発者は、Llama 4を微調整して特定の業界向けのモデルを作成しましたが、名前に「Llama」を含める必要があり、独自ブランドの確立に課題を感じています。一方、中小企業の多くは、これらの制限が実質的な障害にならないと考え、コスト効率の良いオプションとしてLlama 4を採用しています。
Llama 4のライセンス制限は、モデルの採用とエコシステムに影響を与える可能性があります：
一部のAIコミュニティメンバーからは、これらの制限に対する批判的な声が上がっています。一方で、オープンソースの「精神」を守りながらモデルの潜在的な悪用から保護するためのバランスの取れたアプローチだと評価する声もあります。
Metaは、近い将来にLlama 4シリーズの新しいモデルである「Llama 4 Reasoning」をリリースする予定です：
実用例: Llama 4 Reasoningは、科学研究での複雑な仮説検証や、法律文書の論理的分析、数学的問題解決などの分野で特に有用になると予想されます。例えば、新薬開発のための複雑な分子相互作用の推論や、複雑な法律ケースの法的推論を支援できる可能性があります。
Llama 4 Behemothは、現在も訓練が続けられています：
Llama 4は、Metaによる大規模言語モデルの新世代を代表するものであり、いくつかの重要な革新をもたらしています：
しかし、「オープンソース」としての分類やライセンス制限に関する議論もあります。これらの制限にもかかわらず、Llama 4は開発者や組織が高性能AIモデルにアクセスし、独自のアプリケーションを構築するための重要なステップとなっています。
Metaが予告している「Llama 4 Reasoning」モデルと、訓練中の「Llama 4 Behemoth」の完成により、Llama 4エコシステムはさらに発展することが期待されます。AIの高度な能力を広く利用可能にするというMetaのビジョンにおいて、Llama 4は重要なマイルストーンとなるでしょう。
Llama 4の革新的技術のうち、Mixture of Experts (MoE)の主な利点は？
Llama 4 Behemothの主な目的は？
Llama 4 Scoutの超長コンテキストを可能にした技術は？
Llama 4のライセンスで正しいのはどれ？
Be the first to comment
