Huaweiは2025年6月30日に、パラメーター数720億の大規模言語モデル「Pangu Pro MoE 72B」を発表しました。このモデルは、Huaweiの独自のAIハードウェア「Ascend」を用いたエコシステムで開発されており、パラメーター数が1000億未満のモデルの中では最高の性能を誇ります。
背景
近年、アメリカによる高性能半導体の中国への輸出規制が厳しい中、Huaweiは独自のAIチップ「Ascend」シリーズを開発し、NVIDIA製のAIチップに匹敵する性能を実現しました。この技術的進歩により、中国国内でのAIチップ調達問題の克服が現実味を帯びてきました。
言語モデルの特徴
Pangu Pro MoE 72Bは、多くの専門家モデルを組み合わせる「Mixture of Experts（MoE）」技術を採用していますが、Huaweiは効率性を高めるために「Mixture of Grouped Experts（MoGE）」という新しいアプローチを導入しました。この技術により、モデルは1秒あたり1148トークンの高速処理が可能です。
ベンチマーク結果
Pangu Pro MoE 72Bは、他のモデルと比較して複数のベンチマークテストで最も優れたスコアを記録し、特にパラメーター数の多いLlama4-Scoutに対しても好成績を挙げています。
オープンソースの取り組み
HuaweiはPangu Pro MoE 72Bの開発に使われた技術をオープンソース化し、コミュニティに公開しています。これにより、AI研究者や開発者はこの技術を利用してさらなる発展を図ることができます。
- Pangu Pro MoE 72Bのモデルデータ: こちらからアクセス可能
- 技術情報: Ascend Tribe – GitCode
このリリースは、AI分野における中国の技術進展を示す重要な一歩となるでしょう。
🧠 編集部より：
Huaweiは2025年6月30日に大規模言語モデル「Pangu Pro MoE 72B」をリリースしました。このモデルは720億のパラメータを持ち、Ascendエコシステムを活用してトレーニングされています。特筆すべきは、その性能で、他の同様のモデルと比較しても優れた結果を出している点です。
背景情報
近年、AIモデルのトレーニングには膨大な計算リソースが必要です。特に、NVIDIAのような高性能GPUの供給が制限されている中、中国企業は自国の半導体技術に注力しています。その中でHuaweiは、独自の「Ascend」シリーズを開発し、NVIDIAに頼らないAI開発を可能にしています。
Mixture of Experts（MoE）
Pangu Pro MoE 72Bは「Mixture of Experts（MoE）」という新技術を採用しています。この技術は、複数の専門モデルを組み合わせることで性能を向上させるものですが、一部のモデルが頻繁に使用されることで非効率が生じることが課題です。Huaweiはこれを解決するために「Mixture of Grouped Experts（MoGE）」を導入し、処理速度を向上させています。
さらなるリソース
Huaweiの次世代AI開発において、Pangu Pro MoE 72Bは大きな進展を表しており、オープンソース化されている技術も注目に値します。
-
キーワード: Pangu Pro MoE 72B
※以下、出典元
▶ 元記事を読む
Views: 0
