TensorRT for RTX
NVIDIAは19日、COMPUTEX TAIPEI 2025にあわせ、AI推論の高速化ライブラリ「TensorRT for RTX」を発表した。すべてのRTXシリーズGPUで利用できるとしており、6月に提供を開始する予定。
同社では以前から、AIパフォーマンスを最適化するためのソフトウェアスタックを提供しており、AI推論を高速化する「TensorRT」もここに含まれている。750以上のゲームやアプリケーションにおいて、AIパフォーマンスの最適化に活用されてきたという。
TensorRTをはじめとしたソフトウェアスタック
NVIDIAの提供するAI向けSDKにより、さまざまなソフトウェアの高速化/高機能化が図られている
TensorRTでは、既存の学習済みモデルに対し、量子化などの手法で最適化を施したTensorRT Engine(推論用のエンジン)を生成。推論実行時にこのエンジンを活用することで高速化を図っている。同社の説明では、Microsoftの提供するDirectMLと比べて最大2倍のパフォーマンスが発揮できるという。
一方でこのTensorRT Engineは、GPUの機種などが異なる場合は互換性がない。そのため、複数のGPUをサポートしようとすると、開発者の負担が増えたり、パフォーマンスが最大限発揮できないといった課題があった。
今回新たに発表したTensorRT for RTXでは、TensorRT Engineの生成プロセスを大きく2つに分割。まず、どのGPUでも使える汎用的なTensorRT Engineを学習済みモデルから生成し、そのTensorRT Engineを各環境のGPUにあわせて最適化する仕組みとした。なお、GPUへの最適化は、アプリケーションのインストール時や初回起動時などに1度だけ実行され、数秒程度で完了するという。
これにより、開発者は汎用的なTensorRT Engineを1つ生成するだけで、すべてのRTXシリーズGPUを簡単にサポートできるようになる。加えてライブラリのサイズも8分の1とコンパクトになり、パッケージ化もしやすくなるとしている。
TensorRTはDirectMLと比べて最大2倍のパフォーマンスを発揮
また、RTXシリーズGPU向けの生成AIマイクロサービス「NVIDIA NIM for RTX」に、画像生成の「Flux.1-dev v2」や「Flux.1-schnell」を追加。さらに、ゲームシステムの最適化などをAIがアシストする「Project G-Assist」では、DiscordやIFTTTなど新たなプラグインの提供を開始した。
NVIDIA NIM for RTXには新たなマイクロサービスが追加
Project G-Assistでの新しいプラグインの提供が始まった
🧠 編集部の感想：
NVIDIAの「TensorRT for RTX」の発表は、AI推論の高速化がさらに進むことを示唆しています。汎用的なエンジンを生成し、各GPUに最適化できる仕組みは、開発者にとって大きな利点です。この新しいライブラリは、パフォーマンス向上だけでなく、開発の簡素化にも寄与しそうです。
Views: 0
