火曜日, 8月 12, 2025
火曜日, 8月 12, 2025
- Advertisment -
ホームニューステックニュース高火力VRT さくらのクラウド型GPU付仮想サーバでgpt-ossを起動する

高火力VRT さくらのクラウド型GPU付仮想サーバでgpt-ossを起動する


ついに登場しました、OpenAIのオープンウェイト大規模言語モデル gpt-oss-120b。
OpenAIの先端モデル群に、誰でも扱えるオープンウェイトモデルがリリースされました。
新しいテクノロジにより1枚の80GB GPU(例:NVIDIA H100)でも動かせる効率性が実現されながら、
性能面ではo4-miniクラスとされています。

オープンウェイトモデル とは

従来このようなものが公開されるときにはオープンソースと言われていましたが、生成AIのモデルが公開される場合には一般的にはオープンウェイトという言葉が使われます。これはモデルの学習に用いたコードが公開されるわけではなく、学習の結果としてモデルの構造重み(Weights:ウェイト)が公開されるためです。

高火力VRT

さくらインターネットでは3つのGPUを利用できるクラウドサービスを提供しています。
DOK:コンテナ型
VRT:仮想サーバ型
PHY:ベアメタル型

VRTでは80GB VRAM搭載のNVIDIA H100を仮想サーバから専有できます。今回リリースされたオープンウェイトモデルはgpt-oss:20bgpt-oss:120bの2種類です。今日はH100を専有した際にちょうど格納可能な120bモデルを起動してみます。
注意:パフォーマンスがよくなるだけでgpt-ossの起動にはGPUは必須ではありません。より高速に処理が可能となるだけです。

さっそくやってみる

1. VRTの起動

VRTは石狩リージョンを指定して利用しますが、普通の仮想サーバの1バージョンとして提供されていますので、起動は簡単です。

高火力 VRTプランを指定します。

2. NVIDIA ドライバーのインストール

まず利用可能なNVIDIAドライバの一覧を出力します。

ERROR:root:aplay command not found
== /sys/devices/pci0000:00/0000:00:04.0 ==
modalias : pci:v000010DEd00002330sv000010DEsd000016C1bc03sc02i00
vendor   : NVIDIA Corporation
driver   : nvidia-driver-535-open - distro non-free
driver   : nvidia-driver-535-server-open - distro non-free
driver   : nvidia-driver-575-server - distro non-free
driver   : nvidia-driver-545-open - distro non-free
driver   : nvidia-driver-570-server - distro non-free
driver   : nvidia-driver-575-open - distro non-free
driver   : nvidia-driver-570 - distro non-free
driver   : nvidia-driver-575-server-open - distro non-free
driver   : nvidia-driver-570-server-open - distro non-free
driver   : nvidia-driver-575 - distro non-free recommended
driver   : nvidia-driver-550 - distro non-free
driver   : nvidia-driver-570-open - distro non-free
driver   : nvidia-driver-535-server - distro non-free
driver   : nvidia-driver-550-open - distro non-free
driver   : nvidia-driver-545 - distro non-free
driver   : nvidia-driver-535 - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin

ドライバーバージョンの575recommendedとなっているためこちらをインストールします。

sudo apt update
sudo apt install -y nvidia-driver-575

途中以下の様な画面が表示されますが何も変更せずそのままEnterをおします。
インストールが完了したら一度リブートします。

再起動が終わったらnvidia-smiを実行し、以下の様な表示がされればドライバーのインストールが成功しています。

Mon Aug 11 21:09:23 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.64.03              Driver Version: 575.64.03      CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA H100 80GB HBM3          Off |   00000000:00:04.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

3. ollamaとgpt-oss のインストール

https://ollama.com/


gpt-ossの起動はollamaを使います。

Ollama は、ローカル環境で大規模言語モデル(LLM)を簡単に実行できるようにするための オープンソースのLLMランタイム/ツールチェーン です。とてもシンプルなコマンドで対応しているLLMモデルを起動可能です。

まずollama本体をダウンロードします。

curl -fsSL https://ollama.com/install.sh | sh

次に起動確認を行います。

curl http://127.0.0.1:11434/api/version
{"version":"0.11.4"}

戻ってこない場合は以下でollamaを改めて起動しておきます。

つぎにモデルをインストールします。

verifying sha256 digest
writing manifest
success

このように表示されれば成功です。次に起動を行います。

 ollama run gpt-oss:120b
>>> こんにちは
Thinking...
The user says "こんにちは" which is Japanese meaning "Hello". As a Japanese speaker/assistant I should respond in Japanese with a friendly greeting, acknowledging user. Possibly say "こ
んにちは!何かご質問がありますか?" Provide a greeting. Or ask if they'd like help. The instruction says we must not mention policies or guidelines. Just respond. No mention of being
an AI or policy. So reply in Japanese. Should be concise, friendly. Maybe say "こんにちは、何かお手伝いできることはありますか?" That is safe.
...done thinking.

こんにちは!今日はどんなお手伝いをご希望ですか?
>>> あなたは誰ですか?
Thinking...
The user says in Japanese: "こんにちは" then "あなたは誰ですか?" Asking "Who are you?" They want a response. Provide answer in Japanese. I should answer: I'm ChatGPT AI by OpenAI. So
respond in Japanese with polite.
...done thinking.

こんにちは!
私は「ChatGPT」、OpenAI が開発した大規模言語モデルです。
文章の生成や質問への回答、対話を通じて様々な情報を提供したり、あなたの考えを整理するお手伝いをします。
何か聞きたいことや知りたいことがあれば、遠慮なくどうぞ!

4. API/curlからのアクセス

ollamaは127.0.0.1のポートにバインドされているため、外部に開放させます。

# 1) drop-in ディレクトリを作成
sudo mkdir -p /etc/systemd/system/ollama.service.d

# 2) override.conf を書き込み
sudo tee /etc/systemd/system/ollama.service.d/override.conf >/dev/null 

以下のcurlを実行すると結果が戻ってきます。

curl http://133.242.19.xx:11434/api/chat -d '{
  "model": "gpt-oss:20b",
  "messages": [
    {"role": "user", "content": "あなたは誰?"}
  ]
}'
curl http://133.242.19.xx:11434/api/generate -d '{
  "model": "gpt-oss:20b",
  "prompt": "こんにちは!自己紹介してください。",
  "stream": false
}'

注意点 gpt-ossはChatGPTと異なりHTTP Streamingには対応していませんので注意してください。



Source link

Views: 1

RELATED ARTICLES

返事を書く

あなたのコメントを入力してください。
ここにあなたの名前を入力してください

- Advertisment -