はじめに
Qwen3-Omni-30B-A3B-InstructがQwenよりリリースされた。
手元のマシンを使ってローカル環境でも動かせることがわかったので、備忘録的に記事にまとめる。
https://x.com/gosrum/status/1970299031437082931
https://x.com/gosrum/status/1970441981039157267
環境
Mac Studio
EVO-X2
!
transformers版をローカルで動かすためには、VRAMが75GB以上は必要そうです。
NVIDIA GPUならもっと少なくても良いかもですが…
Source link
Views: 0
