はじめに
Qwen3-VL-30B-A3Bが公開されたので早速ローカル環境で使ってみる。
なお、本記事ではユニファイドメモリが96GB以上のMacを対象とする。おそらくそれ以下だと、VRAMが足りずにモデルの読み込みに失敗する。
!
NVIDIA GPUなら、24GB以上のVRAMがあれば4bit量子化により推論が可能かも知れない。
ただし私はそのようなGPUを所有しておらず確認できないため、本記事ではNVIDIA GPUは対象外とする。
※まあNVIDIA GPUの場合は公式ドキュメントに従えば、おそらく問題なく動くだろう。
https://github.com/QwenLM/Q…
Source link
Views: 0
