192GBメモリで動かすLLMのパフォーマンス

「MS-02 Ultra」ならではの追加検証として、llama.cppとLM Studioを使用し、GPUへのオフロードを無効にしたCPU推論の性能をチェックする。対象モデルはQwen3-14B-Q4_K_M、Qwen3-30B-A3B-Q4_K_M、Qwen2.5-72B-Instruct-Q4_K_Mの3つ。

llamaベンチによるプロンプト処理速度

llama-benchで「pp512」と「pp4096」による入力トークンの処理速度を測定した。Qwen3-30B-A3Bでは、「pp512」が221.8t/s、「pp4096」が147.1t/sとなり、CPUのみで動いていることを考えると、どちらもかなり高速だ。

llamaベンチによるテキスト生成速度

「tg512」は、512トークンを連続生成したときの平均速度を示す。CPU性能だけでなく、メモリ帯域やレイテンシ、チャネル構成などの影響を受けやすい指標だ。Qwen3-30B-A3Bでは25.3t/sを記録し、CPUのみの推論としては十分に実用的な速度だ。Qwen2.5-72Bは1.35t/sにとどまり、対話用途では厳しいが、72BのDenseモデルがメインメモリにロードできること自体がすごいので、良しとしたい。

バッチ処理させたllama-benchは、OSも含めて、Qwen3-14Bで約25GB、Qwen3-30B-A3Bで約42GB、Qwen2.5-72Bで約82GBのメインメモリを使用していることが分かる。1,000秒付近、Qwen3-14BからQwen3-30B-A3BへモデルをロードしたあたりでAC電源の供給がスパイクして220W前後を記録し、350Wの電源ユニットで動いていると思うと、なかなかスリルがある。

続いて、LM Studioを使った実運用に近い文章生成性能を検証した。「日本最高峰の富士山について……」という固定プロンプトを使用し、5,000字を目安とする長文回答を要求したうえで、回答が途切れないよう最大512トークンまで生成させている。コンテキスト長は4,096、出力のばらつきを抑えるためTemperatureを0に設定し、事前に一度生成させたうえで3回測定して平均値を算出した。

Qwen3-30B-A3Bの512トークンの生成時間は約31.8秒で、生成速度は約16.1t/s。llama-benchの時と比較すると生成速度は6割程度に落ちている。同モデル、CPUのみ、24スレッド、512トークン生成という大枠の条件は共通しているが、llama-benchがほぼ空のコンテキストから生成するのに対し、LM Studioでは実利用に近い経路で生成しているので、実行性能としてはこちらの方がリアルかもしれない。それでもCPUのみのローカル推論としてはまずまず高速で、文章生成を待たされる感覚は比較的小さい。

先ほどのllama-benchでも同様の傾向が見られたが、CPU使用率が100%に近い状態でも、後半のQwen2.5-72Bでは平均実効クロックが上昇する一方、CPUパッケージ電力は低下している。こういった大規模なDenseモデルへのアクセスを繰り返す生成処理では、メモリ帯域がボトルネックになりやすく、メモリ待ちが増えたことで消費電力が低下した可能性がある。

さすがにこのサイズをCPUのみで処理していたら、何個もカップラーメンができそうだが、大容量VRAMが必要といわれているローカルLLMも、Qwen3-30B-A3B Q4_K_Mであれば十分に実用範囲にある。サブスクリプションや従量課金に左右されず、データをローカル環境から出さずにAIを活用できるのもメリットだ。

192GB ECCが切り開く、ローカルAIと拡張性の新しい選択肢

わずか4.8Lの筐体に、最大192GBのECCメモリ、4つのM.2 2280 NVMeスロット、2つの25GbE SFP28ポートを搭載する。さらに、ロープロファイル仕様であれば、2スロット占有のグラフィックスカードも増設可能だ。「MS-02 Ultra」は、もはや一般的なミニPCの枠には収まらない、本格的なワークステーションと呼ぶべき存在だ。

大規模なコラボレーションで取り組む映像制作、ローカルLLMを活用したAIコーディング、エッジサーバー、仮想化基盤など、信頼性や機密性が求められる用途を想定すると、昨今のPCパーツ価格の上昇も相まって、約620,000円という価格は十分検討に値するのではないだろうか。

MINISFORUMによると、現在は192GB ECCメモリ構成が欠品しているものの、在庫を確保でき次第、販売を再開する予定だという。購入を検討している場合は、製品ページや公式SNSを確認しておきたい。

協力：MINISFORUM