NeoWhisperは東京都港区を拠点とする個人事業主です。税務署へ開業届を提出済みで、ソフトウェア開発・ゲーム開発・アプリ開発・Web/コンテンツ制作・翻訳サービスを提供しています。
専門分野: Next.js • TypeScript • React • Node.js • 多言語サイト • SEO • パフォーマンス最適化
人工知能の状況は、クラウド専用の展開からローカルでの実行へとシフトし続けています。エンタープライズクラスターが巨大な基盤モデルを処理する一方で、Llama 3、Mistral、Gemmaといったオープンウェイトモデルの急速な最適化により、強力なAIをローカルで実行することが実用的な現実となっています。
しかし、適切な実行環境を選択することが重要です。もはや不安定なPythonスクリプトを扱う必要はなく、成熟した推論エンジンが登場しています。現在、開発者向けのローカルLLM領域では、LM Studio、Ollama、MLXという3つの主要なリーダーが市場を支配しています。それぞれが「ローカル推論」の問題を異なる方法で解決し、ワークフローに応じて特定の長所と短所（トレードオフ）があります。
どの最適なローカルコーディングモデルを実行するかを評価する場合、その基盤となるエンジンを理解することが第一歩となります。
LM StudioはElectronベースのデスクトップアプリケーションとして構築されており、GGUFのような量子化フォーマットの管理や、ハードウェアアクセラレーションAPI（Metal、CUDA、ROCmなど）の複雑さを抽象化しています。
内蔵されたHugging Face検索インターフェースにより、モデルの発見、パラメータサイズでのフィルタリング、そしてハードウェアの制約に合った適切な量子化GGUFファイルのダウンロードが可能です。最も実用的な機能は、OpenAI API仕様（/v1/chat/completions）を完全に模倣した組み込みのローカル推論サーバーです。これにより、既存のアプリケーションのAPIロジックを書き換えることなく、ローカルモデルを利用するようにリダイレクトできます。
from openai import OpenAI
# ローカルのLM Studioサーバーに接続
client = OpenAI(
base_url="http://localhost:1234/v1",
api_key="lm-studio-local"
)
response = client.chat.completions.create(
model="local-model",
messages=[
{"role": "system", "content": "You are a helpful coding assistant."},
{"role": "user", "content": "Write a fast inverse square root algorithm in C."}
]
)
Ollamaはターミナル環境のためにゼロから構築されており、大規模言語モデルにDockerのようなワークフローをもたらします。
ターミナルから1つのコマンド（例：ollama run llama3）でモデルをダウンロードして実行できます。内部では、GPUの割り当てとメモリのオフロードを処理するバックグラウンドデーモンを管理しています。システムプロンプトやカスタム指示を定義するためにModelfileを使用し、高い再現性を実現しています。
Ollamaは、ローカルRAGパイプラインの構築に非常に適しています。自動化されたワークフローにシームレスに統合され、最近では埋め込み生成（nomic-embed-text）のネイティブサポートを導入し、完全オフラインのセマンティック検索エンジンを可能にしました。
(独自のパイプライン構築をご検討ですか？Ollamaを使ったローカルRAGパイプラインの構築方法ガイドをご覧ください。)
MLXは、Apple Silicon（M1、M2、M3、M4チップ）向けにAppleの機械学習研究チームによって専用に設計された配列フレームワークです。
MLXを理解するには、Appleのユニファイドメモリアーキテクチャ（UMA）を理解する必要があります。従来のPCアーキテクチャではシステムRAMとVRAMが分離されており、巨大なAIモデルの移動時にボトルネックが生じます。Apple Siliconデバイスは、単一の広帯域メモリプールを共有しています。ディスクリートGPUへの明示的なデータ転送を必要とする従来のフレームワークとは異なり、MLX配列は共有メモリ内に存在します。CPUとGPUは、メモリコピーなしに同じデータを同時に操作します。
MLXを使用すると、開発者はMacBook上で直接LoRAなどの手法を使用して、パラメータ効率の良いファインチューニング（PEFT）を実行できます。Llama 3を特定のドメインに適応させたい開発者にとって、MLXは最も効率的な経路を提供します。
# MLXを使用してモデルをローカルでファインチューニング
python -m mlx_lm.lora \
--model mistralai/Mistral-7B-Instruct-v0.2 \
--train \
--data path/to/dataset \
--iters 1000 \
--adapter-path ./adapters
LM Studio、Ollama、MLXは開発者にとって最もアクセスしやすいツールですが、本番規模の展開にはしばしば異なるエンジンが依存されます。
パフォーマンスの違いを説明するため、4ビット量子化モデルを使用した**MacBook Pro（M4 Max、64GBユニファイドメモリ）**での代表的なベンチマークを以下に示します。
注: ベンチマークは代表的な平均値です。MLXは、UMAへの直接アクセスと変換レイヤーの欠如により、Apple Silicon上でllama.cppベースのラッパーよりも一般的にわずかに優れています。
OllamaもLM Studioも、内部のモデル実行にはllama.cppを使用しているため、純粋な推論速度はほぼ同じです。ただし、LM StudioはElectron GUIのオーバーヘッドにより、システムメモリの消費がわずかに多くなる可能性があります。
はい。LM Studioは、OpenAIの/v1/chat/completionsエンドポイントを完璧に模倣したローカルサーバーを内蔵しています。ほとんどの既存のアプリケーションをhttp://localhost:1234/v1に向けるだけで、すぐに使用できます。
はい、MLXはMシリーズチップ（M1、M2、M3、M4）のユニファイドメモリアーキテクチャ（UMA）を活用するために、Appleによって特別に開発されました。Nvidia/AMD GPUを搭載したWindowsやLinuxマシンでは実行できません。
初心者にはLM Studioを明確にお勧めします。その視覚的なインターフェースにより、モデルの発見、ダウンロード、チャットが、標準的なデスクトップアプリケーションをインストールするのと同じくらい簡単に行えます。
検索拡張生成（RAG）にはOllamaを強くお勧めします。その堅牢なバックグラウンドデーモン、スクリプティング機能、ネイティブな埋め込みサポートにより、ベクトルデータベースや自動化パイプラインへの接続に最適です。(高度な統合については、近日公開予定のMCPガイドをご覧ください)。
| ~45 tok/s |
| 5.1 GB |
| Ollama | Qwen-1.5 (7B) | ~50 tok/s | 4.7 GB |
| Apple MLX | Llama-3 (8B) | ~62 tok/s | 4.9 GB |
| Apple MLX | Qwen-1.5 (7B) | ~68 tok/s | 4.5 GB |
| Mac, Windows, Linux |
| Apple Siliconのみ |
| OpenAI API互換 | あり（組み込み） | 部分的互換 | なし |