ローカルLLMハンズオン開催レポート

OIF開発部門で、ローカル環境でLLMを動かす導入ハンズオンを開催しました。 クラウドのAPIに頼らず、自分の手元のマシンでモデルを動かすと、AIが急に「自分の道具」に見えてきます。

なぜローカルで動かすのか

• コストゼロで何度でも試せる — API課金を気にせず実験できる
• データが手元から出ない — プライバシーが必要な検証に向く
• 仕組みが見える — モデルの読み込み・推論の重さを体感できる

当日の流れ

1. Ollama のインストール
2. ollama run で小さめのモデルを起動
3. プロンプトを変えながら応答の違いを観察
4. 量子化モデルとメモリ使用量の関係を確認

つまずきポイント

モデルサイズとマシンのメモリのバランスが最大の壁。

最初に大きいモデルを引いてしまうと動かないので、まずは軽量モデルから始めるのがおすすめです。 GPUが無くてもCPUで動きますが、量子化済みモデルを選ぶと体感速度が大きく変わります。

まとめ

「LLMを使う」から「LLMを動かす」へ。 手元で動かせると、次は 自分のアプリに組み込む というステップが一気に近づきます。 次回はローカルLLMをAPI化して、簡単なチャットアプリに繋ぐ回を予定しています。