ローカルLLM 個人開発の記録です。ローカルLLMを実務で使い始めて、当然の疑問にぶつかりました。「もっと大きいモデルを入れれば、もっと正確になるのでは？」
調べてみたら、答えは「必ずしもそうではない」でした。しかも理由が、初学者にとってかなり大事な話だったので記録します。まず結論同じメモリの予算で比べるなら、巨大なモデルを無理に圧縮して動かすより、新しい世代の中型モデルを良い状態で動かすほうが...
ローカルLLM
ローカルLLM ローカルLLM 個人開発の学習メモです。ローカルLLMを使っていて「答えが返ってくるまで異常に遅い」という問題にぶつかりました。原因を追いかけたら、性能不足でもマシンの問題でもなく、設定の初期値でした。
そして、その設定にたどり着くまでに3回も見立てを間違えました。今日はその回り道こそが本題です。まず結論最近のAIモデルには「どれくらい深く考えるか」を決める設定があります。私が使っていたモデルは、その既定値がいちばん深く考えるモードになって...
ローカルLLM 6月に「ローカルLLMを相棒に育てる」という学習プランを立て、そのためにメモリ48GBのMac miniを買いました。あれから2ヶ月、電車アプリの開発を優先して後回しにしていたのですが——ついに、その本命に手をつけました。
結果、初日から派手に転びました。今日はその話です。まず結論やったことは2つです。Mac miniで35B級のモデルを動かし、別のノートPCのAIコーディングツールから、ネットワーク越しに使う体制を作った（学習プランで「第2幕」と呼んでいた構...
ローカルLLM ローカルLLM × aider、Mac（Apple Silicon）で動かすまでの全記録
結論から言う。LM Studio + aider の組み合わせは、初学者でも動かせる。ただし「なぜこの手順が必要か」を理解しながら進めると、詰まったときに自力で抜け出せる。そもそも、なぜローカルLLMをaiderで使おうと思ったかAIにコー...