個人開発の学習メモです。ローカルLLMを使っていて「答えが返ってくるまで異常に遅い」という問題にぶつかりました。原因を追いかけたら、性能不足でもマシンの問題でもなく、設定の初期値でした。

そして、その設定にたどり着くまでに3回も見立てを間違えました。今日はその回り道こそが本題です。

まず結論

最近のAIモデルには「どれくらい深く考えるか」を決める設定があります。私が使っていたモデルは、その既定値がいちばん深く考えるモードになっていました。つまり——

賢くする設定ではなく、無駄に長考させる設定が初期値だった。

これを標準的な深さに変えたら、待ち時間が大きく減りました。作業はテンプレートの1行を書き換えるだけ。ただし、そこに気づくまでが長かったのです。

3段階の誤解(今回いちばんの学び)

設定を変えるまでに、私はこう考えを変えました。

  1. 「このモデルは深さの切り替えに対応していないらしい」 → ❌ 誤り。別の配布形式の情報に引きずられていた
  2. 「公式版なら設定画面に選択欄があるはず」 → ⭕️ 正しいが、私が使っている版には項目が出ない
  3. 「じゃあこのモデルは非対応なんだ」 → ❌ 誤り。中身を開いたら完全に対応していた

正解はこうでした。設定画面に選択欄が出るかどうかは、モデルに同梱された設計図(チャットテンプレート)が「私は対応しています」と申告しているかで決まる。私が使っていたのは有志が改変した版で、その申告情報だけが失われていたのです。機能そのものは、ちゃんと中に入っていました。

今日の教訓を一行にすると、これです。

「UIに無い」は「機能が無い」ではない。中身を見る。

これ、初学者がいちばん損をするパターンだと思います。画面に出ていないだけで「できない」と諦めてしまう。でも設定ファイルや設計図を開けば、できることは案外残っています。

「深く考える設定」の正体は、たった一文だった

テンプレートを読んで、もう一つ面白い発見がありました。深さの設定は、こういう仕組みだったのです。

  • 浅く考える → 「短く考えろ」という一文を、裏で指示に追加する
  • 深く考える → 「じっくり検証しながら考えろ」という一文を追加する
  • 標準何も追加しない=モデル本来の素の状態

つまり、私が「特別な高速化スイッチ」だと思っていたものは、単なる指示文の出し入れでした。魔法の設定ではなく、モデルにかける言葉が変わるだけ。この構造が分かった瞬間、AIの設定というものが急に身近になりました。

作業の手順(と、守った2つの作法)

やったことは単純です。設定画面からテンプレートを開き、既定値を書いている1行を書き換え、保存する。ただし2つだけ、意識して守った作法があります。

① 変更する前に、元をバックアップした

動かなくなったときに戻せるようにするためです。設定変更は「戻せる状態」を作ってから進める——このブログで何度も書いてきた型です。

② 保存だけでは効かない、と知っていた

テンプレートはモデルを読み込むときに適用されるので、動いている最中のモデルには反映されません。一度モデルを降ろして、読み込み直す必要がありました。「保存したのに変わらない」で悩まずに済んだのは、この構造を先に理解していたからです。

そして「変わったこと」を、数字で確かめた

ここが今回いちばん自分を褒めたい部分です。体感で「速くなった気がする」で終わらせず、数字で証明しました

やり方は、モデルに一言だけ送って、「送信された指示の分量」を見ることです。もし深く考えるモードのままなら、あの長い指示文が裏で足されているので、分量が明らかに増えます。実際に測ってみたら——足し算が合わない。つまり指示文が入っていない。狙い通りに変わっていた証拠です。

ついでに、貼り付け場所が正しいことも同時に証明できました。もし設計図を間違えて別の欄に貼っていたら、その長いコードがそのまま文章として送られて、分量が桁違いに膨らんでいたはずです。1つの数字が、2つのことを同時に保証してくれたわけです。

このブログでずっと書いてきた「動いたで終わらせず、証拠で確かめる」が、こういう場面でも普通に使えると分かったのは収穫でした。

おわりに ── 深さは、用途で使い分ける

最後に、今後の方針も決めました。

  • 単純な確認 → 浅く
  • スクリプト作成・ログ解析などの日常作業標準(今回の既定)
  • 原因不明の障害解析 → 深く

常に全力で考えさせるのは、贅沢なようで無駄です。相手の思考の深さを、こちらが選べる——AIを道具として扱うというのは、たぶんこういうことなのだと思います。

ちなみに、この設定はモデルを入れ直すとリセットされます。書き換えたテンプレートは手元に保存しておきました。設定も記録の対象——ここでも同じ話でした。


学習メモ / ローカルLLM / LM Studio / 設定

このブログでは、ローカルLLM・Aider・個人開発の試行錯誤をそのまま記録しています。