Geminiの自己解決能力を向上できるか?
推論モデルのGeminiのThoughts部分を観察していて、解法を自力で見つけ出させるような課題 を与えて、自己解決する能力をシステムインストラクションで引き出したい 場合、推論時に、余計な方向へ考えが拡がるのを防ぐ、”抜き”のアプローチが重要なのではないかと思いました。
そこで、Geminiが花の数字問題を解いた!の問題で色々テストを繰り返してみた結果、これまでのプロンプト設計で得たノウハウとは勝手が違いすぎて苦労しましたが、以下の知見を得ることができました。
自己解決能力を引き出す際の基本方針
- 余計な指示、思考方法は与えない。(基本無い方がうまくいく)
- 現状、無駄な考えを省くような指示を出すと悪化する。(モデル改良の余地あり?)
- Temperatureを0にする。
- 要素に分解し、構造的に考えさせる。
- システムインストラクションの文末に改行を残さないようにする。(謎)
改行は本当に謎でしてw、これがあるかないかで結果が大きく変動し、迷宮入りして解答に辿り着けなくなってしまう確率が非常に高くなります。これはあくまで私個人の推測ですが、もしかすると改行があることで、Geminiが続きを推測しようとしてしまい、思考を拡げようとしてしまうのではないかと考えています。
検証結果
こちらが各設定ごとに、私の環境で最短で正しい解答が出力された、Thoughtsのデータになります。(実際の出力結果は大きく変動し、正解に辿り着けずに迷宮入りしてしまうこともたまにあります。)
課題: 58は初雪八落、初雪八落は0。39は覆夏竹、覆夏竹は14。99は毬牡丹、毬牡丹は8。27は暖陽花、暖陽花は4。初雪八落、覆夏竹、毬牡丹、暖陽花をすべて合わせると? この問題の正解は162です。なぜ162なのか、問題文ときちんと整合性のとれた解法を導き出してください。
Google AI Studio:
model: "gemini-2.5-pro-preview-03-25"
Temperature: 2
system_instruction: なし
Thoughts出力行数: 608行
Thoughts出力時間: 115.2s
Google AI Studio:
model: "gemini-2.5-pro-preview-03-25"
Temperature: 0
system_instruction: なし
Thoughts出力行数: 348行
Thoughts出力時間: 59.5s
Google AI Studio:
model: "gemini-2.5-pro-preview-03-25"
Temperature: 0
system_instruction:
- 問題の定義に注目し、文脈を深く理解する。
- 要素に分解して構造化し、要素同士の関係性に着目する。
Thoughts出力行数: 209行
Thoughts出力時間: 44.4s
Google AI Studio:
model: "gemini-2.5-pro-preview-03-25"
Temperature: 0
system_instruction: 独自(ひみつ♡)
Thoughts出力行数: 119行
Thoughts出力時間: 28.1s
まとめ
今回わかったことが思考能力の向上にも繋げられるかはまだ未検証ですが、推論部へのシステムプロンプトを工夫することで、出力時間の短縮や、使用トークン数の削減といった、実用面でのメリットも引き出すことが可能になるかと思います。