目次
「わからない」ではなく「考え直さない」
小型LLMに探索的な問題を解かせると、惜しい間違い方が目立ちます。4B の Instruct モデルに、部品の故障を診断させるトラブルシューティングを解かせたときの記録が残っています。
- 解決率は 56%(最適戦略で解く参照実装は 100%)
- 正解した場合でも、最短手数より平均 2.3 手多い
- 失敗の内訳は「早すぎる回答」が 23%、「除外済みの部品を答える」が 12%
- 1.7B のモデルでは解決率 6%
知識が足りないのではなく、観測を集め切る前に答えを選んでしまいます。しかも、一度除外した候補を復活させてしまう。ここを伸ばしたいわけです。
既存手段の限界
| 手段 | できること | 限界 |
|---|---|---|
| プロンプトで「考えてから答えて」と指示 | 出力の形は変わる | 方策そのものは変わらない。同じ問題で同じ失敗を繰り返す |
| 固定問題集での SFT | 手本の分布には強くなる | 手本の外の探索は伸びない。56%→83% で頭打ちになる |
| 固定分布での強化学習(GRPO) | 正解に報酬を与えられる | 83.3%→81.3%。問題が固定だと信号が飽和する |
| 大きいモデルに替える | 素の地力が上がる | ローカル 48GB で 4B までという前提が崩れる |
2番目と3番目は、実際に試したうえでの限界です。「問題が固定であること」が共通の原因なら、問題を作る側も一緒に育てればよい。これが発想の出発点でした。
解決の設計
設計は3つに分かれます。問題を作る側と解く側を分けて交互に更新すること、解く側の現在の実力に合わせて難しさを動かすこと、そして正誤だけでなく「その時点で何がわかっていたか」を報酬に入れることです。
図1: 学習ループの前後比較
トレードオフは3つあります。1つ目は、出題者を育てると問題が難しくなりすぎる危険です。そこで出題者には「解決率0.5で最大」の報酬を与え、易しすぎても難しすぎても下がるようにしました。2つ目は、採点まで学習させると土台が崩れたときに原因が分からなくなることです。採点者は固定コードにして、まず仕組みだけを検証しました。3つ目は、比較の基準です。条件ごとに生成と却下の費用が違うため、更新回数ではなく学習に使った実時間でそろえました。
実装の要点
1. 手番ごとに「候補が何個残っていたか」を見る
src/coevo/domains/troubleshoot.py の turn_diagnostics は、各手番について、その観測を反映したあとの候補集合と、モデルが本文に書いた候補リストを突き合わせます。
# src/coevo/domains/troubleshoot.py(turn_diagnostics)
true = frozenset(remaining_candidates(problem.public, observations))
m = _BELIEF.search(t.get("response") or "")
...
d = {
"kind": kind,
"true_candidates": sorted(true),
"belief_exact": belief is not None and set(belief) == true,
}
belief_exact は「残っている候補を過不足なく書けたか」です。たとえば候補が3個ある状態で正解した回答は、当てずっぽうでも解決率1として数えられてしまいます。ここを別に見ることで、正解の裏側を測れるようにしました。
2. 当てやすさで報酬を割り引く
src/coevo/rewards.py の posterior_solver_reward は、正誤の代わりに「その候補集合での正解確率」を使います。
# src/coevo/rewards.py(posterior_solver_reward)
answer = next((d for d in diagnostics if d["kind"] == "answer"), None)
if answer is None or not answer["answer_in_candidates"]:
return 0.0
p = 1.0 / answer["answer_candidates"]
return p * max(floor, 1.0 - step_penalty * max(0, n_turns - minimal_turns))
候補が1個まで絞れていれば p=1、3個残っていれば p=1/3 です。手数の罰は固定の free_turns ではなく、その問題の最悪ケースの最短手数から測ります。これで「絞ってから答える」方が得になります。
3. 交互更新の順序を状態機械で固定する
1サイクルは「出題者2更新 → 新規20問の収集 → 回答者5更新」です。順序を間違えると比較が成立しないので、src/coevo/alternating.py の next_action が状態の組み合わせを検査し、不正な遷移では例外を投げます。
# src/coevo/alternating.py(next_action)
if creators_done < creator_steps:
if pool_count or solvers_done or collection_batches:
raise ValueError("collection or solver advanced before creator phase finished")
return "creator", creators_done + 1
結果
交互更新1サイクルでは、調整用50問で 80.0% → 87.3% まで上がりました。ただし最終評価200問・3seedでは、共進化は固定問題集に −2.8pt[−4.8, −0.9]で、seed ごとの符号もそろいませんでした。共進化そのものの優位は、この設計では確認できていません。
一方で、診断からはっきりしたことがあります。固定問題集で学習した回答者の失敗14件のうち13件で、候補リストが誤っていました。さらに1更新16対局のうち、平均8.6対局しか学習の信号になっておらず、free_turns=5 のため手数への罰がほとんど働いていませんでした。
この2点を直したのが、手番ごとの報酬(候補リストの一致と情報のない質問を別項として足す条件)です。
| 比較 | 差 |
|---|---|
| 固定問題集の学習時間にそろえた比較 | +3.4pt[+1.9, +5.1] |
| 調整用セット | +4.0pt[+2.4, +5.7] |
| 難問セット | +6.6pt |
候補リストの完全一致率が3seedとも上がったのは、この条件が初めてでした。正誤だけを見ていると、この変化は見えません。
向かないケース・残課題
- 共進化の優位を主張したい場合: この記事の範囲では支持できません。seed を増やすか、1seedあたりの差を大きくする設計が要ります。
- 採点者も学習させたい場合: 未実施です。採点者を学習させると、出題者と結託して難易度が崩れる危険があり、先に固定条件で基準を取る必要があります。
- ウミガメのスープや数学に広げたい場合: 題材はインターフェースとして差し替え可能にしてありますが、実装済みなのはトラブルシューティングと、テスト用の数当てだけです。
- 手数罰を強くしたい場合: 強くしすぎると当て推量が増えます。実際、候補集合にもとづく報酬を入れた条件(R1)では、情報のない質問と候補リストの写しが増えました。
- 日本語で評価したい場合: 評価セットの日本語版は未整備です。
まとめ
- 失敗を「早すぎる回答」「除外済みの候補」「候補の追跡」に分解すると、報酬の置き場所が決まる
- 正誤だけの報酬は、候補が3個残っていても1個でも同じ1点を与えてしまう。当てやすさで割り引く
- 仕組みが動いたことと、効果があったことは別に判定する。今回は前者だけで、後者は未確認
「考える前に答える」を直すには、答えの正しさではなく、答える直前の状態を測る必要がありました。
関連記事
LLM の事後学習や評価設計の相談を承ります
技術相談や開発サポートを承っています。お気軽にご相談ください。