Codex のレビュー結果を反証するスキルを作った

書いたコードを Codex にレビューさせると、いろいろ指摘をもらいますよね。 その内容は、「確かになー」と思うものもあれば、「いや、それはちょっと違う」と感じるものもあると思います。 それに対して Codex と議論を重ねて結論を出していくのって、結構大変じゃないですか？

それを解決するかもしれない情報を X で拝見しました。

AIエージェントに一発で正解を出させるより、案を出す役と壊す役を分けた方が長い作業は崩れにくい

— @karino_karichan のポスト

個人開発で試すならこの3手順

1. 作る役に実装案か変更案を1つだけ出させる
2. 壊す役に破綻条件・不足前提・確認すべき一次情報を3点だけ挙げさせる
3. 指摘を渡して作る役に修正版を出させる

この順なら、複数エージェントを増やさなくても何を確認して直したかが残る

— @karino_karichan のポスト

これは早速試してみたい！と思い、紹介されていた方法を普段のコードレビューの流れに当てはめて、こんな感じのスキルを作成しました。

---
name: implementation-challenge
description: >
  レビュー結果とその後の議論に対して反証を試みる立場から検証し、
  破綻条件、不足している前提、確認すべき一次情報を指摘する。
  実装や修正には使用しない。
---

# Implementation Challenge

レビュー済みの内容に対して反証を試み、実装前に手戻りにつながる問題を見つける。

## 基本方針

- 現在の会話にあるレビュー結果と議論を使用する。
- 対象や検証に必要な情報が不足している場合は、ユーザーに確認して停止する。
- 破綻条件、不足している前提、確認すべき一次情報を特定する。
- 禁止: 指摘すること自体を目的に、根拠のない問題を追加する。
- 禁止: ファイル編集、コマンド実行、実装

## 出力形式

- 指摘がある場合は、追加確認が必要な点だけを簡潔に出力する。
- 指摘がない場合は、「追加確認が必要な点はありません。」と返す。

使い方はこんな感じです。

---

私:

git diff のレビューをお願い

Codex:

結果として、以下の対応が必要だと思います。

## 必須修正

- xxx
- xxx
- xxx

## 任意改善

- xxx
- xxx
- xxx

私:

$implementation-challenge 再検証をお願い

Codex:

追加確認が必要な点は次の2点です。

- xxx はまだ必要な情報が揃っていません。…
- xxx は yyy にするだけでは不十分です。…

または

追加確認が必要な点はありません。

---

こんな感じで Codex が出したレビュー結果や、その後の議論で固まりつつある結論に対して、Codex 自身に反証を試みてもらいます。 間で自分の意見があれば Codex に伝えればいいですし、なければ「これについてどうしたらいいと思う？」と Codex に意見を仰ぐのもいいと思います。

そしてまた同じスキルを使って議論を繰り返していくことで、手戻りにつながりそうな点を実装前に潰していくという寸法です。

最後にこのスキルを実行すれば、そのまま開発者（これまた Codex）に渡せます。

作ってみて良かったこと#

このやり方はとても便利です。 自分と Codex だけで議論していると、どうしてもその流れの中で結論を固めてしまいます。そこにあえて反証する役を入れることで、自分では気づけなかった前提不足や見落としを拾いやすくなったと感じています。

自分の知識の範囲内であれば Codex と議論できますが、範囲外のことになると、そもそも自分から疑問を持てないこともあります。 もちろん AI がすべての問題を見つけてくれるわけではありませんが、別の立場から一度疑ってもらうことで、開発の精度を上げる助けになりそうです。

最後に#

情報共有をしてくれた @karino_karichan さんに感謝です！

（勝手に記事にしてごめんなさい）