# 「もっと良くして」は効かない？ 点検役を別にする実験（再現用）

記事: /ja/blog/ai-article-writing-workflow 実施: 2026-10-08、Claude Code 2.1.291（`claude -p --safe-mode --tools ""`）とCodex CLI 0.160.0（`codex exec -s read-only`）。ローカルログインで実行。外部サービスへの書き込みなし。

## 構成
- `facts.txt` 実験で「資料」として渡した4件（原典はarXiv、Qiita集計記事、Zenn記事）。
- `draft.md` / `defects.json`: 最初の下書き（欠陥10個、目立つ版）。`draftH.md` / `defectsH.json`: 紛らわしく作り直した版（記事で使ったもの）。
- `common.py` 呼び出し（claude・codex）の共通部品。環境変数 `AAW_V=H` で紛らわしい版に切り替える。
- `run_a.py` 実験A（書き直し・点検・点検→書き直し）。`run_c.py` 実験A追加（資料つきで「もっと良くして」）。`judge_a.py` 採点。`agg_a.py` 集計。
- `run_b2.py` 実験B（資料なしで書かせた体験談を、同じ会話／別の呼び出し／別のAIで直す）。`judge_b2.py` 採点。`run_b.py` / `judge_b.py` は同実験の1回目（2回目で条件を足したので記事には2回目を使用）。
- `run_chain.py` 記事の雛形4工程を1回通した記録。結果は `chain/chain.json`。
- `out*/` 生成物の全文（JSON）。`judge*/` 採点結果（JSON）。`summary.json` 集計。

## 回し方
```
python3 run_a.py 8      # 実験A（AAW_V=H を付けると紛らわしい版）
AAW_V=H python3 run_c.py
AAW_V=H python3 judge_a.py && python3 agg_a.py H
python3 run_b2.py 8 && python3 judge_b2.py
```
`sandbox/` は空のフォルダ（cwd用）。採点はClaudeに、欠陥一覧と出力を渡してtrue/falseを返させる方式。採点者はどの条件の出力か知らない。

## 限界
- 下書きは1本、題材は1つ。欠陥はぼくが仕込んだもの。各条件8回。
- 採点はAI（Claude Opus 5.5）。人が目で全件確認したわけではない（抜き取りで確認）。
- 「誤指摘」は、正しい記述を問題として挙げた数。多くは観点4（主語が大きい文）に引っ張られたもの。
- 空の出力（API側の失敗とみられる）が出た条件は、削除して回し直した。