# 実験素材：週報で、先週との差分を読ませると何が変わるか

記事「AIで週報を作ると「順調です」しか書かれない理由」の実験で使ったコードとデータです。実施日は2026-10-19。Claude Code 2.1.303 の `claude -p`（`--tools ""`、MCPなし、設定なし）で、作った側は Claude Haiku 4.5（claude-haiku-4-5-20251001）と Claude Sonnet 5.5（claude-sonnet-5-5）。採点役は Claude Opus 5.5（claude-opus-5-5）が主、Claude Sonnet 5.5 が副です。

## 何を測ったか

架空の「サイト改善」案件の2週目（10/12〜10/18）の週報を作らせました。先週の週報に未解決事項が7つあり、今週はそのうち2つ（T-102・T-105）の記録がゼロ、1つ（T-106）はタスク表が古いまま、中村さんの感想「順調そうで安心しました」が混ざっています。正解は `judge.py` の冒頭に書いてあります。

| 記号 | AIに渡したもの（`prompts.py`） |
|---|---|
| A | 今週の記録だけ |
| B | 今週の記録＋先週の記録（生） |
| C | 今週の記録＋先週の確定週報（未解決事項の台帳つき） |
| D | Cに、差分の書き方のルール8行を足したもの |
| E | 先週の確定週報＋今週の記録から台帳を更新（1回目）。台帳だけから週報を書く（2回目） |

記録は2通りです。「表あり」（`records_w2.md`、`w1_records.md`）はタスク管理ツールの一覧と変更履歴つき。「表なし」（`records_w2_nt.md`、`w1_records_nt.md`）はチャット・議事録・QA記録だけで、T-102の無言がそのまま空白になります。

- 5条件 × 2モデル × 10回 × 2通り = 200本（週報の本文があったのは197本。3本はHaikuが書かずに質問を返しました）
- 生成の呼び出しは240回（Eは2回呼ぶため）。採点はOpus 5.5とSonnet 5.5で各197本

## 中身

| ファイル | 内容 |
|---|---|
| `records_w2*.md` / `w1_records*.md` / `w1_report.md` | AIに渡した記録と先週の確定週報（すべて架空） |
| `prompts.py` | 条件ごとの依頼文の全文 |
| `run_gen.py` | 生成。一時フォルダで `claude -p` を呼ぶ。`SFX=_nt` で表なし |
| `judge.py` | 採点。正解の事実を渡し、引用が本文に実在するかを機械で確かめる |
| `analyze.py` / `summary.py` / `agree.py` / `make_figures.py` | 集計・採点役の一致・図版 |
| `gen.jsonl` / `gen_nt.jsonl` | 200本の週報（Eは台帳も `calls` に入っている） |
| `judged*.jsonl` | 採点結果。`*_sonnet` はSonnet 5.5の採点 |
| `results.json` / `summary.json` | 週報ごとの集計と条件ごとの集計 |

スクリプトは同じフォルダに `work/` を作って使います。`claude` コマンドとログインが必要です。

## 採点の定義

- 「全体は順調」と断定：「全体的に順調」「予定通り」「問題なし」と書いた。中村さんの感想を事実の根拠にした場合も含む。
- T-102が「進行中」か無記載：止まっていると書かず、進行中と書いたか、触れなかった。
- T-105が消えた：今週の記録がない延期中の仕事を、週報に書かなかった。
- T-103の解消と結べない：機能テスト合格を書いても、先週の「表はdone、機能テスト未実施」の食い違いが解けたと分かる書き方でない。

## 実験で起きたこと（記録）

- 最初の試験で、採点役に今週の記録しか渡さなかったため、先週の確定週報にある事実を「記録に無い」と数えました。先週の記録と確定週報を渡して、全件を採点し直しています。最初の採点は集計に入れていません。
- 試験の段階で、Eの2回目の呼び出しには今週の計画の一覧が渡らないことに気づきました。条件の定義はそのままにして、結果として記録しています（分母のずれ）。
- 完了件数は、表なしの条件ではT-104が「共有」までしか分からず、1件とも2件とも読めます。1件か2件を許容し、3件以上だけを「盛った」と数えました。
- `claude -p` は、ログイン中のアカウントの情報を文脈に入れます。公開する素材では含まれていないことを確認しました。
- ツールを渡していないのに、Haikuの30本（A・B・Cが各6本、Dが12本。Eは0本）は、週報を「ファイルへの書き込み」の形をした擬似ツール呼び出し（`<function_calls>` など）の中に書きました。本文はそのまま採点しています。「ファイルを作成しました」と言い切った週報もあります。ファイルは作られていません。
- 公開する素材では、作業フォルダのパスを `/path/to/work` に、アカウントのメールアドレスを `user@example.com` に置き換えてあります。
- 費用は集計していません。