# 一言の依頼と材料つきの依頼の比較

記事の保存結果を検証するための資料です。実在の顧客・予定ではなく、架空のフリマとメールを使っています。

- `experiment.py`: 全5条件のプロンプトと限定的な採点関数
- `results.jsonl`: 5条件 × 2モデル × 3回 = 30回答。プロンプト、出力、指定モデルID、採点、空白・改行を除いた字数、CLIが返した費用メタデータを収録
- 当初の実行記録: 2026-10-04、Claude Code 2.1.286。指定IDは `claude-haiku-4-5-20251001` と `claude-sonnet-5-5`。固定版でないIDの将来の同一挙動は保証しない
- 2026-10-05: 保存済み30回答を再採点し全文を編集点検。モデルへの再送信はしていない

## モデルを呼ばずに再採点

Python 3で、3ファイルを同じフォルダへ保存して実行します。外部パッケージは不要です。

```sh
python3 experiment.py --rescore
```

`results.jsonl` の `checks` を再計算します。元の出力は変更しません。期待される通過項目数は、A0 0/42、A1 35/42、A2 42/42、B0 6/36、B2 36/36です。百分率は項目の通過率であり、正しい回答の割合ではありません。

## 採点の限界と全文点検

当初の採点を、当初のグラフを再現できるよう残しています。告知文7項目、メール6項目の文字列チェックです。特定の語がないことだけで、事実の追加がないとは判断できません。

- A2 / haiku / run 1: 問い合わせ先を申し込み先にも使った。採点は未検出
- B2 / haiku / run 0: 資料送付を「前日まで」ではなく「事前」とした。採点は同じ行のリンク送付の「前日」に反応し、誤って通過
- B2 / haiku / run 2: 件名なし。採点には件名チェックがない
- B2の元の依頼には「件名つき」と「本文だけ」の矛盾がある。記事の実用テンプレートは「件名と本文だけ」に訂正したが、この保存試行のプロンプトは変更していない
- B0の6回答すべてに、提供していない具体的な候補日がある。6回答すべてで10月15日が候補に入り、末尾には予定を調整する注意がある

100%を完成品質と読まないでください。日時・金額・約束・役割・出力形式を元資料と照合してください。目的・読み手・制約を同時に変えており、それぞれ単独の効果は測っていません。

## 新しく生成する場合

Claude Codeをインストールし、対象モデルを利用できる認証環境が必要です。30回の呼び出しで利用枠または料金が発生します。保存データの費用メタデータ合計は0.336159 USDですが、現在の料金や請求額の保証ではありません。

```sh
python3 experiment.py --run --output new-results.jsonl
```

既存ファイルは上書きしません。各呼び出しは空の一時フォルダで、ツール・設定ソース・スラッシュコマンドを無効化します。ただしClaude Codeが付加する日付などまで除去できたとは言えません。CLIのバージョン、実行日、指定モデル、設定を別途控えて比較してください。ChatGPT/Geminiのアプリとは環境が異なります。

チャットで試す場合は `experiment.py` の `A_L0` と `A_L2` の内容を、それぞれ新しいチャットに入力します。A_L2の `{A_FACTS}` には同ファイルの事実欄を入れます。架空の日付は実施時点でも比較材料としてそのまま使えますが、実際の告知には転用しないでください。