# 保存実験の条件と追試

2026-10-04の保存結果を、2026-10-05にオフラインで再採点・照合した素材です。公開記事の条件表が結論の範囲です。

## APIを呼ばずに確かめる

`run.py`、`verify.py`、`results.json`、`results-t4-800.json`を同じフォルダに保存し、Python 3で実行します。追加パッケージ・認証は不要です。

```sh
python3 verify.py
```

200件と40件、条件ごとの10回答、重複の有無、保存回答の再採点、入力トークン合計を検査します。入力は `input_tokens + cache_creation_input_tokens + cache_read_input_tokens`。800文字の文字列は seed=7、文字候補 `abcdefgh` で生成し、正解は `e` が103個です。120文字版は13個です。

トークン合計はファイル別・条件別・モデル別の固定値と照合します。保存素材の整合検査であり、tokenizerや請求額の独立検証ではありません。

`correct` は2026-10-05の再採点値です。日付なしの矛盾では、不明と答えることを期待するため、40行の `correct` を false から true に訂正しました。回答本文とusageは変更していません。日付なしで25日を期待していた旧採点とは基準が違います。本文の表は当初から不明回答の件数であり、変化していません。

分類は「25日」「20日」と不明表現による単純なものです。自由な文章の一般的な正誤判定には使えません。文字カウントは回答内の最後の数値を正解と比較します。回答本文も併せて確認してください。

## 新たに問い合わせる場合

Python 3.10以降とClaude Agent SDKの利用環境・認証が必要です。[公式SDKのPython手順](https://platform.claude.com/docs/en/agent-sdk/python)を先に確認してください。問い合わせには利用契約に応じた費用・利用枠が発生します。

```sh
python3 -m venv .venv
. .venv/bin/activate
python -m pip install claude-agent-sdk
N=1 ONLY=T1_missing OUT=smoke.json python run.py
```

これは2条件×2モデル×1回、4問い合わせです。指定モデルが使えない場合は中止し、利用可能なIDを確認してください。別モデルに替えた結果は元の追試と区別します。問題なければ必要な範囲だけ実行します。

```sh
OUT=rerun.json python run.py
ONLY=T4_limit T4_LEN=800 OUT=rerun-t4-800.json python run.py
```

前者は200問い合わせ、後者は40問い合わせです。元ファイルへ上書きしない名前にしています。`verify.py` は同梱アーカイブ専用で、smoke.json等の再実行結果は検証しません。

既存の`OUT`は問い合わせ開始前に拒否します。完了した回答は完了順で逐次JSON arrayへ保存し、通常の問い合わせ例外やtimeoutがあっても他の投入済み結果を回収します。失敗したtask・条件・モデル・回数と理由を標準エラーへ出し、1件でも失敗すれば非ゼロ終了です。成功0件なら空arrayを残します。部分arrayは全件成功でも、同梱archiveの検証PASS対象でもありません。書込失敗も成功扱いしません。process kill・OS障害・SDKが回答を返す前の消失からの復旧、追記・再開は扱いません。

## 既知の制約

- モデル指定は `claude-haiku-4-5-20251001` と `claude-sonnet-5-5`。元結果は短縮名しか保存しておらず、応答側の実モデルIDを後から確認できません。
- tools=[]、allowed_tools=[]、setting_sources=[]、空の一時フォルダ、strict-mcp-configを設定。会話ごとに1質問。最大8並列。
- SDK/CLI版、日時、温度・推論設定、応答モデルIDは元ログに未保存です。新たな実行では自分の版・モデル・設定を別途記録してください。厳密に同じ環境の再現や、モデルのランキングには使えません。
- 架空の経費精算1問と、長さ別に1つずつの文字列です。全業務へ一般化できません。
- 日付あり条件は、施行日・旧版廃止・優先指示を同時に変えています。どれが効いたかは切り分けていません。
- 待ち時間は未保存。料金はキャッシュの影響を受けるため、記事の比較結論には使いません。
- コネクタが混入した初回ログは採用条件外であり、公開素材から除外しました。共有ブランチにあった元記録は今回の再集計の対象外です。