AIの推論を自動化へ昇格させるループの穴

PROMOTION_THRESHOLD = 2  # これをやると契約が二重管理になる

$ python3 scripts/check_failure_ledger.py --require-rows
検査対象: spec/article_failure_ledger.md の観測行 14 件（列 9 個 / escape_mode 値域 9 種 / status 値域 5 種）
昇格漏れ検査: status:open 4 件 / escape_mode 4 種を集計しました（閾値: 同一 escape_mode 2 件以上）
  E3: open 1 件 → 閾値未満（昇格しない）（他 status: fixed 3／判定には使わない）
  E4: open 1 件 → 閾値未満（昇格しない）
  E7: open 1 件 → 閾値未満（昇格しない）
  E8: open 1 件 → 閾値未満（昇格しない）（他 status: promoted 1／判定には使わない）
failure ledger check passed.

#!/usr/bin/env python3
"""昇格判定が「もう鳴らない型」を、実装を読まずに突き止める差分テスト。

台帳に出てくる型ごとに「必ず鳴るはずの入力」（未対応をしきい値以上に積んだ台帳）を
合成し、実際のガードへ通して終了コードを見る。ガードの実装が変わっても結果は追随する。

usage: audit_promotion_silence.py <spec ディレクトリ> <ガードのパス> [--max N]

終了コード:
  0 : 検査して、鳴らない型が 0 件だった
  1 : 鳴らない型を検出した
  2 : 検査できなかった（ファイル不在 / ベースラインが最初から非 0）。合格ではない
"""

from __future__ import annotations

import re
import shutil
import subprocess
import sys
import tempfile
from pathlib import Path

LEDGER = "article_failure_ledger.md"
ROW_RE = re.compile(r"^\| (L-\d+) \|([^|]*)\|([^|]*)\| (E\d+) \|.*\| (\w+) \|", re.M)


def sync_summary(text: str) -> str:
    """「現在の集計」表を本体から数え直す（集計不一致で落ちると原因が混ざるため）。"""
    counts: dict[str, int] = {}
    for _, _, _, mode, status in ROW_RE.findall(text):
        if status == "open":
            counts[mode] = counts.get(mode, 0) + 1
    rows = "\n".join(f"| {m} | {c} | 実測 |" for m, c in sorted(counts.items()))
    return re.sub(
        r"(\| escape_mode \| open 件数 \| 昇格判定 \|\n\| --- \| --- \| --- \|\n)(?:\|.*\n)+",
        lambda m: m.group(1) + rows + "\n",
        text,
    )


def inject(text: str, mode: str, count: int, start_id: int) -> str:
    """指定した型の未対応行を count 件だけ足す。"""
    lines = text.splitlines()
    last = max(i for i, line in enumerate(lines) if line.startswith("| L-"))
    extra = [
        f"| L-{start_id + i} | 2026-01-01 | harness | {mode} | 差分テスト用の合成観測 | "
        f"audit_promotion_silence.py | open | | |"
        for i in range(count)
    ]
    return sync_summary("\n".join(lines[: last + 1] + extra + lines[last + 1 :]) + "\n")


def run_guard(spec_dir: Path, guard: Path, text: str) -> int:
    with tempfile.TemporaryDirectory() as tmp:
        root = Path(tmp) / "repo"
        shutil.copytree(spec_dir, root / "spec")
        (root / "spec" / LEDGER).write_text(text, encoding="utf-8")
        result = subprocess.run(
            [sys.executable, str(guard), "--repo-root", str(root)],
            capture_output=True,
            text=True,
        )
        return result.returncode


def main(argv: list[str]) -> int:
    if len(argv) < 3:
        print("usage: audit_promotion_silence.py <spec dir> <guard> [--max N]", file=sys.stderr)
        return 2
    spec_dir, guard = Path(argv[1]), Path(argv[2])
    max_rows = int(argv[argv.index("--max") + 1]) if "--max" in argv else 5
    ledger = spec_dir / LEDGER
    if not ledger.is_file() or not guard.is_file():
        print("ERROR: 台帳またはガードが読めません。検査していません（合格ではありません）", file=sys.stderr)
        return 2

    base_text = sync_summary(ledger.read_text(encoding="utf-8"))
    base_code = run_guard(spec_dir, guard, base_text)
    if base_code != 0:
        print(f"ERROR: ベースラインが exit {base_code} です。差分の原因を切り分けられないため検査しません",
              file=sys.stderr)
        return 2

    modes = sorted({m for _, _, _, m, _ in ROW_RE.findall(base_text)})
    print(f"ベースライン: exit 0 / 台帳に出現した escape_mode {len(modes)} 種（契約の値域とは別）")
    if not modes:
        print("ERROR: 台帳に観測行が 0 件です。これは『鳴らない型 0 件』ではなく『未検査』です",
              file=sys.stderr)
        return 2

    silent = []
    for mode in modes:
        fired_at = None
        for n in range(1, max_rows + 1):
            if run_guard(spec_dir, guard, inject(base_text, mode, n, 9000)) != 0:
                fired_at = n
                break
        if fired_at is None:
            silent.append(mode)
            print(f"  {mode}: 未対応を +{max_rows} 件積んでもガードは exit 0 → 鳴らない")
        else:
            print(f"  {mode}: 未対応を +{fired_at} 件積んだ時点で exit 非 0 → 鳴る")

    if silent:
        print(f"\nNG: {len(silent)}/{len(modes)} 種の型が、未対応をいくら積んでも昇格漏れとして鳴りません: "
              f"{', '.join(silent)}")
        return 1
    print(f"\nOK: {len(modes)} 種すべてで昇格漏れが検出されました")
    return 0


if __name__ == "__main__":
    sys.exit(main(sys.argv))

$ WORK="$(mktemp -d)" && trap 'rm -rf "$WORK"' EXIT
$ git show 2fead50:scripts/check_failure_ledger.py > "$WORK/guard_before.py"
$ python3 audit_promotion_silence.py spec "$WORK/guard_before.py"
ベースライン: exit 0 / 台帳に出現した escape_mode 8 種（契約の値域とは別）
  E1: 未対応を +5 件積んでもガードは exit 0 → 鳴らない
  E2: 未対応を +5 件積んでもガードは exit 0 → 鳴らない
  E3: 未対応を +5 件積んでもガードは exit 0 → 鳴らない
  E4: 未対応を +1 件積んだ時点で exit 非 0 → 鳴る
  E5: 未対応を +5 件積んでもガードは exit 0 → 鳴らない
  E6: 未対応を +5 件積んでもガードは exit 0 → 鳴らない
  E7: 未対応を +1 件積んだ時点で exit 非 0 → 鳴る
  E8: 未対応を +5 件積んでもガードは exit 0 → 鳴らない

NG: 6/8 種の型が、未対応をいくら積んでも昇格漏れとして鳴りません: E1, E2, E3, E5, E6, E8
$ echo $?
1

if status == "promoted" or _norm(row.values.get("improvement_pr", "")):
    promoted_modes.add(mode)
...
for mode, count in sorted(open_counts.items()):
    if count < contract.promotion_threshold:
        continue
    if mode in promoted_modes:   # ← ここ
        continue

昇格漏れ検査: status:open 7 件 / escape_mode 4 種を集計しました（閾値: 同一 escape_mode 2 件以上）
  E3: open 4 件 → 昇格が必要
  E4: open 1 件 → 閾値未満（昇格しない）
  E7: open 1 件 → 閾値未満（昇格しない）
  E8: open 1 件 → 閾値未満（昇格しない）

$ python3 audit_promotion_silence.py spec scripts/check_failure_ledger.py
ベースライン: exit 0 / 台帳に出現した escape_mode 8 種（契約の値域とは別）
  E1: 未対応を +2 件積んだ時点で exit 非 0 → 鳴る
  E2: 未対応を +2 件積んだ時点で exit 非 0 → 鳴る
  E3: 未対応を +1 件積んだ時点で exit 非 0 → 鳴る
  E4: 未対応を +1 件積んだ時点で exit 非 0 → 鳴る
  E5: 未対応を +2 件積んだ時点で exit 非 0 → 鳴る
  E6: 未対応を +2 件積んだ時点で exit 非 0 → 鳴る
  E7: 未対応を +1 件積んだ時点で exit 非 0 → 鳴る
  E8: 未対応を +1 件積んだ時点で exit 非 0 → 鳴る

OK: 8 種すべてで昇格漏れが検出されました
$ echo $?
0

#!/usr/bin/env python3
"""判定器が実際に読むファイルを列挙する（入力集合の実測）。

usage: probe_inputs.py <判定器のパス> [判定器へ渡す引数...]
"""

import runpy
import sys
from pathlib import Path

if len(sys.argv) < 2:
    print("usage: probe_inputs.py