tokenmaxxingを避けるAI開発KPI
生成行数やトークン量のような累積カウンタ型のKPIは定義上単調で、悪化を表現できない。git履歴で確かめると、判定を確定できた15対象のうち12が一度も純減していなかった。検証済み成果に分母を与える手順を記録する。
AI開発の検証室 編集部
読了時間 約56分
読み込み中...
タグ
# 運用設計
14 件の記事が見つかりました
AIエージェントのOperational Memory設計
エージェントの memory を schema / provenance / expiry / rollback の4軸で設計する。知識ストア3つを実測すると last_verified は31件中3件しか生きていなかった。
AI開発の検証室 編集部
読了時間 約42分
AIエージェント運用Runbook設計
AI運用では「自動で直す」前に「安全に止める」手順がいる。検知・初動・切り戻し・再開条件の4要素で Runbook を設計し、人間の判断ポイントを先に固定して夜間対応の迷いをなくす。
AI開発の検証室 編集部
読了時間 約10分
Coding Agentのモデル更新と回帰テスト
Coding Agent のモデル更新でプロンプト資産と自動化を壊さない移行設計。モデル依存の3層棚卸し、Model Matrix、回帰テストの検知率を mutation で実測した自リポジトリのデータ（13変異中8検知）まで。
AI開発の検証室 編集部
読了時間 約28分
パッチ追随を止めた142日を何で補償したか
フレームワークを pin して自動更新を止めた142日の記録。update-types を付けた ignore はセキュリティ更新を止めず、pin 先は既に終了した系列だった。補償コントロールを実測して棚卸しする。
AI開発の検証室 編集部
読了時間 約71分
AI Harnessの技術的負債と削る基準
「賢くなれば Skill や AGENTS.md は削れる」を全履歴で検証したら、変更のあった9か月すべてで増加、追加417ファイルに対し実質削除は5件だった。参照エッジ0と二面検証という削除基準をスクリプトつきで示す。
AI開発の検証室 編集部
読了時間 約45分
本番障害を2者で突き合わせて誤診を落とす
1件の本番障害を上流と下流が独立に実測し、互いの誤診を4件訂正した記録。うち2件は相手側の一次資料を読むまで出なかった。測る対象・時刻・一次資料のズレが誤診を落とす構造を示す。
AI開発の検証室 編集部
読了時間 約37分
『最大IDの次』は並行ブランチで必ず衝突する
「マージ済み main の最大IDの次」を全員が守っても、並行ブランチがある限り同じIDが別物に割り当てられる。同じ日に2回起きた衝突を、CI の run ID と終了コードつきで記録した。
AI開発の検証室 編集部
読了時間 約48分
確認手順は故障モードから逆算する
トップページだけが 500 になり、記事ページは 200 のままでした。代表的な1枚を見る確認が穴を残す理由を Playwright の実測で示し、故障モードからルートクラスを逆算する手順と、異常系まで実行済みの確認スクリプトを載せます。
AI開発の検証室 編集部
読了時間 約64分
CIガードの免除リストは外れずに残る
CI ガードの免除リストの唯一のエントリが 132 日残り、うち 116 日は免除する理由が消えていました。免除の器を持たないガードを設計し、その不在をテストで固定しようとして空いた穴までを実測した記録です。
AI開発の検証室 編集部
読了時間 約39分
AIの推論を自動化へ昇格させるループの穴
AIの判断を決定的な自動化へ昇格させるループを実装したところ、「昇格すべきだと気づく」側の判定器が、8つのすり抜け型のうち6つで沈黙していました。対照実験の終了コードと監査スクリプトの実出力で記録します。
AI開発の検証室 編集部
読了時間 約46分
AIエージェント開発の実践ガイド
AIエージェント開発をチャット指示の延長で終わらせず、仕様・権限・テスト・運用の4層で設計するための保存版ガイド。Claude Code、Codex、MCP、SDDを導入する前に決めるべき順序を整理する。
AI開発の検証室 編集部
読了時間 約14分
オンコール疲弊を防ぐ運用設計の手順
夜間呼び出しでチームが疲弊し、SRE・EM が離職リスクを抱えるチーム向けに、オンコール疲弊を改善する運用設計を症状診断・根本原因・段階的対策（ローテ・アラートチューニング・AI triage・体制）の 4 ステップで整理する。
AI開発の検証室 編集部
読了時間 約25分
人間へのエスカレーション設計
AIエージェントが無理に処理を続けず、人間へ正しくエスカレーションするための条件設計と運用ルールを整理する。エスカレーション判定ロジックと実装例を具体的に解説。設計テンプレートと実装コード付きで解説。
AI開発の検証室 編集部
読了時間 約10分