Agent Evalでprompt・skill変更をCIで止める
prompt・skill の変更は文面検査では止まりません。静的ガードが例外追加を exit 0 で通した実測から、eval dataset、score threshold、CI 失敗条件、cost/latency gate を整理します。
AI開発の検証室 編集部
読了時間 約19分
読み込み中...
タグ
# AIエージェント
19 件の記事が見つかりました
AIエージェントの可観測性と障害解析
AIエージェント可観測性の最小スキーマは、3階層 span ＋構造化ログ＋error taxonomy 5分類。症状から修正までの5ステップ解析フローを OpenTelemetry GenAI 準拠で解説する。
AI開発の検証室 編集部
読了時間 約24分
Agents APIで何が外注できるか
OpenAI の Agents API は Codex harness を managed API として開放した。公式の4構成要素を確認し、自リポジトリの harness 60,841行を層ごとに数えて外注できる列を分けた。
AI開発の検証室 編集部
読了時間 約30分
AIエージェントのデバッグ：ループ・幻覚・汚染の対処法
無限ループはステップカウンタ＋状態ハッシュ、ハルシネーションは実行前バリデーション、コンテキスト汚染はスライディングウィンドウで対処。AIエージェント3大障害を診断フローと実装コードで。
AI開発の検証室 編集部
読了時間 約22分
AIエージェント運用Runbook設計
AI運用では「自動で直す」前に「安全に止める」手順がいる。検知・初動・切り戻し・再開条件の4要素で Runbook を設計し、人間の判断ポイントを先に固定して夜間対応の迷いをなくす。
AI開発の検証室 編集部
読了時間 約10分
AIガバナンスが効かない4類型と検証手順
規約も権限もガードも整備したのに効いている実感がないのは、宣言と実効が乖離しているから。乖離の4類型と、自分のリポジトリで乖離を検出する45分の実測手順、CI・hook で継続検知に載せる方法を解説。
AI開発の検証室 編集部
読了時間 約40分
AIが迷わないリポジトリ設計実践
CLAUDE.md を長くするだけでは AI は安定しない。subagents で役割を分け、hooks にガードレールを置き、継続知識は memory・最新状態は MCP と分ける設計を整理する。本記事は統合済みで、正典は別記事にある。
AI開発の検証室 編集部
読了時間 約20分
Codex subagents設計原則
Codex の subagents は並列化機能ではなく、探索やログのノイズを親スレッドから切り離すコンテキスト設計。自動起動ではなく明示トリガー前提という公式仕様と、2026年3月時点の実務観察を分けて整理する。
AI開発の検証室 編集部
読了時間 約23分
Coding Agentのモデル更新と回帰テスト
Coding Agent のモデル更新でプロンプト資産と自動化を壊さない移行設計。モデル依存の3層棚卸し、Model Matrix、回帰テストの検知率を mutation で実測した自リポジトリのデータ（13変異中8検知）まで。
AI開発の検証室 編集部
読了時間 約28分
AI Harnessの技術的負債と削る基準
「賢くなれば Skill や AGENTS.md は削れる」を全履歴で検証したら、変更のあった9か月すべてで増加、追加417ファイルに対し実質削除は5件だった。参照エッジ0と二面検証という削除基準をスクリプトつきで示す。
AI開発の検証室 編集部
読了時間 約45分
AIエージェント3層成熟モデル2026
推論・制御・接続の3レイヤーが独立に進化し、2026年に偶然のように同時成熟点を迎えた——AIエージェント設計の現在地を、ZennとQiitaのトレンド議論を参照しながらGrowth Lab視点で構造化する。
AI開発の検証室 編集部
読了時間 約12分
MCP（Model Context Protocol）実装ガイド
自前 MCP サーバを書く判断軸は「社内固有システム・複数エージェント共通利用・認可境界の明確化」。tool スキーマの明示・認可スコープ最小化・冪等性の3要件と最小骨格を示す。
AI開発の検証室 編集部
読了時間 約11分
AIエージェント開発の実践ガイド
AIエージェント開発をチャット指示の延長で終わらせず、仕様・権限・テスト・運用の4層で設計するための保存版ガイド。Claude Code、Codex、MCP、SDDを導入する前に決めるべき順序を整理する。
AI開発の検証室 編集部
読了時間 約14分
agent loop durable workflow実装
agent loopの脆弱点「状態がメモリにしかない」をcheckpointで解決し、retry/sagaパターンで部分失敗を冪等にリカバリ。step-level observabilityで詰まりを即特定できる実装パターンを解説する。
AI開発の検証室 編集部
読了時間 約20分
Codex通信トポロジー設計
Codex Multi-Agents、Claude CodeのSubagents、Agent Teamsの違いを、機能一覧ではなく通信構造で整理する。混同しやすい3概念を選び分けまで含めて最短で理解できる。
AI開発の検証室 編集部
読了時間 約25分
人間へのエスカレーション設計
AIエージェントが無理に処理を続けず、人間へ正しくエスカレーションするための条件設計と運用ルールを整理する。エスカレーション判定ロジックと実装例を具体的に解説。設計テンプレートと実装コード付きで解説。
AI開発の検証室 編集部
読了時間 約10分
AIエージェントチーム設計
AIを相棒からチームへ進化させる運用モデルを、Lead・Implementer・Critic・Scribeの4役割とガードレールで体系的に整理する。1体のAIに全部任せると、判断責任が曖昧になって破綻しやすい
AI開発の検証室 編集部
読了時間 約12分
AIガバナンス配信システム
AIチーム開発で速度と安全を両立するための統治モデルを、リスク分類・KPI・権限設計の3本柱で体系的に整理する親記事。AIエージェント活用では「速く作る」より「安全に出す」設計が持続的な開発速度の鍵になる
AI開発の検証室 編集部
読了時間 約11分
権限マトリクスとガードレール設計
AIエージェント時代の承認権限と責任境界を変更種別×役割の二次元マトリクスで明文化する、チーム運用のための実践ガイド。AIエージェントがコードを書き、PRを出し、デプロイまで自動化される時代。便利な反面、「この変更は誰が最終承認するのか」
AI開発の検証室 編集部
読了時間 約10分