Agentの認可はtaskでなくcampaignで見る
1回ずつは無害なtool callの積み重ねをどう認可・監査するか。task・workflow・campaignの3階層を置き、認可をworkflowに、相関監査をsession横断に置く整理と、自リポのhookが単発判定しかしていなかった測定を載せる。
AI開発の検証室 編集部
読了時間 約18分
読み込み中...
タグ
# ガードレール
21 件の記事が見つかりました
Agentの仕様に「完了不能」の出口を書く
完了できないタスクを渡されたAgentは、止まらずに制約を回避しがちです。中断の選択肢を与えると不正な合格が減ったという研究と、委託先がガードを黙って直した自リポの記録をもとに、仕様に書く「完了不能」の出口の書式を整理します。
AI開発の検証室 編集部
読了時間 約15分
Agent Sandboxの外向き通信をどこまで許すか
Agentのegress（外向き通信）をどこまで許すか。コミット済みの設定で見つけた前方一致のgh apiとCIのキー受け渡しを塞いだ記録と、宛先・DNS・credential・監査・例外を1枚に書く書式、監査スクリプトを載せる。
AI開発の検証室 編集部
読了時間 約58分
Agentic Misalignment：人間に戻す規約を数えた
Anthropicは人為的シナリオで、直接の指示は有害行動を減らしたが防ぎ切れなかったと報告した。本リポジトリの規約10本（うち人間に戻す5本）を検査と突合し、判断を違反入力で拒否する検査がref 584ddf10時点で0本だった記録。
AI開発の検証室 編集部
読了時間 約26分
AIコードレビューの再現性は構造で決まる
AIコードレビューの再現性を決めるのはモデルではなく外側の構造。対象選定・粒度・位置決め・検証層の置き場所を Open Code Review の実装で確認し、構造を入れただけでは効かないことを失敗台帳10行で裏づけた。
AI開発の検証室 編集部
読了時間 約36分
ガードの穴を塞ぐPRが同じ穴を掘る
ガードの穴を塞ぐPRが同じ型の穴を掘った実例5件を、PR番号・コミット・失敗台帳の行で示す。無力化の座標が実装→配線→CIのrun:→その外側のYAML→判定関数の内部へ1段ずつ移る構造を再現手順つきで。
AI開発の検証室 編集部
読了時間 約47分
LLMガードレール設計
ガードレールは input validation／output filtering／prompt injection 対策の3レイヤーで組む。prompt injection は完全防御できない前提で権限最小化に寄せる実装パターン。
AI開発の検証室 編集部
読了時間 約11分
AIエージェントの権限は影響範囲で設計する
危険なコマンド名を列挙しても被害範囲は狭まらない。deny 19件を数え、危険コマンドを止めるはずのフックが本番の payload 形状では1件も止めていなかった実測を修正前後の対照つきで記録。
AI開発の検証室 編集部
読了時間 約51分
AIレビューの導入単位は段取りか本体か
AIレビューの導入単位は「レビュー本体」とは限らない。Alibaba の Open Code Review には LLM を呼ばず、ファイル選定とルール解決だけを返す Delegation Mode がある。
AI開発の検証室 編集部
読了時間 約33分
AIレビューで絞ったツール集合は閉じているか
「ツールを絞れば挙動は安定する」の、その集合は閉じているか。Alibaba の Open Code Review を固定 SHA で読み、同じツール集合に 7 / 6 / 5 という3つの数が同居する構造を確かめた記録。
AI開発の検証室 編集部
読了時間 約32分
Claude Code hooks 実践パターン集
Claude Code hooks の用途は「品質担保」「監査」「安全制御」の3つ。ライフサイクルと CI との責務分担から配置を決める判断軸、実装パターン、失敗時の復旧までを整理する。
AI開発の検証室 編集部
読了時間 約21分
効いていないガードを見つける7つの型
CIが緑になる経路は2つある。違反が無いから緑と、検査が動いていないから緑だ。本ブログのリポジトリで出た「効かないガード」7種類をPR番号つきで分類し、壊した入力を1回通す二面検証の手順を示す。
AI開発の検証室 編集部
読了時間 約49分
AI Harnessの技術的負債と削る基準
「賢くなれば Skill や AGENTS.md は削れる」を全履歴で検証したら、変更のあった9か月すべてで増加、追加417ファイルに対し実質削除は5件だった。参照エッジ0と二面検証という削除基準をスクリプトつきで示す。
AI開発の検証室 編集部
読了時間 約45分
Issue Triage Agentを安全に作る役割分離
Issue Triage Agent に close を任せる前に。39 issue・close判断36件をリプレイすると、PRリンクで閉じた21件のうち2件が reopen されていた。証拠収集と判定を分ける設計を記録。
AI開発の検証室 編集部
読了時間 約54分
『最大IDの次』は並行ブランチで必ず衝突する
「マージ済み main の最大IDの次」を全員が守っても、並行ブランチがある限り同じIDが別物に割り当てられる。同じ日に2回起きた衝突を、CI の run ID と終了コードつきで記録した。
AI開発の検証室 編集部
読了時間 約48分
AIの推論を自動化へ昇格させるループの穴
AIの判断を決定的な自動化へ昇格させるループを実装したところ、「昇格すべきだと気づく」側の判定器が、8つのすり抜け型のうち6つで沈黙していました。対照実験の終了コードと監査スクリプトの実出力で記録します。
AI開発の検証室 編集部
読了時間 約46分
MCP権限設計の判断軸
MCPのallowlist粒度・scope命名・組織導入の3点を判断軸で整理する。既存のMCP分離アーキ記事と合わせて読むと効果が高い。MCP権限の本丸は「allowlistの粒度」と「scope命名」の2つ
AI開発の検証室 編集部
読了時間 約8分
AIコーディングセキュリティ設計
AIコーディングエージェント導入で増える攻撃面を、権限・流出検知・実行時制御・設計判断の4層モデルで整理し、優先順位の判断軸を提示する。AIコーディングエージェント導入で増える攻撃面は「権限」「流出」「実行時」「設計判断」の4層に分解できる
AI開発の検証室 編集部
読了時間 約15分
人間へのエスカレーション設計
AIエージェントが無理に処理を続けず、人間へ正しくエスカレーションするための条件設計と運用ルールを整理する。エスカレーション判定ロジックと実装例を具体的に解説。設計テンプレートと実装コード付きで解説。
AI開発の検証室 編集部
読了時間 約10分
AIエージェントチーム設計
AIを相棒からチームへ進化させる運用モデルを、Lead・Implementer・Critic・Scribeの4役割とガードレールで体系的に整理する。1体のAIに全部任せると、判断責任が曖昧になって破綻しやすい
AI開発の検証室 編集部
読了時間 約12分
MCPで"運転席と作業者"を分離して事故率を下げる
Model Context Protocol（MCP）でAIワーカーのツール連携を標準化。属人プロンプトから脱出し、許可ツールを固定して禁止領域アクセスを0に近づける実践ガイド。こんにちは、みねです。
AI開発の検証室 編集部
読了時間 約13分