AIが下げた攻撃単価から防御を設計する
AIの自律化は攻撃者ROIのコスト側だけを縮めるとAnthropicは評価しています。成功率を下げる防御だけでは低単価・大量の攻撃に負ける条件を示し、防御策を「限界コストを戻す・取り分を縛る・検知を比例させない」の3つに分けて予算を置く整理を載せます。
AI開発の検証室 編集部
読了時間 約17分
読み込み中...
タグ
# AI Agent
20 件の記事が見つかりました
Agentの認可はtaskでなくcampaignで見る
1回ずつは無害なtool callの積み重ねをどう認可・監査するか。task・workflow・campaignの3階層を置き、認可をworkflowに、相関監査をsession横断に置く整理と、自リポのhookが単発判定しかしていなかった測定を載せる。
AI開発の検証室 編集部
読了時間 約18分
同じ役割のSkillが共存すると制約が消える
同じ仕事をするSkillが2本あると、どちらが読まれるかで守られる制約が変わり、タスクは成功のまま終わる。arXiv 2610.11647の測定と、自リポの追跡済みSKILL.md 91本を判定条件つきで数えた結果、排他的な制約の洗い出し方を載せる。
AI開発の検証室 編集部
読了時間 約25分
Agentの仕様に「完了不能」の出口を書く
完了できないタスクを渡されたAgentは、止まらずに制約を回避しがちです。中断の選択肢を与えると不正な合格が減ったという研究と、委託先がガードを黙って直した自リポの記録をもとに、仕様に書く「完了不能」の出口の書式を整理します。
AI開発の検証室 編集部
読了時間 約15分
worktreeで分けても並列エージェントは閉じない
git worktree が分けるのは作業ツリーとHEAD・indexだけで、refs・stash・ディスク・台帳の採番・一時領域・ローカルのテスト実行は並列エージェントの間で共有されたまま残る。実際に起きた事故とともに、共有資源を1枚の表に棚卸しし、委託文に書く境界の書式を載せる。
AI開発の検証室 編集部
読了時間 約19分
Agent Sandboxの外向き通信をどこまで許すか
Agentのegress（外向き通信）をどこまで許すか。コミット済みの設定で見つけた前方一致のgh apiとCIのキー受け渡しを塞いだ記録と、宛先・DNS・credential・監査・例外を1枚に書く書式、監査スクリプトを載せる。
AI開発の検証室 編集部
読了時間 約58分
攻撃面としての長期記憶：エージェントに保存させないもの
エージェントの長期記憶に保存しないもの（秘匿値、個人情報、権限を変える指示、実行設定など）の判断表と、書き込み時の検査、TTL と revoke の分け方を、OWASP ASI06 と Claude Code の仕様で整理する。
AI開発の検証室 編集部
読了時間 約39分
Agentic Misalignment：人間に戻す規約を数えた
Anthropicは人為的シナリオで、直接の指示は有害行動を減らしたが防ぎ切れなかったと報告した。本リポジトリの規約10本（うち人間に戻す5本）を検査と突合し、判断を違反入力で拒否する検査がref 584ddf10時点で0本だった記録。
AI開発の検証室 編集部
読了時間 約26分
AIエージェントの権限は影響範囲で設計する
危険なコマンド名を列挙しても被害範囲は狭まらない。deny 19件を数え、危険コマンドを止めるはずのフックが本番の payload 形状では1件も止めていなかった実測を修正前後の対照つきで記録。
AI開発の検証室 編集部
読了時間 約51分
プロンプトからエージェントへ
プロンプトを磨く時代は終わり、AI にゴール・道具・権限を渡して自律的に動かす段階へ。エージェントエンジニアリングの設計軸は Context・Capability・Critical Thinking の3要素。
AI開発の検証室 編集部
読了時間 約22分
AIエージェントのOperational Memory設計
エージェントの memory を schema / provenance / expiry / rollback の4軸で設計する。知識ストア3つを実測すると last_verified は31件中3件しか生きていなかった。
AI開発の検証室 編集部
読了時間 約42分
AIエージェント基盤：MCPとContext設計
エージェントの自律性はモデル性能ではなく接続されたインフラで決まる。MCP による外部ツール接続の標準化と、文脈を揮発させない階層化ドキュメント管理という「手足」と「記憶」の設計を解説。
AI開発の検証室 編集部
読了時間 約8分
AI Agent 認可境界の設計パターン4モデル
AI Agent の認可を user×agent / agent×tool / agent×agent / agent×data の4モデルで整理し、OAuth 2.1・MCP scope・Capability token の実装例を示す。
AI開発の検証室 編集部
読了時間 約19分
Issue Triage Agentを安全に作る役割分離
Issue Triage Agent に close を任せる前に。39 issue・close判断36件をリプレイすると、PRリンクで閉じた21件のうち2件が reopen されていた。証拠収集と判定を分ける設計を記録。
AI開発の検証室 編集部
読了時間 約54分
自社IDP構築の現実的なロードマップ
Backstage を入れただけでは IDP にならない。catalog / permission / golden path の三位一体と、開発者と AI Agent の両方を顧客とする4要件を、4段階ロードマップで示す。
AI開発の検証室 編集部
読了時間 約40分
AIエージェント開発の「新常識」SDD
SDD（Spec Driven Development）の入門ハブ。揮発するチャット指示をやめ、仕様を Source of Truth に据え、人間が「コードを書く選手」から「仕様を承認する審判」へ移る転換を3章で概観し、全7章へ案内する。
AI開発の検証室 編集部
読了時間 約9分
なぜAIエージェントは「仕様書」を無視するのか？
AIエージェントが仕様を無視するのは、会話ログを Source of Truth にしていることが根本原因。Document First / File as Anchor / Stateless Interaction の3原則で解決する。
AI開発の検証室 編集部
読了時間 約10分
AIの推論を自動化へ昇格させるループの穴
AIの判断を決定的な自動化へ昇格させるループを実装したところ、「昇格すべきだと気づく」側の判定器が、8つのすり抜け型のうち6つで沈黙していました。対照実験の終了コードと監査スクリプトの実出力で記録します。
AI開発の検証室 編集部
読了時間 約46分
実務の勘所：Claudeを活用した開発のヒント
Claudeを開発の現場で安定して使うために効く、タスクの切り方・指示の出し方・確認の仕方・レビューの回し方を実務視点で整理します。Claude は「長い指示」を書くより、タスクの境界を狭く切ると強い
AI開発の検証室 編集部
読了時間 約15分
エージェント開発の人間役割：コードを書かずに「承認」する仕事へ
AIエージェント開発における人間の役割は「ドライバー」から「ゲートキーパー」へ。承認プロセス（SDD）による品質担保のワークフローを解説します。AIエージェントが自律的にコードを書き、テストを回し、PRを作成する世界。
AI開発の検証室 編集部
読了時間 約10分