Agent Evalでprompt・skill変更をCIで止める
prompt・skill の変更は文面検査では止まりません。静的ガードが例外追加を exit 0 で通した実測から、eval dataset、score threshold、CI 失敗条件、cost/latency gate を整理します。
読み込み中...
17 件の記事が見つかりました
prompt・skill の変更は文面検査では止まりません。静的ガードが例外追加を exit 0 で通した実測から、eval dataset、score threshold、CI 失敗条件、cost/latency gate を整理します。
AI生成コードは変更範囲が広く、コンテキスト外の副作用が起きやすい。変更影響範囲の自動特定・スマートテスト選択・AIによるテストケース追加生成・CI自動判定の4ステップで安全性を機械的に担保する。
AI生成PRの量にレビューが追いつかないなら CI 側で振り分ける。リスクスコアリングでテスト深度を動的に変え、低リスクPRは自動マージ、高リスクPRは重点テスト+人間レビューへ回す設計。
RAGAS・LLM-as-Judge・rule-based evalの使い分けからCI/CDへの組み込みまで、LLM出力品質ゲートの設計手順を実践的に解説。評価→記録→ゲート→通知の自動化パイプラインで品質劣化を早期検知する。
ガードの穴を塞ぐPRが同じ型の穴を掘った実例5件を、PR番号・コミット・失敗台帳の行で示す。無力化の座標が実装→配線→CIのrun:→その外側のYAML→判定関数の内部へ1段ずつ移る構造を再現手順つきで。
axe-core + Playwright と Lighthouse スコアゲート(90以上)を GitHub Actions に組み込み、PR 段階で WCAG 2.1/2.2 違反を自動検出する。AI 修正提案と品質ゲート設計まで。
デザイントークンが壊れる原因の大半は人間の見落とし。Style Dictionary / Tokens Studio のトークンJSON を LLM に渡し、命名ゆらぎ・型不一致・参照切れを CI で検出する。Actions サンプル付き。
AIが出した巨大PRを依存・レイヤー・リスクの3軸で分解する手順。直近140PRのサイズ分布と、実在する1,641行のPRを3層の Stacked PR へ分けて各層のテストを実測したデータまで示す。
AI生成コードの3つのテスト課題(意図不透明・非決定性・量の爆発)を定義し、テスト設計パターン・Contract Testing・リスクベースCI の3層で品質を「祈り」から仕組みに変える全体像。
GitHub Actions でブログ投稿を完全自動化し、毎日の手動作業をゼロにする。タイムゾーンや環境変数で詰まる罠を踏まえ、冪等性・コスト管理・エラーハンドリングの3点で無料枠2000分に収める。
CIが緑になる経路は2つある。違反が無いから緑と、検査が動いていないから緑だ。本ブログのリポジトリで出た「効かないガード」7種類をPR番号つきで分類し、壊した入力を1回通す二面検証の手順を示す。
Vite 8 は 2026-03-12 GA だが内蔵 Rolldown は v1.0.0-rc.18 の半 GA。Rollup 比10-30倍速の公式値と破壊的変更から、移行可否を Yes / No / Defer の3分岐で判定する。
AI生成テストが抱える偽陽性・網羅不足・メンテ困難の3問題を、テストケース設計原則とミューテーションテスト(Stryker/mutmut)で解決する実践ガイド。GitHub Actions設定例付き。
OpenAI Codex CLI を GitHub Actions に組み込み、PR自動コード修正・リリースノート自動生成・テスト自動修復パイプラインを構築する実践ガイド。完全なYAMLサンプルと運用チェックリストを収録。
AI生成コードに蓄積する技術的負債の特有パターンと、自動検知・返済・予防の実践設計を解説。コード例と CI 設定で明日から使えるフレームワークを提供します。AI生成コードは「動く、でも理解できない」負債を高速で蓄積する
GitHub Agentic Workflows と GitHub Actions の責務分担を、security と audit log を軸に設計する判断テンプレを Platform/SRE/CTO 向けに整理。
CI/CDパイプラインが遅い原因を4レイヤーに分解し、依存管理・ビルドキャッシュ・テスト分割・ジョブ並列化の各改善パターンをGitHub Actions設定例付きで解説。CI/CD高速化の実践ガイド。