タグ

# LLM

16 件の記事が見つかりました

LLM 品質評価 Eval

LLM出力の品質ゲート設計：評価指標の選び方とEval自動化

RAGAS・LLM-as-Judge・rule-based evalの使い分けからCI/CDへの組み込みまで、LLM出力品質ゲートの設計手順を実践的に解説。評価→記録→ゲート→通知の自動化パイプラインで品質劣化を早期検知する。

AI開発の検証室編集部

26分更新 2026/9/25公開 2026/6/19

LLM ガードレールセキュリティ

LLMガードレール設計

ガードレールは input validation／output filtering／prompt injection 対策の3レイヤーで組む。prompt injection は完全防御できない前提で権限最小化に寄せる実装パターン。

AI開発の検証室編集部

11分更新 2026/9/23公開 2026/5/27

LLM Observability Langfuse

LLMオブザーバビリティの標準スタック

LLM 本番運用に必要なオブザーバビリティを trace / eval / cost の3軸で統合する設計と、Langfuse・Helicone・LangSmith の比較を、Zennのトレンド議論を参照しながら整理する。

AI開発の検証室編集部

11分更新 2026/9/23公開 2026/6/3

LLM 本番運用 SRE

LLM本番運用チェックリスト

LLMアプリが「作る」から「動かし続ける」に移行した2026年、本番運用に必要な監視・SLO・フォールバック・コスト制御の実装パターンを、Google Cloud Next '26 とNLP2026の議論を参照しながら整理する。

AI開発の検証室編集部

11分更新 2026/9/23公開 2026/5/23

RAG LLM Embedding

RAG本番運用パターン

RAG（Retrieval-Augmented Generation）を本番運用するための評価ループ、embedding 更新、再ランクの設計パターンを、Zenn の AI 実践ガイドを参照しながら2026年版として整理する。

AI開発の検証室編集部

10分更新 2026/9/23公開 2026/6/2

AIエージェントデバッグハルシネーション

AIエージェントのデバッグ：ループ・幻覚・汚染の対処法

無限ループはステップカウンタ＋状態ハッシュ、ハルシネーションは実行前バリデーション、コンテキスト汚染はスライディングウィンドウで対処。AIエージェント3大障害を診断フローと実装コードで。

AI開発の検証室編集部

22分更新 2026/9/22公開 2026/7/21

Claude API Anthropic tool use

Claude API実践ガイド2026：Messages API・ツール使用・ストリーミングの完全実装

Claude API を本番で動かすまでの全工程。Messages API の最小実装からツール使用・ストリーミング・プロンプトキャッシュまでを TypeScript / Python のコード付きで。429/529 のリトライ戦略も。

AI開発の検証室編集部

34分更新 2026/9/22公開 2026/8/10

LLM Ollama vLLM

ローカルLLMを本番投入するときのトレードオフ完全ガイド

ローカルLLM運用の3大ランタイム Ollama・vLLM・llama.cpp を性能・コスト・運用負荷・セキュリティの4軸で比較し、「動いた」から「本番で使える」までの判断基準を実測データとともに整理する。

AI開発の検証室編集部

15分更新 2026/9/22公開 2026/5/30

NLP2026 LLM Safety

NLP2026の研究を実装に落とす橋渡し

NLP2026 の主軸は「LLM を実世界で使うために何が必要か」。safety・解釈性・実世界応用の研究を、ガードレールの多層化・出力検証の自動化・ドメイン特化のデータ戦略という実装3示唆に翻訳する。

AI開発の検証室編集部

11分更新 2026/9/22公開 2026/6/5

RAG Claude API pgvector

Claude API×pgvectorでRAG実装

Claude API（Voyage AI Embeddings）とpgvectorを組み合わせたRAGシステムの実装ガイド。外部SaaS不要でTypeScriptのコピペ動作コードを使い、チャンク戦略からTool Use統合まで完全解説。

AI開発の検証室編集部

39分公開 2026/8/11

OWASP LLM セキュリティ

OWASP LLM Top10 AI開発セキュリティ設計2026

OWASP LLM Top10（2025年版）の全10リスクを「入力検証/プロンプト設計/出力処理/インフラ」の実装レイヤーに対応づけ、AI駆動開発チームがすぐ使えるコードパターンとチェックリストを提供します。

AI開発の検証室編集部

33分公開 2026/7/25

LLM Observability OpenTelemetry

LLM可観測性2.0：ログ・トレース・アラート設計

LLMアプリでは従来のAPMが機能しない理由を整理し、OpenTelemetry + LangSmith/Langfuseによるトレース設計・トークンコスト・品質アラートの実装パターンを2026年版でまとめる。

AI開発の検証室編集部

30分公開 2026/7/24

AIエージェントアーキテクチャ LLM

AIエージェント3層成熟モデル2026

推論・制御・接続の3レイヤーが独立に進化し、2026年に偶然のように同時成熟点を迎えた——AIエージェント設計の現在地を、ZennとQiitaのトレンド議論を参照しながらGrowth Lab視点で構造化する。

AI開発の検証室編集部

12分公開 2026/5/23

LLM 解釈可能性 Interpretability

エンジニアのためのLLM解釈可能性入門

LLM の解釈可能性研究が2026年に急速に成熟した。attention 可視化の限界、現実的に使える出力検証の手法、エンジニアが採用すべき pragmatic な3手法を、NLP2026 の議論を参照しつつ整理する。

AI開発の検証室編集部

9分公開 2026/5/29

LLM API料金コスト最適化

LLM API料金の構造を分解して最適化する

LLM API 料金は input/output/cache/batch の4軸で構造化できる。各単価モデルと最適化の優先順位を、ZennのLLM料金整理記事を参照しながら2026年時点の実装パターンとして整理する。

AI開発の検証室編集部

9分更新 2026/5/27公開 2026/5/27

AI Contract Testing LLM

LLM出力は毎回変わる

LLMやAIサービスとの統合境界をテストする手法。スキーマ検証・セマンティック類似度チェック・ゴールデンテストの3層でプロンプト変更のリグレッションを自動検知する。LLMの出力は毎回変わるが「守るべき契約」は定義できる

AI開発の検証室編集部

14分公開 2026/2/19