回帰試験
変更で既存の動きを壊していないかを確かめる試験・評価。(10 件の記事)
セキュリティ
- NewsPicksの不正アクセスから考える開発とリリースの再設計
NewsPicksが2026年11月18日に公表した不正アクセスの調査結果を基に、時系列と対策を整理します。修正版適用後も残ったAPIキーを手がかりに、開発時の入力検証と更新・本番復帰の条件を考察します。
セキュリティ · 事例・時事
- 再診断と継続的な管理
脆弱性の修正後に、適用状況と対策の効果を確かめる手順です。再診断の範囲、判定の根拠、未確認事項を台帳に残し、変更時と期限に応じて見直します。
セキュリティ · 手順
- 開発工程ごとのセキュリティテスト
セキュリティの確認を設計、実装、結合試験、配布前に組み込む手順です。架空の文書共有機能を例に、確認する条件、試験データの分離、結果の判断、修正後の再確認と記録を説明します。
セキュリティ · 手順
AI エージェントの評価
- HyperFrames と Remotion の動画制作と修正の比較
同じ指示で作った8秒のお茶の広告を、初稿と修正版の4本で見比べます。価格を1秒早く出すと、片方で文字が重なった理由をコマ送りとコードの変更箇所から説明します。
AI エージェントの評価 · 検証の記録
- 失敗の分析と評価への反映
AIエージェントの失敗を、観測事実、原因候補、再現条件に分けて調べる手順です。架空の申請漏れから評価課題を作り、修正後の確認と運用への引継ぎまで説明します。
AI エージェントの評価 · 手順
- 評価の OSS を同じエージェントで比べた結果
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals を、同じ検証用エージェント・同じ 20 件・同じ採点用モデルで動かし、判定の一致、LLM 採点のずれ、時間、費用、CI への組み込みやすさを比較した実測の記録です。
AI エージェントの評価 · 解説
- リリース判断の基準
AI エージェントの能力・回帰・安全の評価を、未確認の範囲や運用準備と合わせて読む方法を説明します。架空の候補版を比較し、公開する範囲、保留する理由、再判断の条件を整理します。
AI エージェントの評価 · 解説
- 評価を CI に組み込む手順
Promptfoo 0.124.1とGitHub Actionsで、AIエージェントの引き継ぎ処理を変更時に検査する例です。固定入力、採点、失敗時の記録、必須チェックまでを具体的な設定でつなぎます。
AI エージェントの評価 · 手順
- 能力評価と回帰評価
能力評価はできるようになってほしいことを測り、回帰評価は以前できていたことが崩れていないかを測ります。二つの目的、開発の段階との対応、課題の移し方を整理します。
AI エージェントの評価 · 解説
- 評価データの保守
評価課題の追加、修正、利用停止と版の管理を説明します。架空の申請サービスを使い、変更前後の結果を比較できる条件と、古い課題を残すか外すかの判断を示します。
AI エージェントの評価 · 手順