回帰試験

変更で既存の動きを壊していないかを確かめる試験・評価。(10 件の記事)

  • NewsPicksの不正アクセスから考える開発とリリースの再設計

    NewsPicksが2026年11月18日に公表した不正アクセスの調査結果を基に、時系列と対策を整理します。修正版適用後も残ったAPIキーを手がかりに、開発時の入力検証と更新・本番復帰の条件を考察します。

    セキュリティ · 事例・時事

  • 再診断と継続的な管理

    脆弱性の修正後に、適用状況と対策の効果を確かめる手順です。再診断の範囲、判定の根拠、未確認事項を台帳に残し、変更時と期限に応じて見直します。

    セキュリティ · 手順

  • 開発工程ごとのセキュリティテスト

    セキュリティの確認を設計、実装、結合試験、配布前に組み込む手順です。架空の文書共有機能を例に、確認する条件、試験データの分離、結果の判断、修正後の再確認と記録を説明します。

    セキュリティ · 手順

  • HyperFrames と Remotion の動画制作と修正の比較

    同じ指示で作った8秒のお茶の広告を、初稿と修正版の4本で見比べます。価格を1秒早く出すと、片方で文字が重なった理由をコマ送りとコードの変更箇所から説明します。

    AI エージェントの評価 · 検証の記録

  • 失敗の分析と評価への反映

    AIエージェントの失敗を、観測事実、原因候補、再現条件に分けて調べる手順です。架空の申請漏れから評価課題を作り、修正後の確認と運用への引継ぎまで説明します。

    AI エージェントの評価 · 手順

  • 評価の OSS を同じエージェントで比べた結果

    promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals を、同じ検証用エージェント・同じ 20 件・同じ採点用モデルで動かし、判定の一致、LLM 採点のずれ、時間、費用、CI への組み込みやすさを比較した実測の記録です。

    AI エージェントの評価 · 解説

  • リリース判断の基準

    AI エージェントの能力・回帰・安全の評価を、未確認の範囲や運用準備と合わせて読む方法を説明します。架空の候補版を比較し、公開する範囲、保留する理由、再判断の条件を整理します。

    AI エージェントの評価 · 解説

  • 評価を CI に組み込む手順

    Promptfoo 0.124.1とGitHub Actionsで、AIエージェントの引き継ぎ処理を変更時に検査する例です。固定入力、採点、失敗時の記録、必須チェックまでを具体的な設定でつなぎます。

    AI エージェントの評価 · 手順

  • 能力評価と回帰評価

    能力評価はできるようになってほしいことを測り、回帰評価は以前できていたことが崩れていないかを測ります。二つの目的、開発の段階との対応、課題の移し方を整理します。

    AI エージェントの評価 · 解説

  • 評価データの保守

    評価課題の追加、修正、利用停止と版の管理を説明します。架空の申請サービスを使い、変更前後の結果を比較できる条件と、古い課題を残すか外すかの判断を示します。

    AI エージェントの評価 · 手順