Downloaded 72 times
Uploaded byHironori Washizaki
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
鷲崎弘宜, アジャイル品質のパターンとメトリクス, スマートエスイーセミナー: アジャイルアーキテクチャと品質, 2024
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
- 1. アジャイル品質のパターンとメトリクス 早稲田大学グローバルソフトウェアエンジニアリング研究所 所長 国立情報学研究所 客員教授/ エクスモーション 取締役 鷲崎 弘宜 http://www.washi.cs.waseda.ac.jp/ washizaki@waseda.jp 2024年2月26日 スマートエスイーセミナー: アジャイルアーキテクチャと品質
- 2. 目次 1. アジャイル品質 2. アジャイル品質パターンQA to AQ 3. アジャイルメトリクス 2
- 3. アジャイル開発とマインド • アジャイル宣言 http://www.agilealliance.org/ •反復漸進、顧客（現場）フィードバック、変化適応的 • 「受け身・パートナー任せ」から「価値共創」へ 3 手順や道具 人と対話 文書 動く内容や実活動 契約交渉 顧客や現場との協力 計画通り 変化への対応 ITベンダ ユーザ企業 システ ム部 ITベンダ ユーザ企業 システ ム部 アジャイ ル拠点で の共創 経済産業省デジタルトランスフォーメーションの加速に向けた研究会, DXレポート2中間まとめ, 2020 https://www.meti.go.jp/press/2020/12/20201228004/20201228004.html 納品
- 4. アジャイル開発における品質は 従来とはどう異なるのか？ 4 参考: ソフトウェア品質知識体系ガイド（第3版）－SQuBOK GuideV3－、2021. 側面 従来の品質保証 アジャイル品質 担当 主に特定の人々（品質 保証部門、QA） 専門家を交えたチーム全体 段階 主に特定の段階 ロードマップ策定から日々 のモニタリングに至るあら ゆる段階 内容 開発完了後に品質の確 認 各イテレーションにおいて 品質作りこみ: 動くソフト ウェアのテスト、自動化、 変更容易性ほか
- 5. DX・AI・IoT時代の動的品質 • 対象: データ、ソフト、システム –クローズよりもオープンへ – 静的よりも動的へ • プロセス – アジャイル＆DevOpsが標準 – 計画よりも変化へ • 基準 – 単純・確実から複雑・不確実へ – 100%よりも95%の正しさとリスクへ – 要求よりも価値へ 5 プロセス参考: 産業技術総合研究所サイバーフィジカルセキュリティ研究センター テクニカルレポート CPSEC-TR-2020001, 機械学習品質マネジメントガイドライン, https://www.cpsec.aist.go.jp/achievements/aiqm/ 構想・企画 システム定義 リスク分析 要求定義 データ準備 プロト開発 実験・評価 利用終了 性能監視 運用 統合検査 データ準備 修正 データ収集 本開発 品質検査 改修 品質 検査 システ ム更新 PoC アジャイル Dev Ops
- 6. 様々なアジャイル品質の取り組みと事例 • 『実践スクラム: スクラム開発プレイヤーのための事例』（ エヌアイデイDX事業推進チーム、オーム社、2023） – 計画書や報告書などの雛形、事例など • 『ソフトウェア品質知識体系ガイド 第3版SQuBOK Guide V3』（飯泉・鷲崎・誉田 監修） – アジャイル開発上の品質の指標、マネジメント、技術など • 『品質重視のアジャイル開発: 成功率を高めるプラクティス ・Doneの定義・開発チーム編成』（誉田直美、2020） – アジャイルメトリクス、Doneの定義、チェックリスト、品質保 証のポイント • 『アジャイル開発のプロジェクトマネジメントと品質マネ ジメント: 58のQ&Aで学ぶ』（居駒幹夫、梯雅人、2020） – ソフトウェア開発時の品質を含むマネジメント実践処方 6
- 7. 7 DevOpsとアジ ャイル開発にお ける品質の概念 DevOpsとアジャ イル開発品質保 証マネジメント DevOpsとアジ ャイル開発の品 質保証技術 • アジャイル品 質保証パター ン QA2AQ •アジャイルス キル体系 SFIA DevOpsとアジャイル開発における品質 • DevOpsにお ける品質特性 • アジャイル開 発の品質指標 • アジャイルメトリクス • 品質ダッシュボード • DevOpsとアジャイル開発のツール と自動化 • CI （継続的統合） • アジャイルテスト: イテレーション • 継続的テスト: CI・都度 • シフトレフトテスト: 仕様・設計 • シフトライトテスト: 稼働後 • カナリアテスト: 一部で確認 飯泉紀子、鷲崎弘宜、誉田直美 監修、SQuBOK策定部会 編、“ソフトウェア品質 知識体系ガイド（第3版）－SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、 2020/11/21、オーム社
- 8. 目次 1. アジャイル品質 2. アジャイル品質パターンQA to AQ 3. アジャイルメトリクス 8
- 9. アジャイル品質パターン QA (Quality Assurance)to AQ (Agile Quality) • アジャイル品質の考え方と推奨される活動の23+のパターン集 – 2014年 Joseph Yoder, Rebecca Wirfs-Brock, Ademar Aguilar発表、以降、鷲崎も加わり拡充 • Joseph Yoder、Rebecca Wirfs-Brock、Ademar Aguiar、鷲崎 弘宜 著、翻訳：鷲崎 弘宜、長 谷川 裕一、濱井 和夫、小林 浩、長田 武徳、陳 凌峰、“アジャイル品質パターン「QA to AQ」 伝統的な品質保証からアジャイル品質への変革”、翔泳社、2022 https://www.amazon.co.jp/dp/B0BGRP1VRV/ 9 中核パターン 品質の特定 品質の可視化 品質のアジャ イルなあり方
- 10. 中核パターン アジャイル品質プロセス Integrate Quality 品質記述および理解する軽量な方法 などを通じて品質保証をプロセスに 組み入れる 障壁の解体 Break DownBarriers チームにおいて品質保証メンバと残 りのメンバ間の障壁をなくし、皆が 品質プロセスに関わる 10 他のパターンを用いるうえでの基礎
- 11. アジャイル品質プロセス 11 スプリント計画 製品ビジ ョン/ロー ドマップ 利害関係者 への展開 機能 受入テスト バックログ 管理 スプリント 実行 デイリーレビュー フィードバックの取り込み 重要な品質シナリ オの特定 品質項目 を含める 品質テスト 関連する 品質タスク を含める アジャイルプロセスの一環として、システ ムの品質を理解し、記述し、開発およびテ ストする方法を構築しましょう。 重要なシステム品質の検査や保証をアジャイ ルプロセスにどのように組み込めばよいでし ょうか？ 鷲崎, 長谷川, 濱井,小林, 長田, 田村, 陳, QA to AQ：アジャイル品質パターンによる、伝統的な品質保証からアジャイル品質への変革, CodeZine, https://codezine.jp/article/corner/813 品質テスト 品質テスト
- 12. 品質のアジャイルなあり方 QAを含むOneチーム Whole Team最初からQA担当者をチームに含める 品質スプリント Quality Focused Sprints 品質の測定や改善に焦点をあてたスプリントを設ける プロダクト品質チャン ピオン QA Product Champion チームが重要なシステム品質特性に集中できるよう支援 する人をチームに含める アジャイル品質スペ シャリスト Agile Quality Specialist 特定の品質スキルがチームに不足しているなら、品質ス ペシャリストをさまざまなタイミングで投入 品質チェックリスト Quality Checklists システムで共通の、一貫して満たすべき品質特性の期待 値を記したチェックリスト 品質作業の分散 Spread the Quality Workload QA担当者以外も品質タスクに巻き込み、負担を調整 品質エキスパートを シャドーイング Agile Quality Specialist 品質エキスパートがタスクを実行している間に、さまざ まな人にフォローまたはシャドーイング QAリーダーとペアリン グ Pair with a Quality Advocate 開発者と他のアジャイルチームメンバーを品質保証担当 とペアを組ませ、品質関連のタスクを完了 できるだけ自動化 Automate As You Go 環境を整え、ツールを使用して、バリューを高める部分 をできるだけ早く自動化 12 アジャイルプロセスにおける品質保証のあり方や役割
- 13. QAを含むOneチーム 13 アジャイル品質チームでは、最初 からQA担当者をアジャイルチーム の一部として含めましょう。 QA担当者が開発チームの一部ではない場合に は、多くの問題が発生する可能性があります（ 「我々」対「彼ら」シンドロームの発生）。 Joseph Yoder, “品質面でアジャイルであるために”,第2回enPiT-Proスマートエスイーセミナー:アジャイル品質保証と組織変革, 2018 鷲崎, 長谷川, 濱井, 小林, 長田, 田村, 陳, QA to AQ：アジャイル品質パターンによる、伝統的な品質保証からアジャイル品質への変革, CodeZine, https://codezine.jp/article/corner/813 プロダクト品質チャンピ オン アジャイル品質スペシャ リスト プロダクトオーナーと協働 し開始時から顧客要求理解 テスト戦略を通じてチー ムに経験提供 QA プロダク トオーナ ー 開発チーム 品質エキスパートをシャド ーイング エキスパートと協働し経験 展開 QAリーダーとペアリング 開発者をQAリーダーとペアを 組ませて品質プログラミング 品質作業の分散
- 14. できるだけ自動化 14 環境を整え、ツールを使用して、バ リューを高める部分をできるだけ早 く自動化しましょう。開発の終盤ま で自動化のタスクを先送りしないよ うにしましょう。 重要な品質特性について、迅速 なフィードバックを支援し、現 在の状態を共有し可視化するた めに、ツールや環境をどのよう に確立できるのでしょうか？ スプリント デイリー スクラム など 完成部分の 品質テスト 全体の 品質 テスト テスト管理 クラウドス トレージ AmazonS3 継続的イン テグレーシ ョン simulator 環境 テスト用 PC 負荷テスト Webアプリ テスト ブラウザ モバイル アプリ テスト 対象 モバイルア プリテスト テスト自動化（NTTデータ 長田さんのScrum開発事例） J.Yoder、R. Wirfs-Brock、A.Aguiar、鷲崎 著、翻訳：鷲崎、長谷川、濱井、小林、長田、陳、“アジャイル品質パターン「QA to AQ」 伝統的な品質保証からアジャイル品質への変革”、翔泳社、2022
- 15. 品質の特定 15 重要な品質の発見 Find EssentialQualities 重要な利害関係者とチーム会議して最も重要な品質特性 についてブレインストーミング 品質シナリオ Agile Quality Scenarios 早い段階で、手軽な方法で、重要な非機能要件を扱う大 まかな品質シナリオを作成 品質ストーリー Quality Stories 個別の品質特性のストーリーを作成し、それらをバック ログに追加 測定可能なシステム品 質 Specify Measurable Values or System Qualities 品質を測定し、必要な精度と正確さで記述する適切な方 法を定義 品質の折り込み Fold-out Qualities 品質受け入れ基準をユーザーストーリーに添付 着陸ゾーン Agile Landing Zone 品質特性の受入れ可能な着陸ゾーン（最低、目標、優 良）を定義して使用 着陸ゾーンの再調整 Recalibrate the Landing Zone 測定結果やベンチマークに基づき再調整 着陸ゾーンの合意 Agree on Quality Targets 目標値に関する情報に基づいた合意
- 16. 品質シナリオ 16 プロセスの早い段階で、手軽な方 法を利用して、性能、負荷、信頼 性、セキュリティなどの重要な非 機能要件を扱う大まかな品質シナ リオを作成しましょう。 開発中に対処する必要がある重要な 品質特性について、どのようにすれ ばよりよい理解と大まかな見解を得 ることができるでしょうか？ J.Yoder、R. Wirfs-Brock、A. Aguiar、鷲崎著、翻訳：鷲崎、長谷川、濱井、小林、長田、陳、“アジャイル品質パターン「QA to AQ」 伝統的な品質保証からアジャイル品質への変革”、翔泳社、2022 C4モデルから目標に至る品質定義（NTTデータ 長田さんのScrum開発事例 ） システム コンテキスト図 コンテナ図 コンポーネント図 可用性 通常稼働時はPOS端末から行っ たリクエストに対して、NN%の 確率で24時間365日応答する システ ムA システ ムB アプリケー ションA1 A2 A3 コンポーネ ントCx Cy コード 品質シナリオ 性能 200件/秒全ての「決済のリクエ スト」の決済成功の通知を、N秒 以内99.9%ileにPOS端末へ送る
- 17. 品質の可視化 17 品質ロードマップ Qualify the Roadmap 製品の機能を開発し、ロードマップを進化させな がら、品質特性とそれをサポートするアーキテク チャにいつ対処するか計画 品質バックログQualify the Backlog 品質項目（品質シナリオ、品質ストーリー、ユー ザストーリーへの品質の折り込み）を作成して バックログに追加 システム品質ダッシュ ボード System Quality Dashboard 品質特性を継続的に測定し可視化・監視する仕組 みを用意 システム品質アンドン System Quality Radiator 誰もが質問する必要なく、仕事中や休憩中に見る ことができる品質特性のステータスのディスプレ イを用意 重要な品質特性を可視化しチームメンバーに気付かせる
- 18. 品質ダッシュボード 重要な品質特性をテストし、検証するためのダッ シュボードを作成します。重要な品質特性が何か が概説され、れがバックログに含まれているので 、どれ監視する必要があるのか、進化に応じて測 定ツールをどのタイミングで作成できるのか、に 注意しておく必要があります。 システムが進化するにつれて、チームはどの システム品質特性が重要で、それらをどのよ うによりよく測定するかを理解しはじめます 。アジャイルチームは、この情報にアクセス して可視化する手段をどうやって提供できる のでしょうか？ J.Yoder、R. Wirfs-Brock、A. Aguiar、鷲崎著、翻訳：鷲崎、長谷川、濱井、小林、長田、陳、“アジャイル品質パターン「QA to AQ」 伝統的な品質保証からアジャイル品質への変革”、翔泳社、2022 H. Nakai, K. Honda, H. Washizaki, Y. Fukazawa, K. Asoh, K. Takahashi, K. Ogawa, M. Mori, T. Hino, Y. Hayakawa, Y. Tanaka, S. Yamada, D. Miyazaki, ″Initial Industrial Experience of GQM-based Product-Focused Project Monitoring with Trend Patterns,” 21st Asia-Pacific Software Engineering Conference (APSEC 2014) ダッシュボードの例（Yahoo! Japan・早稲田大学の共同研究事例） 18
- 19. 目次 1. アジャイル品質 2. アジャイル品質パターンQA to AQ 3. アジャイルメトリクス 19
- 20. アジャイルメトリクスと特徴 • アジャイル開発における短期間の各イテレーションにおいて 所定の品質確保のために用いるメトリクス – 非アジャイル開発から定義や運用方法、ベンチマーク流用できるも の（例:プロセス全体の欠陥除去率、システムパフォーマンスなど） – 運用方法やベンチマークは異なってくるもの（例: イテレーション別 の欠陥除去率、テストカバレッジなど） – アジャイル特有のもの（例: ストーリーポイント、ベロシティなど） 飯泉紀子、鷲崎弘宜、誉田直美 監修、SQuBOK策定部会 編、“ソフトウェア品質知識体系ガイド（第3版）－ SQuBOK Guide V3－”、ISBN 978-4-274-22631-1、2020/11/21、オーム社 側面 非アジャイル アジャイル 時点・扱い 静的 動的 評価 絶対値 相対値、変化量 再利用 ドメイン共通 プロジェクト固有 20
- 21. 典型的なアジャイルメトリクス 分類 対象 内部メトリクス外部メトリクス プロダ クト プロダクト 実行中のテスト済みフィーチャ、ビルドステータス 顧客満足、実行コードとしての進捗 テスト計画 テストケース数、技術的負債、静的解析における警告数 フィーチャ タスクの期待終了日、完了タスク（Done）、工数見積もり、 ストーリー終了率 提供ビジネス価値 要求 要求コスト種別、スプリントあたりの作成ストーリー 欠陥 欠陥傾向指標、予測欠陥数 プロセ ス テスト 欠陥数、テスト成功率、テスト失敗率、先送り欠陥、テストカ バレッジ、テスト成長率 跳ね返り数、見過ごし故障（早期に 発見すべきであったもの） 実装 ベロシティ、単体テスト数、完成Webページ、コスト効率指標、 スケジュール効率指標、計画ベロシティ、共通テンポ（リズ ム）、日あたりのチェックイン、失敗ビルドの修正時間 要求工学 フィーチャの推敲速度 全体 サイクル時間、リード時間、処理時間、キュー時間、保守工数、 進行中の作業 WIP、引継ぎのばらつき、スループット、 キュー、実装済み要求 無駄な要求 リソー ス チーム チームの有効性 顧客 顧客別の収益 Using metrics in Agile and リーン software development–a systematic literature review of industrial studies. Inf. Softw. Technol. 62, 143–163, 2015. 21
- 22. アジャイル手法とメトリクスの参照実績 推奨メトリクス 手法 事例文献 工数見積もりスクラム, XP, リーン 多数 ベロシティ スクラム, XP, リーン 多数 単体テスト数（記述数、成功数） XP, リーン 多数 進行中の作業 WIP Kanban 多数 リード時間 Kanban 多数 内部品質 Kanban, リーン 多数 アジャイル手法では未言及な独自メトリクス （特になし） 多数 Failure load Kanban 少数 スループット Kanban 少数 サイクル時間 リーン 少数 価値ストリームマップ リーン 少数 受入テスト数 リーン 少数 負荷係数 XP なし 実際の開発時間 XP なし Due date performance Kanban なし Issue、ブロックされた作業項目 Kanban なし フロー効率 Kanban なし Using metrics in Agile and リーン software development–a systematic literature review of industrial studies. Inf. Softw. Technol. 62, 143–163, 2015. 22
- 23. どのようなアジャイルメトリクスが顧客満足に繋がるのか？ （早稲田大学、デジタルハーツ・AGEST 共同研究） • 対象:アジャイルらしいOSSのAndroidアプリ37件 – 一定規模、継続的統合＆プルリクエスト（WordPress, Firefoxなど） • メトリクスと方法: – アジャイルプロセスメトリクス: 課題の起票からリリースまでの時間、マージされた プルリクエスト数、マージまでの時間、課題の生存期間、プルリクエストの生存期間 – 利用者満足: アプリのユーザレビューコメントの感情スコア（VADER利用） – 分析方法: 遅延を考慮した上で時系列の相関関係 楊 敏舜, 佐藤 靖治, 鷲崎 弘宜, 深澤 良彰, 髙橋 寿一, “利用者満足度に影響を与えるアジャイル開発プロセスの特徴の特定”, 情報処理学会 第213回ソフトウェア工学研究会, 2023 Minshun Yang, Seiji Sato, Hironori Washizaki, Yoshiaki Fukazawa, Juichi Takahashi, “Identifying Characteristics of the Agile Development Process That Impact User Satisfaction,” 27th International Conference on Evaluation and Assessment in Software Engineering (EASE 2023) https://github.com/cjhutto/vaderSentiment 23
- 24. どのようなアジャイルメトリクスが顧客満足に繋がるのか？（続き） • 結果と考察 – 感情スコアが全体的に低下傾向のアプリでは、マージまでの時間、課題の生存期間、プ ルリクエストの生存期間が感情スコアと強い負の相関 →体制やタスクの優先順位付け、承認プロセスなどの改善を通じて迅速な課題処理やマー ジが望ましい可能性 – 課題の起票からリリースまでの時間、マージされたプルリクエスト数は感情スコアとの 間に強い相関関係は確認できず • 展望: メトリクス拡大、実開発検証、利用者・顧客満足から開発者満足へ 1.00 0.00 -1.00 日付 感情スコア メトリクス・スコア 10 0 2015 2022 例: マージまでの時間 ポジティブ ネガティブ 例: Excellent user experience and ease of use! 例: Doesn't work at all 楊 敏舜, 佐藤 靖治, 鷲崎 弘宜, 深澤 良彰, 髙橋 寿一, “利用者満足度に影響を与えるアジャイル開発プロセスの特徴の特定”, 情報処理学会 第213回ソフトウェア工学研究会, 2023 Minshun Yang, Seiji Sato, Hironori Washizaki, Yoshiaki Fukazawa, Juichi Takahashi, “Identifying Characteristics of the Agile Development Process That Impact User Satisfaction,” 27th International Conference on Evaluation and Assessment in Software Engineering (EASE 2023) 24
- 25. まとめと展望 • アジャイル品質 – SQuBOKに見る全体像 –チーム全体の取り組み＆計画から日々の活動までのあら ゆる段階での取り組み • アジャイル品質パターン QA to QA – 中核、アジャイルなあり方、品質の特定、品質の可視化 アジャイルパターンの実態を見てみませんか？ • アジャイルメトリクス – 動的、相対・変化量、プロジェクト特性加味 – 網羅的なサーベイあり – 顧客・利用者満足との関係解明に向けて: 課題処理やマ ージが重要な可能性あり アジャイルメトリクスで測定評価してみませんか？ 25