データ白書の見方・使い方（２） - PowerPoint PPT Presentation

データ白書の見方・使い方（２）

（１章～５章）

　６章　工数、工期、規模の関係の分析

　７章　信頼性の分析

　８章　工程別の分析

　９章　生産性の分析

１０章　予実分析等

• 工数、工期、規模の関係の分析について（１）
• データ白書では、工数、工期、規模について各要素間を分析している。
• ２つの要素間に相関関係などが見えるか、散布図で表し、回帰分析を行っている。
• プロジェクトの規模と工数や、工数と工期との間に定式性や特性を見出すことができれば、例えば、適正な工数や工期の範囲の目安が見えてくる。
• 傾向や相関を見ることで、以下の利用が考えられる。
• 見積や計画の妥当性の確認や、工数、工期を短縮する目標の目安に利用することができる。
• 規模の増加に伴って工数がどのように増加するのかなど、データの傾向を把握し、その関係が利用者の持つプロジェクトデータにも成り立つ可能性を考慮して利用することができる。

• 工数、工期、規模の関係の分析について（２）
• 分析対象についてデータ分析における主要な要素の内、工数、工期、規模（FP規模、SLOC規模）のそれぞれの関係を以下の組み合わせにより分析対象としている。
• データ白書における分析としては、「プロジェクト全体」と、「業種」や「アーキテクチャ」などの特性ごとに層別を行っている。

主要なデータ要素の組み合わせ：

データ白書2010-11

図表6-1-1

• 「工数と工期」のデータの見方
• 新規開発（開発5工程）

　・新規開発では工数と工期には正の「相関」が認められる。

　・ばらつきはあるが、工期（月数）は工数の３乗根に概ね比例している。

　例）　新規開発、開発５工程

　　　　　工期 ＝ A × （工数）* * 0.31　（Aは係数、相関係数 R = 0.71）

　散布図の分布状況：　信頼幅95％の下限値より下にはプロジェクトがほとんどない。　工数に対する工期の実現可能性を考える上で目安になりそうである。

開発5 工程の工数と工期（新規開発）信頼幅50％、95％付き

データ白書2010-2011

P124、図表6-3-2

• 「規模と工数」のデータの見方
• 新規開発、IFPUGグループ
• ＦＰ規模と工数には正の「相関」が認められる。

例）　新規開発、IFPUGグループ

工数 ＝ A × （ＦＰ規模）**BB＝1.19　（Aは係数、相関係数R=0.88）

（B = 1.19 の場合、FP規模が2倍になると、工数は約2.28倍になる。）　

FP規模と工数 (新規開発、IFPUGグループ)　対数表示

FP規模と工数 (新規開発、IFPUGグループ)　信頼幅50%付き

データ白書2010-2011

P135、図表6-4-11

データ白書2010-2011

P134、図表6-4-9

• 「その他規模（画面、帳票数）と工数」のデータの見方（1）
• 画面数と工数：新規開発
• 帳票数と工数：新規開発

対数表示

データ白書2010-2011

P164、図表6-7-12

データ白書2010-2011

P164、図表6-7-11

対数表示

データ白書2010-2011

P164、図表6-7-12

データ白書2010-2011

P164、図表6-7-11

• 「その他規模（画面、帳票数）と工数」のデータの見方（２）
• データの関係性　工数と画面数、帳票数とは強い関係は見られない。　（データ収集の定義において、単純に画面数、帳票数としており、　　　尺度の不統一感もばらつきの一要因と考えられる。）

　留意点：

• 新しく取り組むシステムのプロジェクト工数を各々個別指標から予測する場合、誤差が大きい可能性を考慮する必要がある。
• 例えば、画面数と工数という一つの見方だけではなく、データファンクション、DBテーブル、画面、帳票、バッチといった、複数の規模測定要素の関係を見る。
• その上でFP規模やSLOC規模との関係も合わせて利用する。

（１章～５章）

　６章　工数、工期、規模の関係の分析

　７章　信頼性の分析

　８章　工程別の分析

　９章　生産性の分析

１０章　予実分析等

• 信頼性の分析について（１）
• システム稼動後の「発生不具合数」及び「発生不具合密度」を基に、開発したソフトウェアの信頼性について示している。
• 基本的には、規模に対して、稼動後の発生不具合数および不具合発生密度との関係を分析している。
• 散布図からの傾向や定式性を導き出すことができれば、以下のような利用が考えられる。
• 稼動後不具合数の予測が可能になる。
• 稼動後不具合数を品質目標として捉えることができる。
• 稼動後のシステムの品質の評価に利用する。

• 信頼性の分析について（２）
• 層別について　以下について層別を行い、規模と発生不具数、規模と　発生不具合密度の関係について分析している。
• 開発プロジェクトの種別
• 規模の種別（FP規模かSLOC規模か）
• 業種
• アーキテクチャ

• 「信頼性の分析」のデータの見方（１）
• 規模と発生不具合数・不具合密度　全開発種別：IFPUGグループ

稼動後不具合密度 =

　　稼動後の不具合数 ÷ 規模

FP 規模と発生不具合数（IFPUG グループ）

FP 規模とFP 発生不具合密度（IFPUG グループ）

中央値　4.0

平均値　21.3

標準偏差58.6

データ白書2010-1011

P174、図表7-2-3

データ白書2010-1011

P178、図表7-3-3

[件/KFP]

• 「信頼性の分析」のデータの見方（２）
• 規模と発生不具合数・不具合密度全開発種別：SLOC、主開発言語混在

稼動後不具合密度 =

　　稼動後の不具合数 ÷ 規模

SLOC 規模と発生不具合数（主開発言語混在）

SLOC 規模と発生不具合密度（主開発言語混在）

データ白書2010-1011

P185、図表7-4-1

データ白書2010-1011

P189、図表7-5-1

中央値　0.011

平均値　0.123

標準偏差　0.426

[件/KSLOC]

• 「信頼性の分析」のデータの見方（３）

　規模と発生不具合数：

• 散布図からは以下のように顕著な関係までは見て取れない。
• 規模が大きくなれば発生不具合数が多くなるまでは言い切れない。
• 規模と発生不具合数に相関関係があるとまでは言い切れない。
• 特に線形性があるようには見て取れない。
• 規模が大きくなれば発生不具合数が大きくなる、もしくは小さくなるなどの顕著な傾向は見られない。
• プロジェクトでは、発生不具合数のばらつきが大きく、極端に発生不具合数が多いプロジェクトも存在する。

• 「信頼性の分析」のデータの見方（４）

　規模と発生不具合密度：

• 規模が小～中では、不具合密度には大きな幅がある。
• 散布図からは、規模と発生不具合密度との顕著な関係までは見て取れない。
• 不具合密度は裾野が広い分布であり、規模が大きなプロジェクトでは、不具合密度はほぼ一定値以下となり、高いものはない。

• 「信頼性の分析」のデータの見方（５）

　留意点：

• 発生不具合数のばらつきは、以下の点を考えると、収集したデータの尺度の問題が要因かもしれない。
• 発生不具合は、現象数と原因数に分けているが、原因数が無い場合は現象数を使用している。
• データ提供企業により、不具合数の把握期間が異なる。
• 発生不具合数は、システム稼動後６ヶ月間の累計値を基本的に用いている。ただし、システム稼動後６ヶ月を経過していないものもあり、１ヶ月または３ヶ月までの累計値となっているデータも混在している。
• 例えば１ヶ月しか経っていないデータと６ヶ月経ったデータが混在している可能性があり、６ヶ月間の不具合数より小さい数となるものも混在することに注意されたい。

• 「信頼性の分析」のデータの活用
• ソフトウェア規模から不具合数を推測し、以降のプロジェクトでの保守工数を計画する。
• ソフトウェア規模に応じた不具合数を見ることによって、プロジェクトを評価する。　（組織的開発力の評価とし、総合的な強み、弱みを認識する。）

　留意点：

• 上記のようなデータ活用が想定されるが、規模から発生不具合数の予測に使うのは、まだ難があると思われる。
• 図表から、例えば4000FPよりも大きな規模については、不具合件数が一定しているようにも見えるが、FP、SLOCの場合共に不具合密度のバラツキは大きく、規模から稼動後の発生不具合数を予測することはまだ難しいと考えられる。

（１章～５章）

　６章　工数、工期、規模の関係の分析

　７章　信頼性の分析

　８章　工程別の分析

　９章　生産性の分析

１０章　予実分析等

• 工程別の分析について
• 開発５工程全体ではなく、工程別に工数と工期、レビューおよびテストケースとバグ密度の分析結果を示している。
• ８．１　工程別の工期、工数　　　　　工期や工数の工程別比率に関する分析
• ８．２　レビュー指摘件数　　　　　基本設計、製作工程のレビュー指摘件数に関する分析
• ８．３　レビュー実績工数　　　　　設計工程のレビュー実績工数、各工程のレビュー実績工数比率　　　　　に関する分析
• ８．４　テスト工程別のテストケース数と検出バグ数　　　　　結合テスト、総合テスト（ベンダ確認）の２工程を対象に以下を分析
• 規模当りと工数当りのテストケース数
• 検出バグ現象数
• 検出バグ原因数

• 「工程別の工期、工数」について
• 開発５工程の工程ごとの工期、工数の比率を示し、各々の分析結果を示している。
• 各プロジェクトにおいて、開発５工程の実績月数又は工数の合計を分母として、各々の工程での比率を算出している。
• 工程別の工数、工期比率の関係を見出すことで、プロジェクト全体から、さらに詳細な見積、計画、評価などに利用できるようにする。

• 「工期比率」のデータの見方

　データの関係性：

• 比率が高い工程には「それだけ長い作業期間を要する」ということ。
• プロジェクト期間全体の約３０％（1/5～1/3）を製作工程が占める。

・・・各開発工程を実施するのに必要とされる期間

工期比率

（新規開発）

データ白書2010-2011

P202、図表8-1-3

データ白書2010-2011

P202、図表8-1-2

要件定義工程も含めた工程別の

実績月数の率の基本統計量　（新規開発）

• 「工数比率」のデータの見方

　データの関係性：

• 比率が高い工程には「それだけ多くの作業工数がかかる」ということ。
• プロジェクト全体の工数の35％弱を製作工程が占めている。

・・・各開発工程を実施するのに必要な作業工数の比率

工数比率

（新規開発）

データ白書2010-2011

P205、図表8-1-9

データ白書2010-2011

P204、図表8-1-8

要件定義工程も含めた工程別の実績工数の

比率の基本統計量　（新規開発）

• 「工程別の工期、工数」のデータの活用

　留意点（工期比率と工数比率）：

• 要件定義工程はプロジェクト特性により異なるなど、同じ尺度としての見方が難しい面もあるので、あくまでも目安として参照する。
• 工期比率のみを参照しても、必ずしも比率が高い工程に多くの要員が必要ということではない。
• 要員数が少なくても工程の期間が長いと、工程全体の工数は多くなる。工数比率、工期比率双方を利用するとよい。

例）

• 工数比率において、基本設計と結合テストの値（中央値参照）は近い方だが、工期比率の値はやや異なっている。ここから、基本設計は結合テストもよりも、より長い期間で、少ない人数で対応していることが分かる。

• 「レビュー指摘件数」について
• 設計工程及び制作工程のレビュー指摘件数に関する分析結果を示している。
• レビュー指摘件数に対する密度として、以下の３つの観点により分析結果を基本統計量として示している。
• 規模当り（FP規模当り、SLOC規模当り）の件数
• 工数当りの件数
• ページ当りの件数

• 「レビュー指摘件数」のデータの見方
• 分析対象は開発５工程全てのフェーズが「有り」となっているデータである。
• 「②工数あたり」の工数は、対象工程の工数（1000人時あたり、160人時あたりの２種類）としている。
• 工数は、対象工程のレビュー工数に対するレビュー指摘件数としている。

ページあたりの基本設計レビュー指摘件数の基本統計量

• 「レビュー指摘件数」のデータの活用（１）
• ソフトウェアの品質を把握する際、また品質目標を策定する際、その一つの考え方に閾値モデル（管理図分析）がある。
• ある尺度の閾値によって、例えば管理図分析においては、データの分布がＵＣＬとＬＣＬに対して、どの位置にあるかで、　データが正常値であるか外れ値であるかを判定する考え方である。
• ＵＣＬ（上部管理限界線　Ｕｐｐｅｒ　Ｃｏｎｔｒｏｌ　Ｌｉｍｉｔ）
• ＬＣＬ（下部管理限界線　Ｌｏｗｅｒ　Ｃｏｎｔｒｏｌ　Ｌｉｍｉｔ）

例）　要求分析・設計における品質予測の事例（閾値モデル）

要注意！

UCL

レビュー

指摘密度

LCL

（詳細はSEC BOOK 「品質予測のススメ」、「続品質予測のススメ（実践編）」を参照）

• 「レビュー指摘件数」のデータの活用（２）
• UCLやLCLには、品質データが正規分布する際には、標準偏差の何倍かを目安に策定する考え方がある。
• しかし、ソフトウェア開発のデータ、例えばレビュー指摘件数のデータは正規分布しないこともある。
• その場合、基本統計量で示している四分位点のような、外れ値に引きずられにくい統計量を参照するのも一考である。

　留意点：

• ただし、P25とP75では、あくまでもその箱の中には50%のデータのみが入るような値なので、品質指標としてUCLやLCLに直接設定することは早計である。
• データ白書では分布や特徴を見る一つの統計量として明示しているものではあるので、その点を考慮して参照する必要がある。

• 「レビュー実績工数」について
• データ白書では、基本設計、詳細設計工程について、ページあたりの対象工程におけるレビュー実績工数を、基本統計量として示している。
• また、基本設計、詳細設計、制作の３工程について、それぞれ該当する工数に対するレビュー実績工数を、レビュー実績工数比率として示している。
• プロジェクトのレビューの妥当性確認や、ドキュメントページ数からのレビュー工数の予測、工程内工数からのレビュー工数の予測などに利用することが考えられる。

• 「レビュー実績工数」のデータの見方
• 設計工程のレビュー実績工数と、工程別レビュー実績工数比率の基本統計量を以下に示す。

データ白書2010-2011

P209、図表8-3-1

ページあたりの基本設計レビュー実績工数の基本統計量（新規開発）

データ白書2010-2011

P211、図表8-3-6

工程別レビュー実績工数比率の基本統計量

• 「レビュー実績工数」のデータの活用

　ゾーン分析での活用例：

• レビュー量とレビュー指摘の適切性の評価　レビュー工数密度とレビュー指摘密度の双方を合わせた視点　から品質を分析し、傾向性を読み取る。
• ゾーン分析の目標範囲（目標の上限と下限）の参考　基本統計量の分析結果を参考にする。ただし、P25、P75を　直接指定するのではなく、策定の際の参考情報とする。

レビュー指摘密度

（件/ページ）

例）

　ページあたりの基本設計

　レビュー実績工数の

　基本統計量を参考に

　策定する。

P25

P75

上限

下限

レビュー工数密度

（人時/ページ）

下限

上限

• 「テスト工程別のテストケースと検出バグ数」について
• 結合テスト、総合テスト（ベンダ確認）の２工程について、規模あたりと工数あたりのテストケース数、検出バグ現象数、検出バグ原因数、及び規模あたりのテスト工数を示している。
• ８．４　①規模あたりのテストケース数と検出バグ数
• ８．４　②規模あたりのテスト工数
• ８．４　③工数あたりのテストケース数と検出バグ数

• 「規模あたりのテストケースと検出バグ数」について
• データ白書では以下について示している。
• 結合テスト及び総合テストにおける規模あたりのテストケース数　（テストケース密度）
• 規模あたりの検出バグ数（検出バグ密度）
• テストケース数や検出バグ数の予測・見積りに利用する。
• 基本統計量にある中央値の利用
• P25、P75を上下限値として、妥当性確認に利用
• テストケース密度と検出バグ密度を利用した、ゾーン分析にによる品質管理。

• 「規模あたりのテストケースと検出バグ数」のデータの見方

　結合テストと総合テストのデータの見方：

• 結合テストと総合テストを横並びにすることで、双方の関係として、傾向を見ることができる。
• 結合テストケース数は総合テストケース数の約４倍弱と見える。

FP 規模あたりの

テストケース数　

（全開発種別）

箱ひげ図

FP 規模あたりの

検出バグ数

（全開発種別）

箱ひげ図

データ白書2010-2011

P212、図表8-4-1

データ白書2010-2011

P212、図表8-4-2

• 「規模あたりのテストケースと検出バグ数」のデータの活用
• ゾーン分析によるプロダクト品質予測の活用例
• 結合テストケース密度の上下限値と、結合テストバグ密度の上下限値について、基本統計量のP25とP75を参考に策定。

FP 規模あたりのテストケース数、検出バグ数の基本統計量（新規開発、IFPUG グループ）

データ白書2010-2011

P214、図表8-4-8

バグ密度

（件数/KFP）

直接設定するのではなく、

あくまでも上下限値の

策定時に参考と

している例。

上限

下限

テスト密度

（ケース数/KFP）

下限

上限

• 「規模あたりのテスト工数」について
• データ白書では、結合テスト及び総合テストにおける規模あたりのテスト実績工数を基本統計量により示している。
• 基本統計量にある中央値を目安に、測定した規模から、テスト工数の見積りに利用することが考えられる。
• テスト工数の妥当性確認の目安として利用することが考えられる。

• 「規模あたりのテスト工数」のデータの見方・活用

　留意点：

• 規模や工数の単位あたりのテストケース数や検出バグ数を利用して見積りなどに利用する場合、その単位量が倍になっても、テストケース数や検出バグ数が倍になるかは、他の分析結果を多角的に見て判断する必要がある。
• 規模、工数、テストケース数及び検出バグ数のそれぞれの関係から予測や妥当性確認に利用するとよい。

テスト

ケース数

検出

バグ数

規　模

工　数

• 「工数あたりのテストケース数と検出バグ数」について
• 結合テスト及び総合テストにおける工数あたりのテストケース数と、検出バグ数について、箱ひげ図と基本統計量により示している。
• 基本統計量にある中央値から、テスト工数からみたテストケース数の見積りや、実際のテストケース数の妥当性の確認に利用されることが考えられる。
• 同様に、テスト工数から見た検出バグ数の目標値の策定や実際に検出したバグ数の妥当性の確認に利用されることが考えられる。
• 結合テストと総合テストの両方の工程を横並びで見ることで、工程間の推移により、妥当性の確認に利用されることが考えられる。

• 「工数あたりのテストケース数と検出バグ数」のデータの見方・活用

　留意点：

• 検出バグ数には現象数と原因数がある。
• 原因数を推奨しているが、原因数が特定できない場合もあり、その際は現象数を分析対象としている。
• そのため、原因数のデータ件数は現象数に比べて少なくなっており、現象数により分析している状況である。
• ただし、現象数と原因数のデータが提出されているプロジェクトはそれらの重なりが少ない。

（１章～５章）

　６章　工数、工期、規模の関係の分析

　７章　信頼性の分析

　８章　工程別の分析

　９章　生産性の分析

１０章　予実分析等

• 生産性の分析について
• 生産性データの傾向を把握することで、見積りや計画の妥当性の確認、実績の評価などに利用することができる。
• データ白書では、生産性の傾向などを掴むため、以下の層別による分析を行い、基本統計量を示している。
• 規模別、業種別、アーキテクチャ別、主開発言語別
• プラットフォーム別、月あたり要員数、外部委託比率
• 信頼性要求の高さ
• 規模別・業種別、規模別・チーム規模別
• 業種別生産性と発生不具合密度
• 規模とPMスキル

• 「生産性の分析」のデータの見方（１）
• 規模と生産性の傾向　新規開発、IFPUGグループ：規模と生産性

　データの関係性：

• 規模を1000FP未満と1000FP以上に層別すると、後者のグループの生産性は前者より低い。
• 小規模では生産性のばらつきが大きく、大規模では生産性に上限があるように見える。

FP規模別FP生産性

（新規開発、IFPUGグループ）　箱ひげ図

FP規模とFP生産性（新規開発、IFPUGグループ）

データ白書2010-2011

P235、図表9-1-6

データ白書2010-2011

P235、図表9-1-5

• 「生産性の分析」のデータの見方（２）
• 月あたりの要員数と生産性の傾向　新規開発、IFPUGグループ：月あたりの要員数と生産性

　データの関係性：

• 要員数が１０人以上の場合、FP生産性は要員数１０人未満に比べてかなり低い。（大人数の開発体制では、生産性に上限があるように見える）

月あたりの要員数別FP生産性

(新規開発、IFPUGグループ)　箱ひげ図

月あたりの要員数とFP生産性(新規開発、IFPUGグループ)

データ白書2010-2011

P242、図表9-1-20

データ白書2010-2011

P243、図表9-1-21

• 「生産性の分析」のデータの見方（３）
• 業種と生産性の傾向生産性の差の分析（例）：業種別生産性

[FP/人時]

業種による生産性の差が見られる

製造業

＞　金融・保険業

データ白書2010-2011

P23７、図表9-1-8

製造業と金融・保険業の比較（新規開発）　　（データは中央値）

「金融・保険業」は他の業種と比べて生産性が低いと読み取れるが、規模や体制の他にも

業種、言語など多くの要因が影響しており、生産性の単純比較はできない。

• 「生産性の分析」のデータの活用
• ある局面において、これまでの実績工数とプロジェクトの規模から生産性を算出する。
• 収集した定量データの規模と工数の相関から、プロジェクトの規模に対応する工数（統計値）を求め、生産性を算出する。
• 両者を比較し、乖離の度合いとその原因を調べ、妥当性を評価する。

　留意点：

• 工数と開発規模の相関関係やデータ領域を考慮し、自己の生産性の位置がどの領域にあるかにより、生産性効率を評価する。
• 収集したデータの特徴、傾向を把握し、活用することが重要。

• 【参考】：信頼性要求のレベルと生産性

　信頼性要求レベルが高い方が生産性は低い傾向がある。

　　　　要求レベル（信頼性）別FP生産性箱ひげ図（新規開発、IFPUGグループ）

　　　　要求レベル（信頼性）別FP生産性箱ひげ図（改良開発、IFPUGグループ）

データ白書2010-2011

P248、図表9-1-29

データ白書2010-2011

P261、図表9-1-55

　　　　要求レベル（信頼性）別SLOC生産性箱ひげ図（新規開発、主開発言語グループ）

　　　　要求レベル（信頼性）別SLOC生産性箱ひげ図（改良開発、主開発言語グループ）

データ白書2010-2011

P272、図表9-2-23

データ白書2010-2011

P285、図表9-2-47

（１章～５章）

　６章　工数、工期、規模の関係の分析

　７章　信頼性の分析

　８章　工程別の分析

　９章　生産性の分析

１０章　予実分析等

• 予実分析について（１）

　計画と実績の分析について：

• データ白書では、規模、工期、工数などについて計画と実績の差の分析結果を示している。
• 各実績データが計測されているプロジェクトのうち、基本設計完了時点での計画時の見積り値と、実績値の記録があるプロジェクトを対象として、差を分析している。
• 実績が計画に対してどれだけ増加したか算出した比率計画超過率　＝　（実績値－計画値）／計画値の分布を明示している。
• 計画値と実績値の関係を散布図で表し、その回帰直線と、計画値と実績値が同じ場合の直線を明示することで、超過状況を見て取れる分析を行っている。

• 予実分析について（２）

　計画と実績の差のイメージについて：

• 予実差の程度や傾向を見出すことで、実績値からなる統計データに対して、変動を見込む目安として利用されることが考えられる。
• 規模、工数、工期の超過の傾向（計画と実績の差のイメージ）
• 計画値は「基本設計の開始」時点の値
• 実績値は「プロジェクト終了後」の値

• 「予実分析」のデータの見方

　実績工数は中央値で2.9%、超過傾向があり、-3%～+24%で変動している。（P25～P75幅）　

超過率 ＝｛実績値 - 計画値｝÷計画値

FP規模の計画と実績の差の比率の分布

工期の計画と実績の差の比率の分布

データ白書2010-2011

P293、図表10-1-13

データ白書2010-2011

P288、図表10-1-4

工期中央値0％

FP規模

中央値0.0％

工数の計画と実績

工数の計画と実績の差の比率の分布

データ白書2010-2011

P291、図表10-1-10

工数

中央値2.9％

データ白書2010-2011

P291、図表9-1-8

• 「予実分析」のデータの活用
• 規模・工数・工期ともに超過傾向だが、実績工数が他より大きい

　留意点：

• あくまでも傾向を示すものである。
• 計画などに際して、規模や工数、工期の変動をどの程度見込むかは、それぞれのプロジェクトの特性を考慮して判断する。

　利用イメージ・事例：

• 実績と計画の差を検証してプロジェクトの評価を行ない、以後の計画や開発に反映する。

例）　実績がオーバーする傾向のプロジェクトの特徴

• 要因として、要件定義に問題がありそうだと評価されれば、さらに課題を深堀し、改善していく。