Lecture Software process improvement: Lesson 30A - Dr. Ghulam Ahmad Farrukh

Software Process Benchmarks
Lecture # 30­A

1

1


Benchmarks
• Benchmarks
–
–
–
–
–

Standard
Yardstick
Target
Scale
Point of reference

2

2


Software Benchmarks
• Benchmarks compare a company against 
industry norms

3

3


Software Benchmarks
• Benchmarks collect quantitative and 
qualitative data on a number of important 
topics, including investments, staffing 
levels, development schedules, staff efforts, 
costs, quality, and customer satisfaction
• All of these factors are related to software 
process improvement initiatives
4

4


Software Benchmarks
• Benchmark studies often include 
supplemental information on specific tool 
suites, programming languages, and formal 
methods utilized
• Thus, benchmark studies and assessment 
studies overlap to a degree

5

5

Software Benchmarks
• Benchmarks are primarily comparisons 
between a specific company and other 
companies in the same kind of business

6

6


Software Benchmarks
• Benchmark studies or comparisons of 
quantitative data are older than the software 
industry. Indeed, comparisons between the 
companies have been taking place for 
centuries. E.g., studies of market shares, 
staff compensation levels, executive pay, 
and customer satisfaction have long been 
performed
7

7


Software Benchmark
• Software benchmark is a formal comparison 
of software methods and results against 
those of other organizations

8

8


Software Benchmarks
• Software benchmarks can be traced back to 
the 1960s, when studies of data center 
performance and downtimes started to be 
performed
• These were soon followed by corporate­
level studies of investments in information 
technology, compensation studies of 
software personnel, and studies of software 
schedules, cost, and process
9
9


Software Benchmarks
• Within the software industry, there are a 
number of levels of benchmark studies that 
have been noted to occur
• It would be a good idea to consider the 
various kinds of benchmarks

10

10

Macroeconomic Benchmarks
• Macroeconomic benchmarks are concerned 
with very large­scale issues such as impact 
of computers and information technology 
on economic health of nations and 
industries
• Macroeconomic benchmarks are usually 
performed by national governments and 
sometimes by economists or universities
11

11


Economic Benchmarks
• Economic benchmarks are concerned with 
topics such as whether investments in 
computers, software, factory automation, or 
process improvement benefit the 
profitability and market shares of 
companies that spend more than others
• Productivity paradox
12

12


Economic Benchmarks
• Economic benchmarks are performed by 

economists, universities, and by 
management consulting groups

13

13


Corporate IT Benchmarks
• Corporate information technology 
benchmarks deal with a host of interesting 
comparisons among companies
• Some of the comparisons that are studied 
under corporate benchmarks include
– Percent of corporate employees in IT
– Number of user supported per staff member in 
IT
14

14


Corporate IT Benchmarks
– Annual corporate spending for computer 
hardware equipment
– Revenues per IT employee
– Sales volumes correlated to IT expenses
– Profitability correlated to IT expenses
– Average salaries for IT workers
– Number of specialist occupations employed 

within IT
– Corporate revenues per IT worker
15

15


Corporate IT Benchmarks
• IT benchmarks are produced by many 
universities, by consulting organizations, 
and sometimes by universities and 
consultants together
• Corporate benchmarks are also produced by 
software journals such as the annual 
software compensation and salary levels 
published by ComputerWorld
16

16


Customer Satisfaction 
Benchmarks
• Customer satisfaction benchmarks also 
predate the computer era and can be traced 
back more than 100 years. In the context of 
software applications, customer satisfaction 
surveys for specific products are often 
carried out by the vendors themselves
• However, comparative benchmarks 

between classes of similar products require 
more extensive data
17
17


Project­Level Benchmarks
• Project­level benchmarks for software have 
been carried out since the 1970s

18

18


• With hundreds of companies performing 
scores of benchmarks it is not surprising 
that there are many variations in how the 
work is performed

19

19


Benchmark studies
• Benchmark studies can be carried out in a 
variety of ways, including
– Blind studies in which none of the participating 
companies are identified

– Hybrid studies with a mix of named and unnamed 
participants
– Open studies in which all participants are aware of one 
another
– Targeted studies between two specific companies
– General studies between one company and industry 
averages
20
20


• Benchmarks by means of mailed/e­mailed 
survey instruments
• Benchmarks by means of telephone surveys
• Benchmarks by means of on­site interviews

21

21


Software Benchmark Analysis
• The goal of a software benchmark analysis 
is to show clients exactly where they stand 
in the context of their own industry
• Normally, clients care about the average 
results from their industry, but care more 
about best­in­class results
• Simply placing the client against the 
background of their industry is not enough

22

22


• A good benchmark should also uncover 
information on why the results are the way 
they are
• Also, because benchmarks are precursors to 
process improvement programs, the 
benchmark should indicate some of the 
steps that might be needed to improve the 
client’s standing against data
23

23


Following slide to be inserted
Basic Sequence of Software 
Benchmarks

24

24


Basic Sequence of Software 
Benchmarks

25