measuring community development: moving beyond jobs and investment

Measuring Community DevelopmentMoving Beyond Jobs and Investment

Norman Walzer and Andy Blanke

Presented to

2013 Community Development Society MeetingsCharleston, SCJuly 24, 2013

Presentation Overview

• Theoretical Framework and Principles

• Historical Interest in and Reasons for Measurement 

• Key Components Involved

• Major Approaches ‐ Strengths and Limitations Universal

Contingent on Local Conditions

• Examples of Successful Approaches Based on Principles

• Needs for Future Research and Practice

• Pending Journal of Community Development Issue

Indicators

Relevant Cost‐Effective Diversified

Strategic Plan

Measurable goals Stakeholder support

Policy Priorities

Social Economic Environmental

Policy

improvem

ent

Policy implementation

Policy formation

Outcome Measurement Framework

Key Measurement Concepts (Hart, 2012)

• Goal‐‐ change desired by community

• Indicator‐‐ measures progress toward goals

• Levels of indicators

SystemE.g. Percent in poverty

ProgramE.g.  Number of clients 

ActionE.g. Number of housing units 

built

Successful Indicators*

• Validity‐ sound data depicts real situation• Relevance‐ pertinent to  community issue• Consistent and Reliable‐ can be used over time• Measurable‐ can be obtained for community• Clarity‐ unambiguous and understandable• Comprehensive‐ represents many parts of issue• Cost‐effective‐ relatively inexpensive to collect• Comparable‐ sufficient general to allow city comparisons• Attractive to media‐ gain exposure and discussion

*Rhonda Phillips. Community Indicators. American Planning Association, Report 517

Ongoing challenges

• Cost‐effectiveness vs Relevance State/national sources 1 year behind

Local quantitative studies are expensive

• Relevance vs ComparabilityCommunities have unique goals

Need benchmarks, best practices

• Cost‐effectiveness vs ComparabilityCase studies not generalizable

Local quantitative studies are expensive

Models of Measurement

Universal Contingent‐Independent Contingent‐ Facilitated

• Quantitative focus

• Common goals 

• Comparable

• Secondary data

• Technical assistance 

from larger organization

• Unique goals

• Not comparable

• Own strategic plan and 

consultants

• Qualitative and 

quantitative

• Primary and secondary 

data

• Unique goals

• Limited comparability

• Technical assistance 

from larger organization 

• Qualitative focus

• Mostly primary data

Trends in Measurement Practices

• 1960’s ‐ quality of life measures nationally• 1970’s ‐ quality of life locally in CA and NY• 1980’s & 90’s

Sustainability in SeattleBenchmarking economic development in Oregon

• 2000’s ‐ application to rural communities• Recent years‐ growing technical assistance

Developmental modelsFocus on SustainabilityMeasuring community wealth

• Growing Interest by Foundations in Measuring Investment Outcomes

Early Interest by Nonprofit Sector*

• Financial Accountability

• Program Products or Outputs

• Adherence to Standards of Quality in Service Delivery

• Participant‐related Measures (need)

• Key Performance Indicators

• Client Satisfaction (not instituted until later)

* Margaret Plantz, Martha Taylor Greenway, and Michael Henricks. 1997. “Outcome Measurement: Showing Results in the Nonprofit Sector.” New Directions for Evaluation, no. 75.

Success MeasuresNeighborworks USA

• National Grant‐making Organization• Provides Online toolkit• 122 possible indicators

Social, environmental, economic Local choice   Survey guides/templates State/national sources    

• Used by 300 organizations in 48 states • Common use ‐ housing programs

Changes in property values Survey satisfaction w/ home quality, safety

• Strategic plan ‐ choose own indicators• Cost‐effective ‐ technical assistance

Youthscape Initiative in Canada

• Engage youth in 5 cities• Hired evaluators 

Participant observation Frequent interviews w/ clients, employeesID successes, concerns 

• Monthly conference calls5 local evaluators reportNational coordinator looks for patterns

• Quarterly reports• Cost effective

Technical assistanceUpdated quickly Enables quick corrections (eg:  replace problem employee) 

Vibrant Communities CanadaTamarack Institute for Community Engagement 

• Poverty reduction in 13 cities• 3‐part process: 

Local theory of change (strategic plan)

Stories about progress (process indicators)

Semi‐annual report‐ # clients served, partner orgs., program narrative (systems indicators) 

• Refine goals with client input (policy improvement)• Cost‐effective ‐ simple to measure

Minnesota CompassWilder Foundation

• Dashboard for Minnesota counties• Indicators chosen by business leaders, academics, local 

officials. Relevant to policy goals

Clear meaning

• Outcomes before/after program 1995‐2010

• For other counties In progress:  custom geographies

• Social, environmental, economic focus Eg. transportation, economic disparity, air & water quality  

Central Appalachian Network(Ohio, Kentucky, Tennessee, Virginia, West Virginia)

• Strategic plan for improving quality of life for farmers • 7 forms of capital

Intellectual‐ stock of knowledge, creativity, innovation

Social‐ new relationships‐ restaurants putting local food on menus

Built‐ freezing facilities built to aid farmers (economic)

Natural‐ acres of farmland preserved (environment)

Political – stock of power ands goodwill held in region

Financial‐ growing farm income (social, economic)

Cultural‐ influences ways how people define and approach issues

• Cost‐effective Secondary sources for economic Indicators

Case studies for social capital

Indicators collected as part of operations

Summary

• Plan must come first Define goals Gain support

• Smaller organizations need technical assistance Current data sources Guides/templates Consultants

• Be qualitative when measuring processMore timely Case studies

• Use quantitative measures when measuring outcomes  Identifies problems, results 

• Conduct research to understand indicators and policy intervention

For Additional Information 

Norman Walzer Andy BlankeSenior Research Scholar Research Associate

Center for Governmental Studies148 N. Third StreetDeKalb, IL 60115www.cgs.niu.edu