what works! summit · 2015. 10. 13. · 2013 led by governor nathan deal (r): reduce reliance on...

Children’s Services Council of Palm Beach County

September 30, 2015

Clay YeagerSenior ConsultantEvidence Based Associates

What Works! Summit

“Introduction to Evidence‐Based Programming”

What Works!

“If you don’t know where you’re going, you might wind up someplace else.”

Yogi Berra (1925‐2015)Baseball player, Prophet andUnintentional World Philosopher 

(Or)

‘Television is just a passing fancy, nothing but a vast empty wasteland’

Newton Minow, Chairman of the Federal Communications Commission, 1955

‘Then there are those pushing computers into schools’ 

Clifford Stoll, Computer expert in ‘The Internet? Bah!’, Newsweek, 1995

‘It is hard for us to think of two sadder words than juvenile delinquency. They speak of wasted youth and they speak of worried families….too often they speak of reformatories that do not reform the child and do not resolve the problem.’    

President Lyndon B. Johnson, 1968 Remarks upon signing the Juvenile Delinquency Prevention and Control Act of 1968, July  1968

What Goes Around….

“The rehabilitative efforts that have been reported so far have had no effect on recidivism…. present strategies cannot overcome, or even reduce, the powerful tendencies of offenders to continue in criminal behavior” 

Robert Martinson, in ‘What Works?’, published in The Public Interest, 1974

Nothing Works!

Then ANYTHING is worth trying!

If NOTHING Works!

Scared Straight  Boot camps  Wagon trains ‘Just Say No’  Tough Love Diet and nutrition programs DARE in schools Horse therapy programs Drama therapy Talk therapy Hip Hop therapy And more……

The Era of Miracle Cures and The Quick Fix

Fads and Fallacies in JJ Over Time

Inflaming rhetoric

Creating public fear and panic

Find the quick fix

1990’s: The Perfect Storm

‘America is now home to thickening ranks of juvenile 'super predators' ‐‐ radically impulsive, brutally remorseless youngsters who are Godless, fatherless and jobless, leading to a ‘Crime Bomb’ flooding our streets’

John Dilulio, Princeton University, 1995

‘There will be blood in the streets!’

James Alan Fox, Criminologist, Northeastern University, 1996 

“Brace yourself for the coming generation of `super‐predators,’ imputing criminal tendencies to infants not yet out of their diapers”

Rep. Bill McCollum (R‐FL), House of Representatives, April 1996 

Setting the Stage

Mid‐1990’s – nation rocked by crack cocaine, school shootings, images of violent juvenile crime, marauding gangs

Major issue in politics – federal and state

More police, enhanced enforcement & prosecution Removed judicial discretion, demonized young people

47 states revamped juvenile justice systems

Get tough policies prevailed: 

‘Adult crime, Adult time’ – ‘Zero Tolerance’

Juvenile Institutions: A Uniquely American Experience(Rates per 100,000 populations worldwide)

Japan – 0.1Italy – 11.3

France – 18.6Australia – 24.9Germany – 23.1

England & Wales – 46.8South Africa – 69.0

United States – 336

U.S./Europe Rate of Incarceration(per 100,000 population)

67

73

77

82

98

100

105

108

148

707

Sweden

Denmark

Germany

Netherlands

Austria

France

Italy

Belgium

United Kingdom (England & Wales)

USA

How Did This Happen?

Hint: The answer is shockingly simple

We got here through a series of policy choices

• Choices made in our name by individuals we elected to office

• Maintaining the status quo, THE most powerful force in systems

• Permitting systems to know how much they spend, but not what they buy

Purchase ‘Services’, not OutcomesTraditional services are bought in the form of:Number of contacts Number of home visits Number of bed days Number of counseling sessionsAnd more…… 

Systems Know What They Spend…. But Not What They Buy

Successful program completionsMeasures of youth positive outcomes during the program 

Measured improved outcomes for youth‐family, school, community

Fewer family functioning problemsQuantified outcomes sustained over time  Improved public safety as measured by recidivism

Reduced costs to the taxpayers

Rather than Outcomes

1998Blueprints for Violence 

Prevention

The Introduction and Evolution of the Evidence‐Based Movement

“I don’t care what the science 

says. The amount of evidence 

I’ve made up in my own mind is 

irrefutable”

Reduces Wasteful Spending – funding is based on evidence, identifies and eliminates programs that fail to deliver results

Expands Successful Programs – funds programs that produce greater outcomes

Strengthens Accountability – focuses on outcomes, holds systems and agencies accountable for results

What is Evidence Based Policy ?

Categorize current programs by evidence of effectiveness

Incentivize use of evidence‐based programsRestrict or phase out funding of programs without evidence or those shown to be ineffective or harmful

Require use of evidence‐based programsDedicate funding to evidence‐based programs

A New Political Strategy

Kentucky – (SB 200): 

Defines ‘evidence‐based’, mandates agency to identify programs that meet the standard.

Phases in requirement over time for evidence‐based

Self funds expanded evidence‐based programs with savings from reduced residential placement costs

Political Leadership

Oregon (SB 267)

Requires gradual annual increases in funding to evidence‐based programs (25%‐50%‐75%‐100%)

Requires agencies to report the percentage of funding allocated to EBP’s every two years

Political Leadership

Mississippi (HB 677)

Establishes a ranking of programs: evidence‐based, research‐based, promising practices and lacking evidence

Requires agencies to catalogue and categorize ALL programs based on these standards

Political Leadership

Tennessee (Public Chapter 585)

Restricts use of funds to evidence‐based programs Increases funds to EBP’s from 25% to 75% over five years

To qualify for funding, programs must meet state‐defined standards 

Requires that funded EBP’s have implementation protocols

Must demonstrate positive outcomes in at least two independent evaluations

Political Leadership

Washington (HB 2536)

Requires established criteria for three standards of effectiveness: evidence‐based, research‐based, and promising practice

Requires compilation of programs that meet the standards

Requires agencies to report on extent their programs meet standards and identify gaps in services

Political Leadership

Florida – Redirection Project

Georgia – Juvenile Justice Incentive Grant Program

Moving from Theory to Practice

Legislative Initiative (2004): Florida Redirection Initial pilot expanded over time serving entire state supporting ONLY top‐tier EBP’s

Reduced felony and misdemeanor re‐arrest rates 

Reduced the rate of felony reconviction by 38%  Lowered the rate of subsequent commitment to DJJ, adult probation and adult prison by 33% 

Florida

2013 Led by Governor Nathan Deal (R): reduce reliance on costly and ineffective facilities

Grants to highest committing countiessupported ONLY programs with evidence

Set clear standards and expected outcomesGoal: Reduce placements by 15%, improve outcomes in youth and families

1st year outcomes: 62% reduction in placements

Georgia

62.0% 

84.4%  84.2% 79.6% 

76.1%  75.6% 72.9% 

70.1%  70.0%  68.6%  66.3%  65.3%  65.2%  63.6%  63.4%  61.5%  61.1%  60.7%  60.6%  58.9%  58.9% 55.3%  54.6% 

47.8%  47.0% 

39.0% 

18.2% 

8.3% 

‐6.7%  ‐15.2% 

‐20.0%

0.0%

20.0%

40.0%

60.0%

80.0%

100.0%

Reduction Percentages by Grantee Reductions in STP Admissions & Felony Commitments from 2012 Baseline 

(EBA Counties in Green) 

15% Reduction 

“The future ain’t what it used to be.”

Yogi (again)

"People are gonna look at photographs of this and swear it was photoshopped."

Become students again, stay current with the research and program registriesUnderstand the varying standards of evidenceConsider the available evidence base when choosing policy areaAvoid the latest fadsTrack the data: monitoring and outcome reporting Seek and secure political champions  Celebrate success

Our To Do List:

Play Ball! ‐Moneyball

Build evidence about programs that will achieve the best results

Invest taxpayer dollars in programs that use data and evidence to demonstrate they work; 

Direct funds away from practices, policies, and programs that fail to achieve measurable outcomes.

“Less than $1 out every $100 spent by government is backed by even the most basic evidence that the money is being spent wisely”. 

Strong evidence is not a fad…..nor a sound bite

It’s good policy

Good policy is good politics

“Facts are stubborn things; and whatever may 

be our wishes, our inclinations, or the dictates 

of our passion, they cannot alter the state  of 

facts and evidence.”                                  John Adams

Clay Yeagercryeager@comcast.net

717.870.2144