알기 쉬운 사회복지 프로그램 성과평가 매뉴얼...프로그램 사전-사후...

알기 쉬운 사회복지 프로그램

성과평가 매뉴얼

경기복지재단

발 간 사발 간 사발 간 사

현재 사회복지실천현장에서 일상적으로 활용 가능한 성과평가 매뉴얼이 부재한 실정

이다. 사회복지실천현장의 평가 및 성과평가에 대한 욕구의 증대에도 불구하고 보다

효과적이고 성과평가를 위한 가이드라인을 제시하는 매뉴얼 부재로 인해 실천현장에서

성과평가가 활발히 이루어지는 데 걸림돌로 작용하고 있다. 이러한 상황을 인식하여

본 매뉴얼은 경기도 내 사회복지기관에서 사회복지 프로그램을 기획하고 실천하며 평가

하는 일을 담당하고 있는 사회복지실천가인 사회복지사의 효율적인 성과평가 관리를

돕기 위해 작성되었으며, 이를 통해 경쟁력 있고 책임성 있는 사회복지 서비스 및 프로

그램이 구성되어 경기도 내 사회복지의 질을 향상시키고 주민들의 복지를 증진시키는

데 기여하고자 한다. 성과평가와 관련된 프로세스와 사례 중심의 매뉴얼은 매우 중요

하지만 사회복지 계에 아직 보편화되지 못했기에 본 매뉴얼 발간의 의미는 더욱 크다고

할 수 있다.

성과평가는 이를 위한 기술과 지식체계를 요구하는 분야로서 현장에서 일상적으로

사용하기 위한 매뉴얼은 매우 중요한 자원이 되고 있다. 이미 미국의 공동모금회, 해외

기업재단 또는 정부기관 등에서는 사회복지현장에서 사용 가능한 성과평가 매뉴얼을

작성하여 배포하고 보다 효과적인 성과평가가 이루어질 수 있도록 돕고 있다. 한국의

현실에서는 아직도 이런 노력이 부족하다 할 수 있고, 성과평가에 대한 중요성이 더

강조되어야 할 상황인 것 같다.

성과평가 매뉴얼이 왜 중요한지 그 중요성을 강조해 보면 다음과 같다. 첫째, 프로

그램 산출(output)보다 프로그램의 가치(value)를 측정해 이를 강조할 수 있다. 둘째,

기관들이 양적으로 프로그램을 측정하는 방법을 발달시키는 것을 도와줄 수 있다. 셋째,

적정한 간격으로 성과를 반복적으로 측정하는 것을 강조해 줌으로써 프로그램 진행과정

에서도 성과가 중요함을 알게 해준다. 넷째, 평가가 평가의 결과만을 강조하고자 하는

것이 아니라 성과를 추적하는 과정의 중요성을 강조할 수 있게 해준다. 다섯째, 프로

그램 성과를 측정함으로써 프로그램의 효과성을 증진시키고 외부적 책임성을 높이는데

기여할 수 있다.

국가 행정은 물론 비영리조직 운영에 책무성 향상을 요구하는 외부적 시각은 사회복지

조직에도 그대로 투영되고 있는 것이 사실이다. 사회복지조직의 운영에서 책무성을

향상시키는데 필요한 가장 핵심적인 과업은 결국 프로그램을 통해 클라이언트의 문제를

해결하고 결핍된 욕구를 충족시켜 그들의 삶의 질을 향상시키는 것이라 할 수 있다.

이러한 과업이 과학적이고 객관적으로 검증되는 방법은 결국 프로그램에 대한 성과

평가를 통해서 가능해질 수 있다. 성과평가는 사회적 책무성 향상의 핵심이라고 해도

과언은 아니다.

본 매뉴얼이 경기도 내 사회복지 현장의 사회복지사들에게 많이 활용되어 질 수

있기를 진심으로 기대하고, 사회복지사의 개인 역량 강화는 물론 기관의 책임성도 크게

향상시키는 데에 기여할 수 있으리라 생각된다. 경기복지재단이 의미 있는 과업의 첫

발걸음을 뗄 수 있어 매우 기쁘고, 마지막으로 이 매뉴얼을 제작에 참여해 준 집필진과

현장에서 관심을 가져준 이 매뉴얼을 활용할 수많은 사회복지사들에게도 진심으로

감사의 인사를 전하고 싶다.

2016년 2월

경기복지재단 대표이사

박 춘 배

Ⅰ. 성과평가의 개념 및 필요성

1

Ⅰ

성과평가의 개념 및 필요성

성과평가의 개념 및 정의1

성과평가에서 성과(outcome)는 무엇일까?

성과(outcomes)란 참여자들이 무엇을 알고 있는지, 무엇을 생각하고 있는지, 혹은

무엇을 할 수 있는지, 어떠한 상태에 있는지 등에 대한 궁금증을 확인하는 것과 관련이

있으며 프로그램을 통해 이러한 상태가 어떻게 변화하는지와 관련이 있다.

성과평가(outcomes evaluation)는 성과가 원래 목적한 바와 같이 얻어졌는지를

객관적으로 확인하는 과정이다.

[미국 공동모금회(United Way)의 정의]

우리는 성과평가를 다음과 같은 질문에 대한 답을 찾기 위해 진행한다.

- 사회복지사의 개입(intervention)에 의해 클라이언트의 삶의 질이 개선되었는가?

- 개입에 의해 클라이언트가 가진 문제의 양과 빈도가 줄어들었는가?

- 클라이언트의 위와 같은 변화에 우리의 개입이 주원인인가?

성과평가의 필요성2

1) 사회적 책무성(social accountability) 향상

- 제한적인 자원을 효과적으로 사용해야할 책임성과 의무가 있음

- 많은 수의 서비스 제공자, 정부, 그리고 기금제공자 혹은 공공기관들은 제공한

자원을 통해 실제로 원하는 변화가 이루어졌는지를 확인하고 싶어 함

- 서비스와 프로그램의 질을 보다 향상시키기 위해서, 프로그램을 조정하고 개선하기

위해서도 필요 함

2) 기획에 참고할 최선의 근거(best evidence) 확보

- 근거중심실천(Evidence-based practice)은 대상자의 욕구에 적용 가능한 기존 프로

그램들의 효과성을 검토하여 그 중 대상자의 욕구에 가장 적합하고 가장 높은 효과성을

보이는 프로그램을 선택하여 실천하는 것을 강조

3) 대상자 변화에 대해 정확한 판단이 가능

- 프로그램이 종료된 후 사회복지사는 프로그램이 끝난 후 참가자들이 좋아진 것을

목격한 후 이러한 변화가 프로그램 때문일 것이라고 쉽게 생각하기 쉬움

- 프로그램이 실제로 참가자들의 변화를 이끌어내는 데 직접적인 영향을 미쳤는지

여부는 변화 관찰만으로는 알 수 없는 특징이 있음

- 보다 정교한 성과평가에 대한 기술과 지식이 요구됨

[United Way(1996)의 정리를 바탕으로 정리함]

알기 쉬운 사회복지 프로그램 성과평가 매뉴얼

2

Ⅱ

매뉴얼의 용어 설명

용어의 정의1

1) 용어의 세부 정의

(1) 프로그램의 목표

이 매뉴얼에서는 프로그램의 목표를 성과목표와 산출목표 2가지로 정의하고자 한다. 성과

목표(outcome objectives)는 클라이언트의 변화를 의미하는 성과(outcome)를 프로그램

사업계획서에서 목표로 전환해 표현한 것을 말한다. 산출목표(output objectives)는

실천가의 개입 강도나 클라이언트의 노력의 총량을 의미하는 산출(output)을 프로그램

사업계획서에서 목표로 전환해 표현한 것을 말한다.

성과목표가 프로그램의 궁극적이고 최종적인 목표라고 한다면, 산출목표는 과정으로

서의 목표이고 활동의 총량이기 때문에 활동목표와 과정목표라는 용어를 사용하기도

한다.

(2) 성과(outcomes)

앞 장에서 이미 설명했던 것과 같이 성과란 프로그램 중간에 또는 종료 후에 프로그램

클라이언트인 참여자들이 프로그램 참여 전보다 감정, 느낌, 사고, 태도, 행동, 지위, 조건

등이 바람직한 방향으로 바뀌는 상태를 말한다. 성과에는 단기성과와 중기성과, 그리고

장기성과가 있으며 그 자세한 내용은 다음과 같다.

단기성과(short-term outcome)

클라이언트가 프로그램을 통해서 새로운 지식이나 기술을 습득하거나 가치나

태도가 변화된 경우를 말한다.

중기성과(mid-term outcome)

클라이언트가 프로그램에 지속적으로 참여하면서 의사결정이나 행동에 변화가

생긴 것을 말한다.

장기성과(long-term outcome)

클라이언트가 장기적으로 프로그램에 참여함으로써 사회적 지위가 향상되거나 삶의

조건이 개선된 경우를 말한다.

Ⅱ. 매뉴얼의 용어 설명

3

(3) 산출(outputs)

프로그램에서 실천가가 클라이언트에 대한 개입 활동의 총량을 산출이라고 한다. 프로

그램공급자 입장에서는 개입 활동의 강도를 나타내고, 수요자인 클라이언트 입장에서는

제공된 서비스나 노력의 총량을 나타낸다. 보통 성과와 구별하기 어려운 경우가 많지만,

성과라는 개념과는 명확하게 구별해야 한다.

(4) 평가(evaluation)

프로그램의 기획 및 실행과정을 점검하고 실행을 통해 목표 달성, 비용 효율성, 서비스

질, 파급효과 등이 적절했는지 점검하고 검토하는 활동이다. 보통 성과평가와 달리 과정

평가도 실천가에게는 매우 중요한 의미가 있지만, 본 매뉴얼에서는 과정평가는 성과

평가의 개념을 더 잘 이해하기 위해 개념만 정리하고 주로 성과평가를 중심으로 논의

하고자 한다.

일반적으로 성과평가와 과정평가는 다음과 같이 정리해 볼 수 있다.

성과평가(outcome evaluation)

클라이언트인 참여자들의 문제가 해결되었다거나 욕구가 충족되었다는 대체로

긍정적인 변화가 프로그램을 통해서 달성되었는지를 객관적이고 과학적인 근거를

토대로 확인하는 평가이다.

과정평가(process evaluation)

프로그램이 계획된 대로 추진되었는지를 점검하고 확인하는 평가로 클라이언트의

선발, 인적ㆍ물적 자원의 투입 여부, 개입방법의 적절성, 추진 일정 적정성, 예산집행의 효율성 등에 대해 피드백을 제공하는 평가이다.

(5) 영향(impact)

프로그램에 참여한 개인이나 집단에게 생긴 긍정적이고 바람직한 변화가 지역사회 전반

으로 확산되고 파급되는 것을 말하는 것으로 지역사회 차원의 문제가 해결되는 것을

말한다. 목표라는 측면에서는 영향목표로 표현되기도 한다.

(6) 성과측정(outcome measurement)

성과평가를 위해 구체적인 절차를 수행하는 것을 말하며, 프로그램의 성과가 무엇

인지를 결정하고 이를 측정할 도구를 찾아내 클라이언트의 변화 상태를 확인할 수 있는

자료를 수집해 그 결과를 분석하고 해석하는 전반적인 활동을 포함한다.

(7) 자료수집(data collection)

클라이언트의 바람직한 변화 상태를 의미하는 성과와 관련이 있는 정보나 증거를


4

프로그램이 진행되기 전부터 프로그램이 종료될 때까지 확보하는 작업을 말한다.

(8) 성과측정도구(outcome measurement instrument)

성과측정도구는 클라이언트의 변화를 측정하는 계량화된 도구를 의미하는 양적 성과

측정도구인 수량집계, 표준화척도, 기능수준척도, 클라이언트만족도 등이 있고, 클라이

언트의 변화를 관찰이나 심층면접을 통해 측정하는 질적 성과측정도구가 있다.

수량집계 : 단순하게 프로그램 참여 후 질적인 변화를 보인 클라이언트 수를 세는

형식의 양적 성과측정도구

표준화된 척도 : 표준화된 척도를 활용하여 클라이언트의 질적인 변화를 사전-

사후로 구분해 측정하는 양적 성과측정도구

기능수준척도(LOF) : 표준화된 측정도구가 없을 때 클라이언트 수준의 변화를

프로그램 사전-사후 구분하여 측정하는 양적 성과측정도구 및 자료수집방법

클라이언트 만족도 : 프로그램 전반에 대한 질을 클라이언트가 프로그램 진행

과정을 통해 주관적으로 얻게 된 만족 수준으로 측정하는 양적 성과측정도구 및

자료수집방법으로 원칙적으로는 성과를 측정하는 도구는 아니지만 대체로 성과를

간접적으로 확인할 수 있는 도구로 인정

질적조사도구 : 프로그램 참여를 통해서 클라이언트가 보이는 변화를 관찰, 노트

기록, 메모, 문서, 음성 및 영상 기록, 면접기록 등의 자료수집방법으로 활용하여

분석하는 질적 성과측정도구

사례를 통한 용어 해설2

성과평가와 관련된 용어를 보다 구체적으로 해설하기 위해 ‘학교부적응 빈곤 청소년의 밝은 미래를 위한 진로설계 프로그램’의 내용을 활용하고자 한다.

1) 프로그램의 목표

(1) 산출목표와 성과목표로 표현

산출목표는 클라이언트인 청소년들이 프로그램에 참여한다는 관점이나 제공자인

사회복지사가 실천방법을 활용해 클라이언트인 청소년들에게 세부 활동으로 제공

한다는 관점으로 표현할 수 있다. 프로그램에 참여한 청소년들이 실제로 활동한 총량

으로 표현하되 보통 활동 주기를 중심으로 주 단위, 월 단위, 연 단위로 기술한다.

Ⅱ. 매뉴얼의 용어 설명

5

성과목표는 클라이언트인 참여 청소년들의 긍정적인 변화라는 측면에서 진로결정

능력이 부족했던 청소년들이 진로결정능력이 향상되는 변화를 목표로 하는 것이다.

마찬가지로 진로결정 후 직업준비에 대한 행동이 증가되는 변화를 목표를 제시

하고 있다.

산출목표와 성과목표는 유기적으로 연계되어 있어야 하며 프로그램의 효과성을

평가하기 위한 주요 대상이 된다.

산출목표 및 성과목표 예시

산출목표 성과목표

진로탐색활동에 연 12회 참여한다.

프로그램 참여 청소년들의

진로결정능력이 향상된다.자기이해활동에 연 12회 참여한다.

직업체험활동에 연 22회 참여한다.

청소년 인턴십 체험활동 연 2회 실시한다. 프로그램 참여 청소년들이

진로준비행동이 향상된다.청소년 직업멘토(기관 및 직업인) 10개 발굴한다.

(2) 시간 흐름에 따른 성과(outcomes) 구분

현재 프로그램의 경우 단기성과 및 중기성과까지의 성과를 달성하는 것을 목표로 하고

있고, 장기성과는 더 장기적인 프로그램 수행을 통해 추가로 달성할 수 있는 성과로 단기

프로그램에 나와 있진 않는 장기성과의 예이다.

시간에 따른 성과 예시

성과 수준 성과 설명

단기성과 진로결정능력이 향상 지식이나 기술 측면의 변화

중기성과 진로준비행동이 향상 행동 측면의 변화

장기성과취업 성공

(또는 소득 발생)

사회적 지위 측면의 변화

(또는 삶의 조건 측면의 변화)

2) 평가(evaluation) 및 성과측정(outcome measurement)

평가는 성과평가와 과정평가로 나누어 고찰할 수 있으며 이에 대한 예를 구체적

으로 제시해보았다. 성과평가는 프로그램에 참여한 대상자의 변화를 측정함으로서


6

달성될 수 있는데 진로결정능력향상이라는 성과목표에 대한 평가를 위해 표준화된

진로결정척도(고향자, 1992)를 이용하여 프로그램 전ㆍ후 측정하여 점수를 비교하는 과정을 통해 대상자의 변화를 살펴볼 수 있다.

성과측정은 구체적으로 점수 결과를 비교 분석해 참여 청소년들이 진로결정능력과

진로준비행동이 향상되었는지를 확인하는 전반적인 절차를 말한다. 점수 비교

결과 대상자의 변화가 유의미하게 목표한 방향대로 변화하였다면 이는 최종적으로

진로결정능력향상 목표를 달성하였다고 볼 수 있으며 프로그램이 효과적이었다고

결론내릴 수 있다.

평가방법에 따른 평가 항목 및 평가 내용 예시

평가 방법 평가 항목 평가 내용

성과평가

진로결정능력 향상

진로결정척도(고향자, 1992)로 프로그램 참여 청소년을 프로

그램 시행 전과 후에 측정해 점수 비교해 향상 여부

개별 판단

진로준비행동 향상

진로준비행동척도(김봉환, 1997)로 프로그램 참여

청소년을 프로그램 시행 전과 후에 측정해 점수

비교해 향상 여부 개별 판단

과정평가

클라이언트의 적합성 평가 프로그램에 참여 청소년의 적합성 판단

수행 인력의 적정성 평가 사회복지사, 자원봉사자의 자격 및 전문성 확인

자원의 투입 적정성 평가직업체험가능기관(업체), 직업멘토기관(업체), 직업인멘토

등의 적정성 판단

추진 일정의 적합성 평가 계획된 일정 대비 추진 여부 확인

클라이언트의 참석률 파악진로탐색활동, 자기이해활동, 직업체험활동, 인턴십

체험활동 등 활동 참석 여부 확인

3) 영향(impact)

프로그램 및 개입을 통해 지역사회 차원의 파급효과가 있는 것을 영향이라고 한다.

예를 들어 ‘학교부적응 빈곤 청소년의 밝은 미래를 위한 진로설계 프로그램’이 교육지원청, 청소년상담복지센터 등과 협조체계를 구축해 지역 내 모든 빈곤청소년에게

직업결정능력 및 진로준비행동이 향상될 수 있는 지역사회 차원의 시스템이 구축

되는 되는 경우 프로그램의 영향이 크다고 할 수 있다.

Ⅲ. 성과평가 단계

7

Ⅲ

성과평가 단계

성과평가는 매우 구조적인 작업으로서 일련의 단계를 거쳐 이루어진다. 본 장에서는

현장에서 활용할 수 있도록 성과측정의 과정을 단계로 나누어 설명하고자 한다. 본 단계는

미국 공동모금회(1996)의 성과측정 단계인 8단계를 한국 실정에 맞게 7단계로 수정하였다.

각 단계의 특성 및 목표를 소개하고 각 단계에서 요구되는 과업(task)을 제시하였으며

이에 대한 이해를 돕기 위해 다양한 실전 예시를 제시하였다.

성과평가 전체 과정 개요1

성과평가를 위한 성과측정의 7단계 : 보다 세분화된 단계

성과평가 7단계1. 성과측정을 위한 준비

2. 측정할 성과 선택

3. 성과를 나타내는 지표의 구체화

4. 성과지표 측정을 위한 자료 수집 계획

5. 성과 측정(성과측정 자료 수집)

6. 측정결과의 분석과 보고

7. 성과측정 결과의 이용


8

성과측정의 7단계별 세부 내용2

[1 단계] 성과측정을 위한 준비 단계

성공적인 성과평가는 잘 짜여진 계획에서 출발한다고 해도 과언이 아니다. 준비하기

단계는 본격적인 성과평가를 진행하기 전에 밑그림을 그리고 계획을 공고히 하는 과정

이라고 볼 수 있다.

이 단계에서 필요한 과업은 다음과 같다.

Task 1 : 어떠한 프로그램을 실시할 것인지 결정하기

좋은 성과평가를 위해서는 무엇보다도 무엇을 하고 싶은지, 무엇을 보고 싶은지를 명확

하게 하는 작업이 미리 이루어져야 한다. 예를 들어 빈곤 청소년 진로관련 프로그램의

경우 진로설계, 진로지도코칭, 비전장학생, 진로네트워크 등의 세부 프로그램이 있다면,

이를 모두 진행할 수는 없기 때문에 그 중에서 기관의 상황, 대상자들의 욕구 등을 바탕

으로 진로설계 프로그램을 우선적으로 성과측정의 대상 프로그램으로 설정하는 등이 그

예이다.

Task 2 : 성과측정을 위한 팀을 구성하고 교육하기

다음으로 요구되는 과업으로는 성과측정에 필요한 팀을 구성하는 것이다. 성과평가에는

다양한 인력이 요구되는데 각 인력에 따른 역할과 기술이 요구되기 때문에 성과평가팀을

어떻게 구성할 것인지에 대해서도 미리 그림을 그리는 것이 필요하다.

일반적으로 현재 사회복지현장에서의 성과측정을 위한 인력 팀 구성은 내부 실무진과

외부평가자로 구성이 되며 그 예는 다음 와 같다. 프로그램 기획자와 프로그램 주

실행자는 동일한 사람일 수 있으며 프로그램 주 실행자가 보통 척도를 배포하고 척도

검사를 수행하는 등 성과측정을 위한 자료를 수집하는 역할을 수행한다. 하지만 프로그램

실행에 전념하기 위해 프로그램 보조 실행자를 성과와 관련된 자료를 수집하는데 역할을

부여할 수 있다. 보조 실행자는 동료 사회복지사이거나 프로그램 자원봉사자일 수도 있다.

내부 실무진으로 구성: 프로그램 기획자, 프로그램 주 실행자, 프로그램 보조

실행자, 내부 수퍼바이저

외부 평가전문가를 포함한 구성: 프로그램 기획자, 프로그램 실행자, 프로그램

보조실행자, 내부 수퍼바이저, 외부 수퍼바이저


9

Task 3 : 일정표(timeline) 개발

다음으로 요구되는 과업은 일정표를 개발하는 것이다. 선택된 프로그램과 프로그램을

둘러싼 조건 및 환경을 파악한 후 성과평가를 위한 타임라인을 결정해야 한다. 타임

라인을 결정하는 과정에서 다음과 같은 내용을 참조할 만하다.

프로그램 서비스가 종료되어야하는 명확한 일정이 있는지 확인하는 것이 필요하다.

펀딩에 따라서 혹은 기관의 회계일정에 따라 프로그램 서비스의 종료일정에 변화가

있을 수 있다.

프로그램의 기간의 특징이 영향을 미칠 수 있다. 일회성 프로그램인지, 단기 프로

그램인지 혹은 년 단위로 이루어지는 프로그램인지 등의 프로그램 특성이 요구

하는 기간에 따라 타임라인에 변화가 있을 수 있다.

프로그램 대상자의 일상특성에 따라 성과평가 타임라인이 영향을 받을 수 있다.

예를 들어 학교기반 프로그램의 경우 방학 때 대상자들의 성과평가를 측정하기는

대상자의 부재 혹은 접촉의 어려움으로 인해 지연될 수 있으며 휴가철 등에도

영향을 받을 수 있기 때문에 이러한 대상자의 일상특성에 따라 타임라인을 조정할

필요성이 있다.

현장에서 활용 가능한 성과측정을 위한 일정표는 와 같이 간트차트(Gantt chart)를 활용해 구성해 볼 수 있다.

성과측정을 위한 일정표 예시


10

Task 4 : 성과측정을 위한 일정을 주요 이해당사자(key players)들에게 배포하기

성과측정의 일정이 결정 난 후 이루어져야 할 과업으로는 결정된 일정과 역할을 팀과

공유하는 것이다. 성과평가 팀 및 주요 이해당사자들에게 관련 정보를 배포하여 모든

관련 대상자들이 이를 사전에 숙지하고 있을 수 있도록 돕는 과정이 요구된다.

[2 단계] 측정할 성과(outcome) 선택

이 과정의 목적은 가능한 다양한 성과 중에서 본 프로그램에 필요한 성과를 추려 선택

하는 데 있다. 구체적인 성과에 대한 개념은 다음과 같다.

프로그램 참여자들이 프로그램 참여시 혹은 종료 후에 얻게 되는 혜택(benefit)을

의미하는 것으로 보통 긍정적인 변화

다른 표현을 바꾸면, 참여자들의 문제가 해결되었다거나 욕구가 충족되었다는

표현 사용 가능

좀 더 구체적으로 그 변화를 살펴보면 참여자의 태토, 지식, 기술, 가치, 기능,

행동, 지위, 조건 수준의 변화를 언급하는 것

프로그램에서 궁극적으로 달성되어야 할 목표

성과는 시간단계별로 단기-중기-장기성과로 구분하여 살펴볼 수 있으며 그 구체적인

설명은 아래와 같다.

성과는 시간 흐름에 따라 단기성과(short-term outcome), 중기성과(mid-term outcome), 장기

성과(long-term outcome)로 구분해 볼 수 있다.

- 단기성과 : 주로 지식, 기술, 가치, 태도 등의 변화를 의미하는 것

- 중기성과 : 행동의 변화를 의미하는 것

- 장기성과 : 조건이나 지위의 변화를 의미하는 것

사회복지실천의 특성 상 보통 긍정적인 표현을 하는 것을 장려한다. 예를 들어 에 제시된 것과 같이 우리가 원하는 변화가 홈리스 클라이언트가 안정된 거주지를 찾는 것이라고 했을 때 이를 ‘홈리스 클라이언트가 길에서 밤을 보내는 날의 수’라는 부정적인 표현으로 표현하는 것 보다는 ‘홈리스 클라이언트가 쉼터를 찾는 것’과 같이 긍정적인 용어로 기술하는 것이 필요하다. 결국 바람직한 변화, 즉, 우리가 원하는 변화의

방향으로 기술해 주는 것이 좋다.


11

클라이언트 생활의 질적인 변화의 예바람직한 변화에 대한 예 바람직하지 않은 변화로부터 멀리하는 것에 대한 예

a. 상태 홈리스 클라이언트가 쉼터를 찾은 것 a. 상태 홈리스가 길에서 밤을 보내는 날의 수

b. 지위 실직상태의 클라이언트가 취업한 것 b. 지위약물중독 문제를 지닌 클라이언트가 실직

상태로 보내는 날의 수

c. 행동청소년 클라이언트의 수업 출석률이 증가한

것c. 행동

청소년 클라이언트가 학교에 결석하는 수의

감소

d. 기능 클라이언트의 대처 전략이 향상된 것 d. 기능클라이언트가 배우자와 싸우는 빈도수의

감소

e. 태도청소년 클라이언트가 규범과 교육에 대한

수용이 증가한 것e. 태도

사고를 일으키는 청소년 클라이언트 수의

감소

f. 느낌 클라이언트의 소속감이 증가된 것 f. 느낌클라이언트가 주어진 환경 속에서 느끼는

무력감의 감소

g. 생각 클라이언트의 자존감이 향상된 것 g. 생각클라이언트가 다른 인종에 부정적인 생각이

감소

출처 : 원저. Martin, L. L. & Kettner, P. M.(1996). Measuring the performance of human service

programs. CA: Sage Publications. 번역. 정무성(2000). 프로그램 성과평가. 서울: 나눔의 집. p. 121.

이 단계에서는 성과가 측정가능한가를 고민하는 것 보다는 필요한 성과의 목록을 작성

하는 것이 중요하다. 측정 가능한 성과를 규정하는 작업은 다음 단계에서 이루어지기

때문에 이 단계에서는 프로그램을 통한 대상자의 변화에 관련한 다양한 성과를 수집하는

데 집중하는 것이 필요하다.

이러한 목적을 바탕으로 본 단계에서는 다음과 같은 과업이 요구된다.

Task 1 : 다양한 소스로부터 프로그램 성과에 대한 아이디어 수집하기

프로그램 성과에 대한 다양한 아이디어를 수집하는 것이 본 과업에서 중요한 활동이라

볼 수 있다. 성과평가 팀의 다양한 아이디어와 의견이 도움이 되며 프로그램을 통해

대상자가 얻을 수 있는 변화의 다양한 측면이 반영되도록 하는 것이 중요하다.

이용 가능한 프로그램 성과에 대한 아이디어 소스는 다음과 같다 (United Way, 1996).

기관에서 진행된 기존 프로그램 자료를 검토하기

대상자들과 직접적으로 상호작용하는 동료사회복지사 혹은 자원봉사자들과 이야기

하기

주요 커미티 구성원이나 외부 자문위원 등과 같은 주요 관련인 들과 만나기

현재 또는 지난 프로그램 참여자들과 이야기하기


12

이 때 프로그램을 통해 얻어질 수 있는 긍정적인 효과 외에 부정적인 결과 역시 고려

하는 것이 중요한데 이러한 문제점을 프로그램 진행 동안 지속적으로 관찰하고 모니터

하여 부정적 결과를 최소화하기 위한 방안을 구성하는 데 주요 자료로 사용될 수 있다.

Task 2 : 프로그램을 위한 로직 모델을 구성하기

다음으로 중요한 것은 프로그램을 위한 로직모델 구성이다. 프로그램의 로직모델은

프로그램이 이론적으로 원하는 대상자의 변화를 위해 어떻게 작동하는지에 대한 설명으로

“만약~하면 ~하게 될 것이다 (If~then~)”라는 논리구조로 구성되어 있다. 이는 “투입(input)-활동(activities)-성과(outcomes)”의 기본 구조로 구성되어 있으며 로직모델은 프로그램 진행과정에 대해 그림을 그리는 데 도움이 되며 예측되는 대상자의 변화와 성과

등을 논리적으로 구성하는 데 도움이 된다. 또한 주요 프로그램 구성내용(components)을

확인하는 데도 도움이 되며 프로그램 효과성을 평가하는데 역시 중요한 논리적 밑그림

으로서 작동한다.

로직모델은 프로그램의 성과를 도출하는 데 매우 유용한 도구이다. 로직모델은 프로

그램에 대한 논리적인 가설을 제시하는 것으로 요약될 수 있다. 로직모델의 기본 구조는

과 같이 프로그램에 참여하는 클라이언트가 갖고 있는 문제나 결핍된 욕구를 프로그램 실행을 통해서 해결하는 것을 성과로 제시하는 기본 형태를 취하고 있다.

로직모델의 기본적인 구조

(1) 로직모델의 개념

로직모델(logic model)이라는 용어는 프로그램 기획 및 평가에 많이 사용하고 있는

개념으로 로직모델을 우리식 표현으로는 논리모형이라고 하는데, 프로그램에 대한 이론적

모형을 포괄적으로 제시한 하나의 틀이라 할 수 있다. 사회복지조직에서 활용되는 로직

모델은 사회복지조직의 활동, 즉 프로그램이 사회적으로 미치는 영향의 논리적 인과관계를

흐름도(flowchart)의 형태로 표현한 것으로 대체로 그림이나 도형의 형태를 띠고 있다.

이 모델을 활용하게 되면 사회복지조직은 사회복지 프로그램의 활동 과정(process)을

통해서 사회적으로 어떠한 영향(impact)이나 변화(change)를 도출해내는 지를 보여 줄

수 있다. 로직모델은 원래 1970년 미국의 Joseph Wholey 교수 등에 의해 개발된 성과

측정 및 관리모형으로서 조직 활동에 필요한 자원과 활동, 최종성과 간 인과관계를


13

도해 적으로 표현한 것으로 그 동안 영리기업, 공공조직, 비영리조직 등 모든 부문에서

널리 활용되어 왔다(이민홍ㆍ정병오, 2012).

(2) 로직모델의 내용 및 구성요소

로직모델은 평가에서 측정하고자 하는 요소들인 자원의 투입, 개입 활동, 산출 결과,

성과 간의 연속성을 도표화해 각 범주를 가로지르는 정보의 흐름을 요약하는 프로그램에

대한 논리적 가설이다. 로직모델의 내용에는 ‘우리가 갖고 있는 문제가 어떤 상황인가’, ‘우리가 하는 일은 무엇인가’, ‘그 결과 또는 성과는 무엇인가’라는 질문들 간의 관계를 연결시켜 놓은 것이다. 이러한 질문들을 ‘만약 ~이면, ~이다’의 소위 ‘IF-Then'구조의 논리적 연결 관계로 구성해보면, 다음과 같다.

- ‘이러한 문제가 있다면, 우리는 이러한 자원을 투입할 것이다’- ‘이러한 자원을 투입한다면, 이러한 활동을 할 수 있을 것이다’ - ‘이러한 활동을 한다면, 이러한 결과가 나올 것이다’- ‘이러한 결과가 나오면 이러한 성과가 날 수 있을 것이다’

로직모델을 보다 쉽게 이해하기 위해 우리가 일상생활에서 개인들이 어떤 문제가 발생

했을 경우나 욕구 결핍이 일어났을 때 우리는 그 문제를 어떤 방식으로 해결해야 할

것인지를 보여줌으로써 더 명확하게 할 수 있다. 예를 들어 의 경우를 통해 구체적으로 살펴볼 수 있다.

일상생활에서 우리가 두통으로 머리가 아파서 그 문제를 해결하기 위해 우리가 어떤

과정을 통해 접근할 수 있을 지를 정리해 볼 수 있다. 우리는 머리가 아프면 머리 아픈

상태를 해결하기 위해서 여러 가지 행동을 고려하게 된다. 보통 두통약을 먹는 것이지만,

어떤 사람은 잠을 청하기도 하고 산책을 할 수도 있다. 머리가 안 아프게 하기 위해서

우리가 취할 수 있는 선택 대안은 더 많이 있는 것이다. 하지만 우리가 경험적으로 가장

효율적이고 효과적인 방법이 두통약을 먹는 것이라는 것을 잘 알기 때문에 두통을 낫게

하려면 두통약을 먹는 활동을 결정하게 된다. 일단 두통약을 먹기로 결정하게 되면

우리는 두통약은 무얼 먹을지도 고민하게 된다. 그렇게 되면 우리는 머리가 아픈 원인에

대해서도 생각해보게 된다. 고열을 수반한 감기로 인한 두통인지, 치통으로 인한 두통

인지, 스트레스로 인한 두통인지도 생각해봐야 한다. 즉 문제가 나타난 원인에 대해서

고민하게 된다. 그리고 문제의 원인을 알아야지만 보다 정확한 문제 해결책을 제시할

수가 있는 것이다. 두통약을 복용하더라도 일반 진통제를 먹을 것인지, 소염진통제를

먹을 것인지를 결정해야 하는 것이다. 즉 문제의 원인에 대해서도 명확하게 분석을


14

해야지만 좀 더 명확하게 문제를 해결할 수 있고 문제 해결을 위해 필요한 자원에 대해서도

다르게 준비할 필요가 있는 것이다.

일상생활의 로직모델 적용

로직모델의 구성요소는 문제상황, 투입, 활동, 산출, 성과 등 5가지이다. 보다 구체적

으로 설명하자면, 와 같다. 로직모델을 5가지 구성요소를 기획의 과정을 중심으로 설명해보면, 문제상황, 성과,

활동, 투입, 산출의 순으로 설명이 가능하다(이민홍ㆍ정병오, 2012). 먼저 프로그램 기획의 출발점이라고 할 수 있는 클라이언트의 문제와 욕구를 의미하는 문제상황(situation)을

분석한 후 이를 뒤집어 주면, 즉 문제가 해결된 상황으로 전환시켜주면 성과가 무엇이

되어야 하는지 도출이 가능해진다. 여기서 성과는 문제가 해결된 상황이나 욕구가 충족된

상황을 말하는 것이다. 성과를 구체적으로 보면, 프로그램에 참여한 개인으로서 클라이

언트의 삶의 질이 개선되는 변화 상황이거나 지역사회로서 클라이언트 체계가 변화되는

상황을 말하는 것이다. 성과가 도출되면 그 성과를 달성하기 위해서 우리는 어떤 실천

방법이나 개입방법을 활용할 것인지를 결정해야 하는데 이것이 활동을 의미한다. 성과를

달성하기 위해서 다양한 활동이 존재하지만, 우리는 성과를 달성하는데 이론적으로나

경험적으로 가장 효율적이고 효과적인 방법을 선택해서 정해야 한다. 이렇게 활동이 결정

되면 이제 활동을 추진하기 위해 어떠한 인적, 물적 자원을 투입해야 할 지 결정해야

한다. 투입할 자원을 결정하고 마지막으로 활동을 어느 정도로 해야 할이지 그 강도나

총량을 결정해야 하는데, 이것이 바로 산출을 결정하는 것이다. 산출은 실천가의 개입

활동의 강도나 총량인데, 그 기준은 성과를 달성하기에 충분한 정도가 되어야 한다.


15

로직모델의 구성 요소

(3) 로직모델 사례

로직모델 사례 1

는 학교 부적응 빈곤 청소년의 진로설계를 위한 직업체험스쿨 프로그램을 로직모델로 표현한 것이다. 이 프로그램은 빈곤 청소년이 진로에 대한 비전이 불투명하고,


16

이로 인해 진로에 대한 결정에 어려움을 겪고 있으며, 그 결과로 직업에 대한 준비 행동을

하지 않는 것을 문제상황으로 확인할 수 있다. 이러한 문제상황을 극복하기 위해 진로

탐색활동, 직업체험활동, 직업인턴쉽 체험, 진로동아리활동, 진로 네트워크 구축 등의

활동의 기회를 빈곤 청소년들에게 제공하는 프로그램이다. 이를 위해 필요한 인적, 물적

자원의 투입 내용을 제시하고 있으며, 빈곤 청소년의 활동의 총량 및 실천가의 개입 정도

로서의 산출을 함께 제시하고 있다.

로직모델 사례 2

은 다문화가족 결혼이주여성들이 한국문화체험을 통해 적응력을 향상시키는 프로그램을 로직모델로 그려 본 것이다. 이 프로그램 기획의 출발점이라고 할

수 있는 문제상황을 분석해보면 한국어 실력이 미숙하기 때문에 가족이나 이웃과 의사

소통하는데 어려움을 겪고 있고 가족 내에서 서로 문화에 대한 이해 부족으로 문화적

이질감을 느끼면서 살아가고 있다는 것이다. 또한 이러한 의사소통의 문제와 문화적

이질감은 가정구성원의 갈등을 심화시키는 상황으로 발전하게 되는 문제를 갖고 있다는

것이다. 이러한 문제상황에 대한 진단이 이루어지면, 이 문제 상황을 뒤집어서 해결되는

상황으로 기술하면 성과가 도출이 된다. 즉 한국어능력을 향상시켜 의사소통 문제를 개선

하고 문화에 대한 이해도를 증진해 궁극적으로 가족갈등을 해소해 가족기능을 강화시키는

것을 성과로 도출할 수 있을 것이다.

성과가 도출되면 성과를 달성하기 위한 활동을 결정하게 되는데, 성과를 도출하는데

가장 효율적이고 효과적인 방법이 무엇인지 고민해 결정하는 것이다. 이 사례의 경우


17

한국어교육을 수준별로 진행하고, 선배이주여성을 활용한 멘토링 활동을 하고, 한국문화와

다문화를 서로 이해시키는 가족교육을 진행하며, 가족 갈등의 문제를 집중적으로 해결

하기 위해 가족캠프라는 방법을 선택한다. 활동이 결정되면 이 활동에 필요한 자원의

투입을 결정하고, 마지막으로 활동의 총량을 어느 정도로 할이지 결정하면 된다. 예를

들어 결혼이주여성들에게 한국어 실력을 향상시키기 위해 한국어교육을 실행할 경우 주

1회 1시간 정도하는 것은 통상적으로 그 효과를 보기 어려운 정도가 될 것이다. 적어도

주 3회 이상 꾸준히 교육을 해야지만 한국어 실력이 향상되는 성과가 달성될 수 있을

것이다.

Task 3 : 주요한 성과를 선택하기

앞 두 단계를 통해 우리는 프로그램을 위한 다양한 성과를 수집하고 이에 대한 목록을

만들었다. 하지만 현실적으로 우리가 수집한 모든 성과를 측정하고 활용하기란 쉽지 않다.

따라서 목록에 제시된 다양한 성과를 선택하는 과정이 필요한데 이 때 고려해야 할 사항

으로는 측정의 가능성, 시간적 여유, 인력, 재원 등이 있다.

모든 프로그램은 프로그램의 목적과 목표가 있다. 우리는 이 과업에서 우리가 제시한

프로그램의 목적 목표에 가장 적합한 성과를 골라내야 한다. 우선 중복되거나 딱히 다른

성과에 비해 중요도가 떨어지는 성과부터 골라내는 것이 도움이 된다. 이 때 장기적이고

단기적인 성과 모두 고르게 고려하여야 한다.

리스트에 있는 각 성과들을 검토한 후 다음과 같은 조건을 다시 한 번 검토하는 것이

필요하다.

프로그램의 결과(outputs)가 단기적으로 중기적으로 그리고 장기적으로 모두

논리적으로 잘 연계되어 있는가?

장기적 성과의 경우 대상자의 지위, 상태, 그리고 삶의 질에 있어 의미 있는

변화를 반영하는가?

프로그램의 부정적인 결과도 역시 고려하였는가?

사회복지 프로그램에서 성과 또는 성과목표는 프로그램 실행을 통해 결과적으로 달성

해야 할 클라이언트의 편익 증진이라는 책임을 다하는 것이라고 볼 수도 있다. 에서 보는 것처럼 다양한 프로그램에서 2~4개 정도의 성과를 제시할 수 있을 것이다.

프로그램에서 성과를 너무 많이 제시하는 것은 프로그램의 실행력을 담보하기 위해 서

바람직하지 않다. 성과목표의 개수가 4개를 넘어갈 경우 성과를 측정하기 위해 자료를

수집하는 과정이 많은 자원과 에너지를 소모하게 할 것이다. 실천가는 프로그램 실행과정

에도 많은 노력을 기울여야 하기 때문에 성과 평가에 모든 에너지를 쏟아 부어서는 안 된다.


18

프로그램과 활용가능한 성과(목표) 예시프로그램 활용가능한 성과(목표)

빈곤청소년 진로설계 프로그램

- 진로결정능력 향상

- 진로준비행동 향상

- 진로장벽 감소

독거노인의 정서적 지지를 위한 자조모임 프로그램- 사회적 관계망 향상

- 우울감 감소

알코올중독 예방을 위한 원예치료 프로그램

- 음주량의 감소

- 단주기간의 감소

- 신체 건강의 증진

- 알코올 의존도 감소

영구임대아파트 건강한 마을 만들기 프로그램

- 단지 내 쓰레기 투기량 감소

- 건전한 놀이문화 형성

- 주민의 공동체 의식 형성

자살 고위험 주민을 위한 연극치료 프로그램

- 삶의 만족도 향상

- 우울감 감소

- 자살시도 행동 감소

빈곤 청소년의 자원봉사동아리 프로그램

- 자아 존중감 향상

- 자기 주도성 향상

- 타인에 대한 배려심 향상

Task 4 : 로직모델과 성과목표에 대한 피드백

로직모델과 성과가 선택되었다면 이에 대해 피드백을 받는 것이 중요하다. 프로그램에

대해 제언을 할 수 있으며 성과를 잘 평가할 수 있는 사람, 그리고 프로그램을 진행하는

데 있어 중요한 사람들, 즉 동료 사회복지사, 내부 수퍼바이저, 외부 수퍼바이저, 평가

전문가 등으로부터 결정된 성과 및 로직모델에 대한 의견을 구하는 작업이 필요하다.

리뷰어들로부터 받은 피드백은 팀의 의논과 토론을 통해 로직모델과 성과목록을 공고히

하는 데 사용될 수 있으며 이 부분이 결정이 확실히 된 후 다음 단계로 넘어갈 수 있다.

[3 단계] 성과 측정을 위한 지표 구체화하기

3단계에서는 앞 단계에서 선택된 성과를 측정이 가능하도록 구체화하는 작업이 요구

된다. 본 단계는 다음의 과업들을 통해 이루어질 수 있다.

Task 1 : 각 성과에 대해 하나 혹은 그 이상의 지표를 구체화하기

성과평가를 진행하는 데 있어 중요한 것은 각 성과에 대한 어떠한 정보가 변화를 잘

보여주느냐 하는 것이다. 성과는 프로그램을 통해 얻고자 하는 변화라고 볼 수 있지만


19

아직 측정가능한 수준으로 설명이 되어있지 않다. 이를 측정가능한 수준으로 구체화해

주는 것이 바로 성과지표이다. 성과지표의 목적은 바로 원하던 성과가 획득되었는지를

알려주는 것으로 좋은 성과지표는 다음과 같은 특성을 지닌다.

관찰 가능하고 측정 가능한 특성을 지닌다. 또는 성과의 획득을 대표할 수 있는

구체적인 변화와 관련이 있다.

구체적인 통계(성과 획득과 관련한 숫자 혹은 퍼센트 등)를 통해 획득 정도

(level of achievement)를 계산할 수 있다.

어떠한 성과는 꽤 쉽게 관찰 가능하고 측정 가능한데 예를 들어 고등학교 졸업이나

혹은 취업 등이 그 예이다. 그러나 우리 사회복지의 대상자와 관련한 많은 성과들은 관찰

가능성이나 혹은 측정가능성에 어려움이 있는 경우가 많다. 예를 들어 삶의 질 개선을

어떻게 측정해야할까? 삶의 질이라는 다면적인 개념을 충분히 측정하기란 쉽지 않다.

사회복지실천의 대상자들의 경우 성과들이 일반적으로 다면적인특성을 지니고 있는

경우가 많다. 따라서 하나의 지표만으로는 성과의 측면을 충분히 반영하기 어려운 경우가

많다. 따라서 많은 경우 하나 이상의 지표를 통해 성과가 충분히 측정에 반영될 수 있도록

하는 경우가 많다. 또한 지표가 단순하다고 해서 이를 제외하면 안 된다. 지표의 단순함이

지표의 중요성을 결정하지는 않는 다는 것을 명심하여야 한다.

또한 지표는 반드시 관찰가능하고 측정 가능해야 한다. 지표를 구성할 때는 따라서

모호하거나 주관적인 용어보다는 객관적으로 관찰가능하고 측정가능한 용어로 기술하는

것이 좋다. 다음 유의사항을 잘 살펴보자.

○ 건강수준이 성과와 관련될 수 있지만, 관찰과 측정이 불가능하다면 지표로서 이용할 수 없다.

○ 지표들이 모호해서는 안 된다. ‘커다란’, ‘합당한’, ‘적절한’ 등의 주관적 용어는 객관적이지 못해서 모호성을 줄 수 있다.

○ 숫자로 표현되는 목표도 객관적이고 과학적인 기준이 없다면 모호해서 사용하지 않는 것이 좋다. 예를 들어 ‘참가자들이 최소한 4점의 발전을 나타낸다’보다는 ‘참가자들의 OOOO상태가 향상된다’로 표현하는 것이 더 좋다.

예를 들어 알코올 중독 예방을 위한 원예활동 프로그램을 구성하여 이 프로그램의 성과

평가를 위하여 3가지의 성과를 선택하였다. 음주량의 감소, 단주기간의 증가, 알코올 의존도

감소라는 세 가지의 성과는 아직 측정이 어려운 형태로 기술되어있다. 이를 측정 가능

하도록 성과를 구체화시키는 것이 성과지표인데 음주량의 감소라는 성과에 대해서 우리는


20

‘프로그램이 실시된 기간 동안 일주일간 음주량이 감소한 사람의 수와 비율’로 성과지표를 구성할 수 있다. ‘사람의 수와 비율’이 측정 가능한 용어로 설명되어있음을 알 수 있다. 음주량을 측정하는 것과 단주기간을 측정하는 것을 동시에 하는 것보다 둘 중 한 가지를

선택해서 성과(목표)로 결정해도 된다. 성과지표를 양적 평가방법인 표준화된척도, 질적

평가방법인 심층면접, 관찰 등 3가지 방법을 통해 표현했는데 중복해서 모두 사용하는

방법과 이 중에서 선택적으로 사용하는 방법이 가능하다.

알코올 중독 예방을 위한 원예활동 프로그램의 성과 및 성과지표성과 성과지표

음주량의 감소 프로그램이 실시된 기간 동안 일주일간 음주량이 감소한 사람의 수와 비율

단주기간의 증가 프로그램이 실시된 기간 동안 단주기간이 증가한 사람의 수와 비율

알코올 의존도 감소

프로그램 참여 전후로 알코올의존도를 확인하는 AUDIT 검사 점수가 낮아진

사람들의 수와 비율

심층면접 결과 알코올 의존도가 감소했음을 표현하는 사람들의 수와 비율

프로그램 진행 중 원예치료사 및 사회복지사가 관찰한 결과 알코올 의존도를

보여주는 행동을 관찰한 사람들의 수와 비율

을 통해 알코올 중독 예방을 위한 원예활동 프로그램의 성과와 성과지표의 예를 볼 수 있고, 또 다른 예로 빈곤청소년 진로설계프로그램의 성과 및 성과지표 예를

를 통해 살펴 볼 수 있다.

빈곤 청소년 진로설계프로그램의 성과 및 성과지표성과 성과지표

진로결정능력이 향상 프로그램이 실시된 기간 동안 일주일간 음주량이 감소한 사람의 수와 비율

진로준비행동이 향상 프로그램이 실시된 기간 동안 단주기간이 증가한 사람의 수와 비율

취업 성공

(또는 소득 발생)

프로그램 참여 전후로 알코올의존도를 확인하는 AUDIT 검사 점수가 낮아진


심층면접 결과 알코올 의존도가 감소했음을 표현하는 사람들의 수와 비율

프로그램 진행 중 원예치료사 및 사회복지사가 관찰한 결과 알코올 의존도를

보여주는 행동을 관찰한 사람들의 수와 비율


21

이 밖에 다양한 프로그램에 대한 성과와 성과지표의 예를 를 통해 살펴볼

수 있다.

다양한 프로그램 성과(outcome)와 성과 지표(indicator)의 예시성과 성과 지표

참가자들이 금연한다.

- 과정이 끝나는 시점까지 금연한 참가자들의 수와 퍼센트

- 프로그램이 끝나고 6개월 이후까지 다시 흡연하지 않은 참가자

들의 수와 퍼센트

전화건 사람들이 정보를 제공 받거나

의뢰를 통해 서비스를 제공받는다.

- 정보 제공이나 긴급 의뢰 전화로 자신의 조직으로 연결된 참가자

들의 수가 증가하였다고 보고하는 지역사회 조직의 수와 퍼센트

- 의뢰가 적절하였다고 말하는 지역사회 조직의 수와 퍼센트

학생들의 학업성취도가 향상된다.- 프로그램 참가 전의 시험 성적보다 프로그램 수료한 후 더

좋은 점수를 획득한 참가자들의 수와 퍼센트

아동학대의 위험요인이 감소하고,

확인된 아동학대 및 방치 사례가 없다.

- 프로그램 참가 이후 12개월 동안 아동학대예방센터에 의해 확인된

학대 또는 방치 사례가 한 번도 없는 참가 가정들의 수와 퍼센트

가출 청소년이 집으로 돌아가거나

다른 안정된 거주시설에서 지내게

된다.

- 집으로 돌아간 가출 청소년의 수와 퍼센트

- 다른 거주시설에 들어 간후6개월 동안 집으로 돌아가거나 다시

나가지 않는 청소년의 수와 퍼센트

아동들이 흥미를 보이는 영역의 기술을

향상시킨다.

- 캠프를 통해서 두 가지 이상의 기술을 습득한 참가자들의 수와

퍼센트

임신한 미혼모가 영양사의 지시를 잘

따르고 충분한 영양 공급을 한다.

- 비타민 제품을 권장량에 맞게 복용하고 필요한 칼슘량을 섭취

하는 여성들의 수와 퍼센트

주민들이 마을공터를 깨끗이 하고

놀이터를 만드는데 참가하기로 서명

한다.

- 참가지원서에 서명한 주민들의 수

각각의 마을 공터에 배치될 자원봉사자

들이 모여서 활동계획을 세운다.- 수립된 행동계획의 수

자원봉사자들이 깨끗하고 유해물질이

없는 놀이터를 만든다.

- 쓰레기가 없고, 잔디로 덮여 있으며, 놀이기구를 갖추고, 유해

물질도 없는 놀이터의 수

아이들이 깨끗하고 안전한 장소에서

논다.

- 청소활동 후 3개월 동안 일주일에 1회 맑은 날 무작위로 관찰

했을 때 놀이터에서 놀이하는 아동들의 수

주민들이 자신의 마을이 아이들에게

더 안전한 장소가 되었다는 자부심을

가진다.

- 마을이 1년 전보다 아이들에게 더 안전한 장소가 되었다고 말하는

주민들의 수와 퍼센트

주로 성과측정은 프로그램 종료 직후 이루어지는 경우가 많은데 이는 직후의 변화만

볼 수 있고 프로그램의 효과가 지속적으로 이어지는지는 보기 어려운 경우가 있다. 따라서


22

이를 좀 더 장기적인 안목에서 성과측정을 시도해 보는 것도 도움이 되는데 예를 들어

프로그램 후 3개월, 6개월 혹은 9개월 후 추적조사 등이 그 예라고 할 수 있다.

본 단계가 잘 이루어졌는지 여부는 다음과 같은 질문을 통해 확인할 수 있다.

각 성과에 대해 하나 이상의 지표가 있는가?

제시된 지표는 성과의 주요 측면을 충분히 반영하고 있는가? (관련이 적은 많은

지표보다 적은 수의 효율적인 지표가 낫다)

각 지표에 대한 설명이 충분히 구체적으로 기술되어있는가?

각 지표를 대변하기 위한 통계가 적절하게 이용되고 있는가? (명확하게 할 필요가

있다)

Task 2 : 참여자의 성과에 영향을 줄 수 있는 요인들을 결정할 것

같은 프로그램에 참여하였다 하더라도 모든 참여자가 동일한 변화를 보여주는 것은

아니다. 어떤 특정한 대상자들은 큰 변화를 보여주기도 하고 어떤 대상자들은 큰 변화

없이 혹은 오히려 프로그램 후에 부정적인 변화를 보여주기도 한다. 예를 들어 같은 음주

프로그램을 경험했다 하더라도 어떤 대상자는 효과적으로 음주의 감소를 보여주지만 어떤

대상자들은 오히려 증가한 음주량을 보여주기도 하고 어떤 대상자는 변화가 없는 경우도

있다. 프로그램 대상자들의 전반적인 변화를 평균적으로 고찰하는 것도 중요하지만

프로그램의 향후 발전 혹은 보다 효과적인 서비스의 전달을 위해서 어떠한 대상자들이

변화를 하였고 어떠한 대상자들이 변화하지 않았는지 등에 대한 구체적인 특성을 살펴

보는 것 역시 매우 중요하다.

프로그램 참여 대상자의 프로그램 관련 다양한 특성을 함께 수집하는 것은 프로그램

으로 인한 변화를 보다 구체적으로 고찰하는 데 큰 도움이 된다.

다음과 같은 정보 수집이 가능하다.

참여자들의 인구사회학적인 특성 (성별, 연령, 가족구성, 직업, 경제력, 인종적

특성, 장애여부 등)

참여자가 보고한 어려움의 정도

참여자가 거주하는 지역의 특성

다른 기관에서 서비스를 이용하는 경우 그에 대한 정보

서비스 제공의 양 등


23

[4 단계] 성과지표에 이용될 자료수집 계획

Task1 : 성과지표를 위한 자료원(源) 확인하기3단계에서 결정된 지표를 측정하기 위해 중요한 것은 바로 데이터를 어디에서 얻을

것인가 하는 것이다. 이와 동시에 대상자의 성과에 영향을 줄 수 있을 만한 요인들을 파악

하는 것 역시 중요하다. 사회복지관 프로그램 성과평가를 위한 데이터 소스는 주로

다음과 같다.

기록(records) : 해당 기관, 타 기관, 법원, 고용주, 건강관련 기관 등으로부터

얻은 대상자 관련 기록

개인(specific individuals) : 프로그램 참여대상자, 부모, 법적대리인, 친척, 고용주,

선생님, 상담가 등 프로그램 대상자와 상호작용하는 사람들로서 다음과 같이 구체적

으로 살펴볼 수 있음

자가 보고 : 프로그램 참여자(클라이언트) - 프로그램 참여자의 경우 사실과

다르게 직원들의 기분을 좋게 하기 위해서이거나 부정적으로 말하는 것이

부담이 되어 긍정적으로 답할 수 있음

타인 보고 : 자가 보고가 왜곡될 가능성이 있다면, 부모, 기업주, 교사, 상담가,

직원, 자원봉사자 등을 추가 정보원으로 활용

일반 대중(general public) : 지역주민, 십대, 부모, 노숙인 가족 등과 같은 인구

학적 집단. 특히 지역사회 환경을 개선하는 프로그램이나 지역주민 교육 및 캠페인

등은 구체적인 개인보다 관련 지역주민으로부터 정보를 얻게 되며 다음과 같은

구체적인 예가 가능함

어르신방범프로그램이 시작된 이후, 그 지역의 안전도가 높아졌다는 인식으로

인한 주민들의 행동 변화

지역사회 어린이놀이터 개선 프로그램의 시행 후 방과 후 아동들의 놀이행동

변화에 관한 주민들의 인식

교육받은 관찰자(trained observers) : 대상자의 행동, 환경 등을 기록하는 관찰자

프로그램 레코드(program’s record) : 대상자가 참여하고 있는 프로그램에서 꾸준히 기록한 데이터들이 주요 정보가 됨

Task2 : 데이터 수집 방법을 디자인할 것

데이터를 어디로부터 얻을 것인지가 결정이 되면 이제 우리는 어떻게 데이터를 얻을

것인지를 고민하게 된다. 이 과업에는 데이터 측정 도구를 찾거나 개발하는 것, 어떻게


24

측정도구를 사용할지 그 과정에 대해 결정하는 것 등이 포함이 된다. 기관에서 개별적

으로 데이터 수집 방법에 결정할 수 있지만 종종 전문적인 도움(professional helps)이

필요할 수도 있다. 지역사회 대학, 연구기관, 은퇴한 전문가 등의 자원봉사자들을 모집

하여 기관의 데이터 수집방법을 계획하는 데 활용할 수 있다.

데이터 수집방법은 비용-수익을 계산함으로써, 응답률을 고려하면서, 데이터 수집에

드는 시간을 고려하면서, 혹은 다른 요인들에 의해 변동될 수 있다. 은 활용 가능한 데이터 수집 방법들의 특징을 비교해 제시한 것이다.

다음으로 데이터 측정도구 결정이 필요하다. 측정도구 결정을 위해 측정도구를 새로

개발하는 것 보다는 활용 가능한 기존 측정도구가 존재하는지 살펴보는 것이 효과적일

수 있다. 이를 위해 학회지에 출간된 논문, 혹은 학위 논문 등을 살펴보는 것이 도움이

되며 혹은 시간을 단축시키기 위해 표준화된 측정도구를 모아 소개하는 서적 등을 활용

하는 것도 도움이 된다. 일반적으로 측정도구에 대한 정보는 측정도구 자체 뿐 아니라

측정도구를 활용할 때 주의해야 하는 특성 등도 함께 설명되기 때문에 이에 대한 숙지가

매우 중요하다.

데이터 수집방법 별 특성 비교데이터 수집방법

비교 기준

프로그램 기록

검토

프로그램 대상자가

직접 기입인터뷰

훈련된 관찰자에

의한 기록

비용 낮음 중간

중간~높음

(어떻게

구성되는지에 따라

비용차이가 남)

저비용 관찰자 활용

가능에 따라 달라짐

데이터 수집원을

교육하는 데 드는

시간

약간 전혀 들지 않거나 약간

중간~높음

(대상자가 경험이

있느냐에 따라

달라짐)

중간~높음

완료 시간 짧음

중간정도 시간부터 긴

시간이 상황에 따라

요구됨

길다 짧거나 중간

응답률 높음어떻게 배포되느냐에

따라 달라짐

일반적으로

중간부터 좋음높음

만약 적절한 데이터 측정도구가 없거나 혹은 활용 불가능하다면 개별적으로 측정도구를

개발하는 것도 가능하다. 측정도구를 개발할 때 일반적으로 너무 많은 질문을 포함시키기

쉬운데 기억해야할 것은 측정도구는 명료해야하며 측정도구에 포함된 프로그램의 성과와


25

깊은 관련이 있어야 한다. 단순히 재미있을 것 같아서 혹은 사회복지사가 흥미가 있어서

혹은 알고 있으면 좋을 것 같아서의 이유로 많은 질문을 포함시키지 않는 것이 중요하다.

이러한 과정을 거친 몇 가지의 실전 예를 제시하면 다음의 표들과 같다.

빈곤 청소년 진로설계 프로그램의 자료원, 자료수집방법성과 성과지표 자료원 자료수집방법

빈곤청소년의

진로결정능력이

향상된다.

프로그램이 실시된 기간 동안 일주일간

음주량이 감소한 청소년의 수와 비율참여 청소년

진로결정능력 척도를 프로그램

전후에 검사해 비교한다.

빈곤청소년의

진로준비행동이

향상된다.

프로그램이 실시된 기간 동안 단주기간이

증가한 청소년의 수와 비율참여 청소년

진로준비행동 척도를 프로그램

전후에 검사해 비교한다.

빈곤청소년이

취업에 성공한다.

프로그램 후 취업에 성공한 청소년의

수와 비율취업처

취업된 청소년의 재직증명서를

확인한다.

프로그램 후 소득이 발생된 청소년의

수와 비율통장 잔고

취업된 청소년의 소득증명원을

확인한다.

알코올 중독 예방을 위한 원예활동 프로그램의 자료원, 자료수집방법성과 성과지표 자료원 자료수집방법

활동 참여자의

음주량의 감소


음주량이 감소한 사람의 수와 비율

클라이언트

자신

클라이언트가 일주일간 음주량을

기록 후 사회복지사에게 제출

활동 참여자의

단주기간의 증가

프로그램이 실시된 기간 동안 단주기간이

증가한 사람의 수와 비율

클라이언트

자신

클라이언트가 사회복지사에게

월간 단위로 단주기간을 보고

활동 참여자의

알코올 의존도

감소

프로그램 참여 전후로 알코올의존도를

확인하는 AUDIT 검사 점수가 낮아진 사람

들의 수와 비율

복지관 AUDIT 검사를 프로그램 전후에

측정

심층면접 결과 알코올 의존도가 감소

했음을 표현하는 사람들의 수와 비율복지관

프로그램 종료 후 심층인터뷰를

통해 확인

프로그램 진행 중 원예치료사 및 사회

복지사가 관찰한 결과 알코올의존도를

보여주는 행동을 관찰한 사람들의 수와

비율

복지관

실천가

프로그램 진행 과정에서 관찰된

내용을 일지에 기록

은 빈곤 청소년의 진로설계 프로그램에서 자료를 누가 조사하고 자료수집방법이 구체적으로 어떻게 추진되는 지를 제시하고 있다. 그리고 은 알코올 중독 예방을 위한 원예활동 프로그램의 자료원과 자료수집방법을 제시하고 있다.


26

주민조직화를 통한 어린이놀이터 만들기 사업의 자료원, 자료수집방법성과 성과지표 자료원 자료수집방법

마을 공터를 깨끗이

하고, 놀이터를

만드는데 주민을

조직한다.

서명한 주민들의 수 서명 용지

회의 참석자 모두에게 양식을

주고 자원봉사자로 참가할

의향을 서명으로 확인한다.

각 공터를 맡은

주민들이 만나서

활동 계획을

수립한다.

수립된 활동계획의 수 직원의 보고

직원과 위원회 임원으로 구성된

팀이 자원봉사자 회의를 기획

하고 조직하며 활동계획을 수립

하여 서류로 만든다.

자원봉사자들이

놀이터를 깨끗하고

유해물질이 없도록

만든다.

쓰레기나 유리조각, 약병 등이 없고

잔디로 덮여 있으며 놀이 장비를 갖춘

마을공터의 수

직원/

자원봉사자의

관찰

관찰 체크목록을 이용한다.

아이들이 깨끗하고

안전한 놀이터에서

논다.

청소프로그램 후 3개월 동안 맑은 날

1주일에 한 번 놀이터를 관찰했을 때

보이는 아동들의 수

직원/

자원봉사자의

관찰

관찰 체크목록을 이용한다.

주민들은 마을이

아이들에게 더 안전한

장소가 되었다는

자부심을 가진다.

마을이 1년 전보다 아이들에게 더

안전한 장소가 되었다고 말하는 주민

들의 퍼센트

마을 주민우편조사지를 마을 가구 전체로

발송한다.

10대 미혼모의 출산준비 프로그램의 자료원, 자료수집방법성과목표 성과지표 자료원 자료수집방법

10대 미혼모가

산전영양 및 건강관리

지침을 안다.

중요한 영양성분이 함유된 식품 목록을

말할 수 있는 참가자의 수와 비율참가자

프로그램 시작 2주 후에 스스로

기입하는 설문지 조사

10대 미혼모가 적절한

영양 및 건강관리

지침에 순응한다.

출산 전 적절히 체중이 증가하는

참가자의 수와 비율

학교의

체중계매주 체중 측정

금연하는 참가자의 수와 비율참가자 매일 체크목록에 스스로 기입

교사 관찰 후 주간 기록에 보고

매일 적절한 식품 섭취 및 칼슘을

복용하는 참가자의 수와 비율참가자

일일 식단을 기록하는 ‘건강한 아기’체크 목록 체크

출산 전 비타민을 매일 복용하는

참가자의 수와 비율참가자

일일 식단을 기록하는 ‘건강한 아기’체크목록 체크

10대 미혼모가 건강한

아기를 출산한다.

체중 3.0 KG 이상인 신생아의 수와

비율병원 기록

병원과 접촉하여 출생기록

데이터의 획득


27

지역사회 아동학대 감시 및 예방 프로그램의 자료원, 자료수집방법성과목표 성과지표 자료원 자료수집방법

지역사회 주민,

교육자,

아동보호담당자,

그리고 의료인들이

정보를 듣거나

읽는다.

대상 집단 중 공익광고 소책자, 포스터,

혹은 발표자료 등의 내용을 기억하는


지역주민 지역사회 전화조사

아동보호담당자,

의료인, 교육자

홍보물을 받은 대상자의

20%에게 전화조사

발표회 청중 추적 관찰, 우편조사

아동학대와 방치의

징후 및 적절한

대처방법을 안다.

대상집단 중 아동학대와 방치의 3가지

징후를 말할 수 있고, 경찰서나 아동

보호기관 등 신고처를 알고 있는 사람

들의 수와 비율

위와 동일 위와 동일

아동학대와 방치가

의심되는 사례를

확인하고 신고한다.

대상집단 중 정보를 듣거나 본 이후

그러한 사례를 접하고 신고한 사람의

수와 비율

위와 동일 위와 동일

지역주민 자치조직만들기 프로그램의 자료원, 자료수집방법성 과 성과지표 자료원 자료수집방법

주민들이 마을 공터를

깨끗이 하고, 놀이터를

만드는데 참가하기로

서명한다.

서명한 주민들의 수 서명 용지

회의 참석자 모두에게 양식을

주고 자원봉사자로 참가할

의향을 묻는다.

각 공터를 맡은

자원봉사자들이 만나서

활동 계획을 수립한다.

수립된 활동계획의 수 사회복지사

직원과 위원회 임원으로 구성된

팀이 자원봉사자 회의를 기획

하고 조직하며 활동계획을

수립하여 서류로 만든다.

자원봉사자들이

놀이터를 깨끗하고

유해물질이 없도록

만든다.

쓰레기나 유리조각, 약병 등이 없고

잔디로 덮여 있으며 놀이 장비를 갖춘

마을공터의 수

사회복지사

자원봉사자관찰 체크목록을 이용한다.

아이들이 깨끗하고

안전한 놀이터에서

논다.

청소프로그램 후 3개월 동안 맑은 날

1주일에 한 번 놀이터를 관찰했을 때

보이는 아동들의 수

사회복지사

자원봉사자관찰 체크목록을 이용한다.

주민들은 마을이

아이들에게 더 안전한

장소가 되었다는

자부심을 가진다.

마을이 1년 전보다 아이들에게 더

안전한 장소가 되었다고 말하는 주민

들의 비율(%)

마을 주민우편조사지를 마을 가구 전체로

발송한다.


28

이제까지 살펴본 측정도구는 양적조사를 기반으로 설명되었다. 하지만 자료수집방법이

양적 조사인가, 질적 조사이냐에 따라 서로 다른 자료수집방법 및 측정도구 선택이 달라

진다. 양적 조사방법의 경우 대체로 수량집계(numeric counts), 표준화된 측정도구, 기능

수준척도(Level of Functioning: LOF), 클라이언트 만족도 조사를 측정도구로 선택하게

된다. 반면에 질적 조사방법의 경우 관찰, 노트기록, 메모, 문서, 음성 및 영상 기록,

면접기록 등을 통해 클라이언트의 변화를 확인하는 방법을 자연적이고 해석학적으로 접근

하고, 성과목표를 달성하는 증거물을 계량화된 지표가 아닌 면접이나 관찰을 통한 자료를

활용하여 제시한다.

자료수집방법과 측정방법을 선택하는 기준은 과 같이 유용성, 타당성, 신뢰성, 정확성, 실행가능성, 비용, 단위비용보고 등이 있다.

성과측정 방법에 대한 선정 기준선정 기준 주요 내용

유용성

결과 성과측정의 한 특별한 유형에 따라 일반화한 정보를 관계자들이 유용하고 적합하다고

판단하는 정도를 말한다. 만약 관계자들이 사회복지 프로그램에서 사용한 결과 성과측정이

유용하지 못하고 효과성과 책임감 있는 정보를 제공하지 못한다고 평가하면, 그 결과는

그저 간단하게 삭제될 것이다. 따라서 유용성은 결과 성과측정을 선택하는 데 있어서 7가지

기준 중 가장 중요한 요소가 될 것이다.

타당성

타당성은 두 가지 측면에서 설명할 수 있다. 첫째, 결과 성과측정의 한 특별한 유형이

측정하고자 하는 바를 얼마나 정확하게 측정했느냐에 대한 것이다(예를 들어 우울증상의

변화를 측정한다면, 평가자가 선택한 성과측정 방법이 얼마나 우울증상을 정확하게 측정

했는가를 말한다). 둘째, 결과 성과측정과 사회복지 프로그램 간의 원인-효과 관계와 관련이

있다고 확신할 수 있는 것이다(예를 들어, 프로그램 참여자의 우울증상이 치유되었다면,

프로그램을 통해 발생한 결과라고 확신할 수 있는 정도를 의미한다).

신뢰성신뢰도는 결과 성과측정의 어떤 특별한 유형이 반복적으로 같은 결과를 산출하는지에

관한 것이다. 일반적으로 보다 표준화된 결과 성과측정일수록 신뢰도가 높다.

정확성

정확성은 결과 성과측정에 의하여 사용된 측정의 수준과 직접적으로 관련된 것이다. 일정한

단계로 수집된 정보(등간)는 단지 일련의 순서(순위)를 갖는 정보보다 정확하다. 또 일련의

순서를 갖는 정보는 단순히 정보를 명명하는 것(명목) 보다는 정확하다.

실행가능성

실행가능성은 정치적으로, 윤리적으로, 행정적으로, 기술적으로 혹은 그 외 따른 요인들로

인해 결과 성과측정의 어떤 한 유형의 활용이 방해받는 정도를 말한다. 여기에서 쟁점은

제안된 결과 성과측정을 실제 행할 수 있느냐 그렇지 못하냐이다. 예를 들어, 일반적으로

어떤 결과 성과측정의 한 특별한 유형이 행정적으로 많은 시간을 요구하면 할수록 이것은

직원들이 시간을 많이 할애해야 하기 때문에 실행할 가능성이 떨어지게 된다.

비용비용은 그 나머지 다른 유형들과 관련하여, 결과 성과측정의 어떤 한 유형을 시작하고

유지하는데 소용되는 비용을 비교하는 것이다.

단위비용보고

단위비용보고는 각각의 성과정보 당 발생하는 비용 가능성을 말한다. 결과 성과측정은

만족스러운 서비스 노력에 대한 기대를 담고 있어야 하며, 성취된 바를 보고할 때에는 각

결과 단위 당 비용을 보고할 수 있어야 한다. 수량집계 같이 결과 성과측정의 어떤 한

유형은 다른 유형들에 비해 그 자체로서 보다 비용 분석적인 측면을 가진다.


29

마지막으로 다음과 같은 내용을 검토하면서 본 단계를 마무리할 수 있다.

프로그램 대상자는 어디까지 포함시킬 것인가? : 프로그램을 완료한 사람만을

포함할 것인가, 중도 탈락한 사람까지 포함할 것인가, 혹은 프로그램 참여를 거부한

사람까지 포함할 것인가 등

모든 대상자를 포함하는가 혹은 표본(sample)을 포함할 것인가? : 지역사회 프로

그램의 경우 지역주민을 모두 포함시키기 어려운 경우가 있다. 이러한 경우 일부

대표성을 지닌 표본집단만을 조사할 수도 있다.

누가 데이터를 모집할 것인가? : 데이터 수집방법에는 데이터를 누가 수집할

것인지도 중요하다. 프로그램 진행자가 실시하는가 혹은 다른 스태프가 참여하는가

혹은 외부인이 수집하는 가 등을 결정한다.

비밀보장의 원칙 : 사회복지기관에서 수집된 자료는 반드시 원래 목적에만 맞게

사용되어야 하며 외부로 대상자의 동의 없이 반출되거나 노출되면 안된다. 따라서

이에 대한 계획과 원칙에 대해서도 신중히 고민할 필요가 있다.

데이터 수집 과정에 대한 정보 제공: 프로그램 대상자는 프로그램 전반적인 특성

뿐 아니라 데이터 수집과정에 대한 정보도 구체적으로 제공받아야 한다.

[5 단계] 성과측정 : 성과측정 자료수집

본 단계에서는 앞 단계들을 통해 결정된 성과측정 계획을 바탕으로 자료가 실제적으로

수집된다. 다음과 같은 과업을 통해 본 단계가 이루어진다.

Task 1. 성과측정 특성에 맞는 유형 결정

일반적으로 성과측정은 양적도구를 이용하여 대상자의 변화를 수치화 하여 변화 비교를

통해 성과를 고찰하는 방법이 일반적이다. 그러나 성과측정에 활용 가능한 유형은 매

우 다양하며 이는 프로그램 성과측정 특성에 맞게 구성되어야 한다. 성과측정의 유

형은 다음과 같이 제시 가능하다.

수량집계 : 단순하게 프로그램 참여 후 질적인 변화를 보인 클라이언트 수를 세는

형식

표준화된 측정도구 : 표준화된 측정도구를 활용하여 클라이언트의 질적인 변화를

사전-사후로 구분하여 측정

기능수준척도(LOF) : 표준화된 측정도구가 없을 때 클라이언트 수준의 변화를

프로그램 사전-사후 구분하여 측정


30

클라이언트 만족도 : 클라이언트가 직접 자신의 변화정도에 대해 자기보고식으로

응답

질적 자료 : 프로그램 참여를 통해서 클라이언트가 보이는 변화를 관찰, 노트기록,

메모, 문서, 음성 및 영상 기록, 면접기록 등을 활용하여 분석하는 것

단기 성과측정(중간결과 성과) 중ㆍ장기 성과측정(최종결과 성과)수량집계

표준화된 척도

기능수준 척도

클라이언트 만족도

성과를 보이는 질적 자료

수량집계

표준화된 척도

기능수준 척도

------------------

성과를 보이는 질적 자료

출처 : Martin, L. L., & Kettner, P. M.(1996)이 제시한 중간결과 성과측정과 최종결과 성과측정을 성과측정의

다섯 가지 유형으로 수정하여 제시함.

이를 보다 구체적으로 살펴보면 다음과 같다.

1) 수량집계(수로 계산하는 것, 수량화하는 것)의 개념

수량집계는 단순하게 프로그램에 참여한 클라이언트의 조건, 상태, 행동 등에 있어서

질적인 변화가 있는 클라이언트의 명목적 수이다. 클라이언트의 조건, 상태, 행동 등의

변화가 발생한 사례와 발생하지 않은 사례로 명목적으로 구분한다. 수량집계에 의한 프로그램

성과측정은 전체 프로그램 참여자 중에서 조건, 상태, 행동의 변화가 발생한 사례수를

수치적으로 계산하여 수행된다.

수량집계는 두 가지 특징을 갖고 있다.

첫째, 사회복지 프로그램 참여 후 클라이언트의 상황 및 조건에 변화되었는지 대해

간단하게 “머릿수 세기”를 하는 것이고, 둘째, 클라이언트 상황 및 조건의 변화를 “예”와 “아니오”로 이분법적으로 측정하는 것이다.

수량집계는 인구학적이거나 특징적인 자료와 정보 같은 측정을 의미한다.

예 1) 가출청소년 아웃리치프로그램 개입 후 집으로 돌아간 청소년의 수

예 2) 약물중독치료프로그램에 참여한 약물중독 클라이언트 중 1년이 지난 후에도

치료가 되지 않아서 프로그램에 남아 있는 클라이언트 수

수량집계는 클라이언트의 변화를 명목적 수준의 조사도구를 활용하여 측정한다. 특정

상황에 대한 측정을 명목적 척도로 값을 “예”와 “아니오” 식으로 한정하여 대답하게 한다.


31

예를 들어, 노인을 대상으로 직업교육에 참여한 클라이언트가 고용되었는지를 “예”와 “아니오”로 구분하여 확인한 고용된 노인의 수를 확인한다. 수량집계에서는 프로그램을 통해 발생한 바람직한 상황뿐만 아니라 바람직하지 못한 상황에 대해서도 반영하는

중요한 절차이다. 예를 들어, 약물중독치료프로그램에 참여한 클라이언트가 치료 이후에

다시 약물중독에 빠져서 다시 의뢰가 들어오는 것을 확인한다.

수량집계의 적용을 살펴보면 다음과 같다.

수량집계에 의해서 프로그램 성과를 측정하는 방법은 국내외적으로 매우 선호되는

방법이다.

국내에서 보건복지부 지원으로 수행되는 장애인고용촉진프로그램은 실제로 프로

그램을 통해 취업에 성공한 장애인 수를 산술적으로 계산하게 된다.

미국의 경우에도 정부에서 공공재원을 지원받아 프로그램을 수행한 기관들에서

제출하는 서비스 효과와 성취(service effect and accomplishment) 보고서의

경우 수량집계에 의해 평가를 하게 된다.

수량집계에 의해서 프로그램 성과평가를 선호하는 것은 수량집계가 다른 성과측정

방법들 보다 비교적 정의하고 해석하는 데 있어서 매우 용이하기 때문이다.

독거노인의 도시락배달서비스 프로그램에 대한 수량집계 방법서비스

형태성과 수량집계 방법

도시락

배달

도시락 배달받는 어르신 75%

이상이 좋은 건강 상태를 계속

유지할 수 있다.

도시락 배달받는 어르신이 건강 상태를 잘 유지하고

있음을 새로운 질환으로 치료하거나 입원한 어르신을

방문 또는 전화상으로 확인한다.

도시락 배달받는 어르신 90%

이상이 집에서 독립적으로 생활

할 수 있다.

도시락 배달받는 어르신이 자신의 집에서 독립적으로

생활하고 있음을 방문 또는 전화상으로 확인할 수 있다.

빈곤청소년의 진로설계 프로그램의 성과에 대한 수량집계 방법성과 성과지표 자료원 수량집계 방법

빈곤청소년이

취업에 성공한다.

프로그램 후 취업에 성공한 청소년의

수와 비율취업처

취업된 청소년의 재직증명서를

확인해 성공 유무를 판단한다.

프로그램 후 소득이 발생된 청소년의

수와 비율통장 잔고

취업된 청소년의 소득증명원을

통해 소득 발생 유무를 확인한다.


32

, , 은 성과측정방법으로서 수량집계 방법에 대한 예시를 구체적으로 제시하고 있다.

알코올 중독 예방 프로그램에 대한 수량집계 방법성과 성과지표 자료원 수량집계 방법

활동 참여자의

음주량의 감소


음주량이 감소한 사람의 수와 비율

클라이언트

자신

클라이언트가 일주일간 음주량을

기록 후 사회복지사에게 제출

하게 해 음주량 감소 유무를 확인

활동 참여자의

단주기간의 증가

프로그램이 실시된 기간 동안 단주

기간이 증가한 사람의 수와 비율

클라이언트

자신

클라이언트가 사회복지사에게

월간 단위로 단주기간을 보고

하게 해 단주기간 증가 유무를

확인

2) 표준화된 척도

(1) 표준화된 척도의 개념 및 특징

프로그램평가를 위해 측정하고자 하는 클라이언트의 인식, 감정, 태도, 행동 등을 단일

문항으로 조작화하기에는 클라이언트의 인식, 감정, 태도, 행동 등의 개념이 너무 복잡

하거다 다차원적이다.

표준화된 측정도구는 클라이언트의 인식, 감정, 태도, 행동, 기능, 발달 등에 대한 정보를

반영한 구조화된 질문으로 구성되어 있다.

표준화된 측정도구는 클라이언트를 대상으로 적용하기 위한 관리 및 점수화에서 같은

항목, 같은 방법으로 측정, 같은 점수화 과정을 적용하여 클라이언트의 상태를 쉽게

이해할 수 있도록 단일적인 수치로 제시한다.

측정을 하고 점수를 계산하는 데 적용되는 일정한 절차가 있고,

알기 쉬운 사회복지 프로그램 성과평가 매뉴얼...프로그램 사전-사후...

Documents