2021년 문화동반자 사업 평가 계획 변경(안)

0000000000000

‘21. 7. 15.(수)/KOFICE 교류기반팀

□ 추진 목적

ㅇ「국제개발협력 통합평가지침」에 의거 사업운영 전반에 대한 객관적인 평가를 실시하고 「지속가능한 발전목표(SDG) 4 : 양질의 교육」달성에 본 사업이 기여할 수 있도록 성과 관리

ㅇ 연수사업별 사업 운영의 충실성, 투명성, 책임성을 강화하여 전체 사업의 효과성 및 효율성 제고

□ 기본 방향

ㅇ 연수 추진단계별 성과요인 측정을 중심으로 종합평가 실시, 전체 사업의 통합적 성과와 개선사항을 도출

ㅇ OECD DAC 평가기준과 `22년 통합평가계획을 반영하여 평가지표 설정하고, 주요지표의 측정방법을 구체화하여 평가의 변별력 강화

ㅇ 사업평가와 성과관리의 연계성 강화를 위해 평가결과의 활용계획을   구체화하고 환류 실시

□ 평가 개요

ㅇ (평 가 명) 2021 문화동반자 사업 평가

ㅇ (평가기간) ‘21년 7월 ~’22년 1월(약 7개월)

ㅇ (평가범위) △문화전문가 연수, △문화행정가 연수

- 문화전문가 온라인 연수 *일반연수(8~9월), 중점연수(8~10월)

- 문화행정가 연수 *온라인(10월 1째주), 한국초청(10월 3째주)

ㅇ (평가방식) 온라인 설문, 사업자료 검토, 외부 전문가 평가 등

ㅇ (평가내용) 평가지표에 따른 연수별 평가 및 통합점수 도출

ㅇ (추진방법) 외부 전문기관 위탁용역

□ 평가세부 내용

ㅇ 사업성과 지표 : 종합평가 점수(목표치 87점) ※‘20년 목표치: 86점(실적 88.1점)

ㅇ 종합평가 내용

- 경제협력개발기구(OECD) 개발원조위원회(DAC)의 6대 평가기준 준용

* DAC 국제개발협력 6대 평가기준: 효율성, 적절성, 효과성, 영향력, 지속가능성, 범분야

- 주요지표 및 보조지표 재설정, 지표별 측정지표 수립 등

* 문화동반자사업 (종합)평가지표는 기존 문화동반자 평가지표 및 코이카 글로벌 연수 지표 참고하여 도출

[2021년 종합평가 지표 구성]

영역 (단계)	코이카 글로벌연수 지표	평가대상		지표구분
		연수생	운영기관/진흥원
투입	연수생 선발 적절성	ㅇ	ㅇ	보조지표
	사전 준비 효율성	ㅇ	×
	연수기관 효율성	ㅇ	×
	지원업무 적절성	×	ㅇ
과정	과정 기획 적절성	ㅇ	×
	과정 개발 및 전달의 효과성	ㅇ	×
	연수생 참여도	×	ㅇ
	현지 사무소 참여도	ㅇ	ㅇ	보조지표 *현지 협력기관 참여도로 대체
산출	연수 만족도	ㅇ	ㅇ	‘22년 전문가/행정가 성과지표
	학업 성취도	ㅇ	×	보조지표
	실행계획 영향력	ㅇ	ㅇ	‘22년 행정가 성과지표
	현업적용도	ㅇ	ㅇ	‘22년전문가 성과지표
결과	온라인 교육 매체 활용도	ㅇ	ㅇ	보조지표
	성과목표 달성도	ㅇ	ㅇ

변경내용	2020년	2021년
평가지표 구준 기준 변경	∘OECD DAC 6개 기준으로 구분	∘연수 진행 단계별 구분 - 사업 과정별 평가 내용 파악 용이 - 성과관리 필요시 신속한 대응, 개선가능 - OECD DAC 6대 기준 계속 유지
연수사업 성격에 맞는 지표 반영	∘국제개발협력 사업 일반지표 - 연수의 교육적 효과를	∘연수성과 측정에 용이한 지표 신규반영 - 연수만족도, 학업성취도, 실행계획영향력, 현업적용도 등 ‘22년 성과지표 적용 * 성과지표 관리 시사점, 개선사항 도출
기연수생 사후평가	∘연수종료 2년, 5년 후 평가실시	∘연수 종료 후 활동 정보수집으로 대체

[`20년 대비 21년 계획 개선사항] ※ 세부항목 비교는 [붙임2] 참고

ㅇ 종합평가 점수 도출 방식

- 종합평가점수 : 문화전문가 연수, 문화행정가 연수를 개별평가 후 연수생 비율을 고려해서 가중치 반영하여 산출

- 지표별 가중치 : 문항당 배점은 7점 척도로 동일하나, 문항별 가중치를 설정하여 총 평가점수는 100점 만점이 되도록 구성

{∑(평가점수(7점 척도 기준) × 가중치(평가 문항별)}

- 평가대상별 가중치 적용비율 : 운영기관(30%), 협력기관(30%), 연수생(40%)

※ 지표별 가중치 및 평가대상별 가중치는 전문평가업체 선정 후 논의하여 조정가능

ㅇ 평가 단계별 추진내용

- 1단계(연수 착수) : 사전 설문 실시

- 2단계(연수 모니터링) : 연수 사업별 모니터링 실시(운영상황 점검 등)

- 3단계(중간 평가) : 모니터링 및 사업자료 검토(점수), 결과 피드백

- 4단계(연수 종료) : 종료평가 실시(설문, 전문가 평가, 연수관계자 면담 등)

- 5단계(평가 종료) : 평가 결과 분석, 최종 보고서 제출

ㅇ 평가 활용계획

- 사업의 성과요인 및 개선사항 도출

- `22년 사업 성과계획 반영

□ 주요 추진 일정

주요일정		6월				7월				8월				9월				10월				11월				12월				‘21.1월
용역기관 기술협상, 계약
성과지표, 설문지 개발
문화전문가 연수	자료수집
	자료분석
문화행정가 연수	자료수집
	자료분석
중간보고회 및 보완
성과모델 개발
최종보고서 제출

※ 붙임1: `21년 문화동반자 사업 평가 주요 과업

붙임2:‘20년 문화동반자 사업 문화전문가 연수 평가 지표

붙임 1		문화동반자 사업 평가 주요 과업

□ 2021 문화동반자 사업평가 주요과업

ㅇ 연수 평가수행계획 및 성과모델 수립(ODA 메타평가 반영)

ㅇ 지표별 세부지표 설정, 조사 실시

ㅇ 문화동반자 사업 종합평가점수 도출

ㅇ 사업별 성과 분석 및 개선사항 도출

ㅇ 사업 환류를 위한 제언 등

구분	요구사항	번호	요구사항 명칭
가	평가 기획	01	사업 성과지표 및 설문지 개발
나	평가 수행	02	분야별 전문평가위원 구성
		03	‘20년 평가지표 분석을 통한 ‘21년 사업별 평가지표(주요지표/보조지표) 도출 및 분석
		04	연수생 운영기관 사전평가(설문) 연수생 운영기관 중간평가(연수 모니터링 및 자료검토) 및 점수도출 연수생 운영기관 종료평가 및 점수도출 (설문, 모니터링, 평가위원 평가 및 사업자료 종합검토)
		05	중간평가 결과 도출 및 연수 반영
		06	종합평가점수 도출
다	성과 제고	07	사업별 성과모델 개발
		08	사업 성공요인 분석 및 성과제고 방안 도출
라	용역 관리	09	평가수행세부계획서, 중간보고서, 최종평가결과보고서
		10	최종보고회 및 산출물 제출

단계	주요 산출물	이행시기	제출방식
계획	사업수행계획서	계약 체결 후 1주 이내	서면
사업성과측정 및 제고 (조사 및 측정, 연구 등)	사전/종료 설문지	계약 체결 후 2주 이내
결과보고	중간보고서 발표자료	중간보고회 개최 3일전
	최종보고서 발표자료	최종 보고회 개최 3일전
	최종보고서(최종본)	계약기간 이내

* 산출물 및 보고회 세부 내용(예)

□ 요구사항별 상세내용

ㅇ 평가기획

- 사업평가계획(안) 내 성과지표 참고하여 전체 지표 보완

- 성과지표 배점(종합평가점수 도출 포함), 지표 정의서 등 제안 필요

- 주요지표 조사를 위한 설문조사 세부항목 개발

ㅇ 평가수행

- 사업 단계별(연수 착수 전, 착수 후) 분석 자료 취합

- 성과지표별 자료분석, 연수모니터링, 사전/중간/최종평가 분석 결과도출

- 문화동반자 사업 종합평가 중간점수 및 최종점수 도출

ㅇ 성과제고

- 문화전문가 연수, 문화행정가 연수 성과관리 모델 수립

* 강의, 웨비나, 연수생 과제물(사업실행계획안) 등 검토 후 개선사항 제시(연수 중반 / 연수 종료 후)

* 문화 분야별(문화예술/문화산업) 특성에 따라 연수성과를 높일 수 있는 연수 모듈과 성과 목표 제시

- 연수생 만족도 조사 결과분석 및 요인분석(촉진, 방해요인 등)

붙임2		‘20년 문화동반자 사업 문화전문가 연수 평가 지표

평가기준 (OECD 6대기준)	평가 항목	측정 지표	방식
			설문조사			인터뷰
			운영기관	현지기관	동반자
효율성	운영 및 수행체계	전담직원 활용	ㅇ	ㅇ	ㅇ
		수행구조 및 커뮤니케이션 효율성	ㅇ	ㅇ		ㅇ
	투입	예산 계획 및 집행의 효율성	ㅇ	ㅇ	ㅇ
		사전 준비 효율성	ㅇ	ㅇ
적절성	연수계획 및 사전준비	지원자 선발절차의 적절성	ㅇ	ㅇ	ㅇ
		연수 준비기간 및 교육환경 구현의 적절성	ㅇ	ㅇ	ㅇ
		전문연수 정보제공 여부	ㅇ	ㅇ	ㅇ
	수행 과정	협력기관 및 연수생 의견수렴 여부 및 노력	ㅇ	ㅇ	ㅇ
		예산 운용의 적절성	ㅇ	ㅇ	ㅇ
		운영계획과 목표의 정합성	ㅇ	ㅇ	ㅇ	ㅇ
효과성	단기 성과	연수생의 성취도(개인효능감) 변화	ㅇ	ㅇ	ㅇ
		액션플랜 수립	ㅇ	ㅇ	ㅇ
	연수 목적 달성도	협력기관의 역량 변화	ㅇ	ㅇ
		한국 문화에 대한 친근감 및 인식 제고		ㅇ	ㅇ
영향력	홍보 효과	전문연수의 대중적 홍보 여부	ㅇ		ㅇ
	중장기 성과	파급효과 (현장에서의 공유)	ㅇ	ㅇ	ㅇ
		액션플랜의 사업 연계 여부	ㅇ	ㅇ	ㅇ
		전문연수의 협력국 영향 여부	ㅇ	ㅇ	ㅇ
지속 가능성	추가 투입 여부	운영기관 및 협력기관의 추가 예산/인력 투입 노력 여부	ㅇ	ㅇ
	지속적 역량개발	연수생의 목표달성 및 지속적 역량개발 여부	ㅇ	ㅇ	ㅇ
	네트워크	운영기관 – 연수생 간 네트워크 구축 및 유지	ㅇ		ㅇ
		협력기관 – 연수생 간 네트워크 유지	ㅇ	ㅇ	ㅇ
		연수생 – 자국의 타 연수생 및 한국 이해관계자 간 네트워크 구축			ㅇ
	사업의 지속성	협력 사업의 지속 여부	ㅇ	ㅇ
범분야	성주류화	양성평등 고려 여부	ㅇ	ㅇ	ㅇ
	인권주류화	취약계층 참여 및 고려				ㅇ