경영학, 교육학과, 평생교육 관련 인력개발과 활용 요점 정리 37. 평가도구의 설계

• 37. 평가도구의 설계

37. 평가도구의 설계

1) 평가자료수집
(1) 자료수집방법
● 평가도구 설계 전에 우선 의사결정에 이용되는 자료의 수집이 필요함
● HRD 평가에 세 가지 중요한 측면- 자료 수집방법, 자료의 유형, 자료의 활용
● 필요성 분석 시 정보 수집방법과 자료 출처와 같은 방법들이 사용됨
① 인터뷰
- 한 명 또는 그 이상의 사람들과 의견, 관찰결과, 신뢰성들을 분석하기 위해 대화를 나누는 방법
② 설문조사
- 의견과 관찰결과, 신뢰 등을 분석하기 위해 표준화된 질문지 사용하는 방법
- HRD 평가에서 가장 많이 이용(빠른 시간 내에 완성되고 분석될 수 있기 때문임)
③ 직접관찰
- 수행직무의 관찰, 기록
④ 테스트와 모의시험
- 개인의 직무수행 능력 확인을 위해 짜여 진 상황을 제시하는 방법
⑤ 기록적 데이터
- 파일이나 리포트 등 기존의 정보 이용하는 방법
⑥ 오스트롭(Ostroff)의 자료 수집 방법
- 상사나 다른 관찰자들에게 짜여 진 상황에서 어떻게 행동하는지 아니면 어떻게 행동할
것인지를 체크하도록 하는 것으로 좀 더 정확하고 적당한 자료수집방법과 평가연구방법
으로의 발전 가능성을 제시함

(2) 자료수집방법의 장단점

방법	장점	한계점
인터뷰	• 유연성 • 설명할 수 있는 기회 • 깊이 있는 조사 • 개개인 접촉	• 우려되는 반작용 효과 • 많은 비용 소요 • 개인 대 개인 간의 불편초래 가능성 • 노동 집중적 노력 필요 • 훈련된 관찰자 필요
설문 조사	• 적은 비용 • 익명성으로 인한 정직성 • 응답 속도 조절 • 선택의 다양성	• 부정확한 데이터의 출현 가능성 • 질문현장 응답상황의 조절 불가능 • 응답자에 따른 속도의 불일치 • 회수율 조절 불가능
직접 관찰	• 위험이 존재하지 않음 • 행동변화 관찰에 유용함	• 방해받을 가능성 있음 • 반작용 효과 우려 • 신빙성의 문제 • 훈련된 관찰자 필요
필기시험	• 낮은 비용 • 즉각적 채점, 빠른 처리 • 손쉬운 감독 기능 • 넓은 표본조사 기능	• 직무수행과 관련이 없을 가능성 • 표준에 의지하는 것은 개인의 수행 능력을 왜곡할 가능성 • 문화적 편향성의 가능성
모의시험 · 업무 테스트	• 신빙성 • 객관성 • 직무수행과 밀접한 연관성	• 많은 시간 소비 • 모의시험의 시행 어려움 • 개발비용 많이 소요
업무자료 (기록)	• 신빙성 • 객관성 • 직무에 기초한 기록 • 재검토 용이 • 반작용 효과의 최소화	• 기록의 보존관리 표준의 부족 • 정보 시스템과의 불일치 • 사용 가능한 형태를 위해 면담 필요 • 타목적용 자료일 가능성 • 수집비용 과다 가능성

 

(3) 평가자료 선택 시 고려사항
● 자료수집방법 선택 시 신뢰성, 타당성, 유용성 세 가지 사항 고려
① 신뢰성(reliability)
- 신뢰성은 결과들이 일관성이 유지되는가와 자료수집방법이 편향성이나 오류로부터 자유
로운가에 관한 것
- 신뢰성은 측정의 일관성과 결과의 안정성을 나타냄
- 동일 신뢰성(질문의 순서와 관계없이 비슷하게 나오는 것), 내적평가자 신뢰성(누가 결
과를 결정하든지 점수가 변화하지 않는 것)
② 타당성(validity)
프로그램의 설계상황과 관련

∘ 내용 타당성 : 직무수행에서 요구되는 행동 확인. 지식, 능력, 조직 내 행동양식은 평
가대상자들의 업무성과와 직무능력수준 평가하는 결정적 질문문항 토대로 이용됨(특
수한 직무능력 대표할 때 검증됨)
∘ 예측 타당성 : 미래의 업무수행 능력 평가. 예측 타당성 평가하기 위해서는 두 가지
유형의 자료가 필요함(평가와 교육이수 후 직무에서 보일 수행능력)
③ 유용성(practicality)
- 평가수단에 투입되는 시간과 비용의 효과

(4) 평가자료의 원천
● 일반적으로 세 가지의 자료가 인적자원개발의 효과성 평가하는데 사용됨
: 개인적 직무성과, 조직전반의 직무성과, 경제성 자료
① 개인적 직무성과
- 훈련생 개개인의 지식과 행동 강조, 시험성적, 작업 생산량, 작업의 질, 출석률, 직무수
행시기의 적절성, 작업의 질, 출석, 태도 등
② 조직 전반의 직무성과
- 인적자원개발 프로그램이 실행된 팀과 부서 또는 사업단위에 대한 자료, 생산성, 재작
업, 불량률, 고객만족도, 납기적절성
③ 경제성 자료
- 조직이나 단위부서의 재정 및 경제성, 이윤, 품질보증성, 공정한 거래, 시장점유율

(5) 자기보고(Self-Report)자료의 사용
● HRD 평가에서 가장 공통적으로 사용되는 자료 종류
● 교육훈련생의 반응이 가장 널리 사용되는 평가방법
● 성격에 관한 자료, 태도, 인식 등을 제공해 주고, 인적자원개발 또는 다른 프로그램의 효
과성을 측정할 수 있는 정보 또한 제공해 줌
● 문제점(2 가지)
- 단일방법의 편향
∘ 만약 전과 후의 평가보고서 둘 다 동일한 사람에게서 동일한 시간에 얻어진 것이라
면 결론은 의심스러울 가능성이 있음: 응답자는 대답을 함에 있어서 정확하게 응답하
기 보다는 일관성을 유지하는 데 더 많은 관심을 기울이기 때문
- 사회적 기대에 맞추는 반응
∘ 응답자는 사실보다는 연구자나 상사가 듣기를 원하는 답을 보고할 가능성이 있으며,
응답편향도 생겨날 수 있음
∘ 응답자가 훈련 전에 자신이 보유한 능력에 관한 시각이 교육훈련 프로그램 도중에
바뀌어 교육훈련 후의 평가에 영향을 미치는 경우

2) 평가 도구의 설계
● 어떻게 평가할 것인지를 설계하는 것은 평가를 실행하기 위한 계획을 세우는 일
● 평가도구 설계는 매우 복잡한 문제이고 HRD평가에 매우 중요함
● 전형적인 평가방법은 교육훈련 프로그램이 모두 완료된 이후 결과들을 측정하고 평가하는 것(긍
정적 반응, 학습측정의 높은 점수, 긍정적 행동변화와 결과): 중요한 것을 측정하지 못할 가능성

과 획득된 결과가 교육훈련의 효과로 나타난 것이라고 확신할 수 없음

(1) 교육훈련 후 평가설계
● 측정 결과가 교육훈련의 결과에 의해서 만이라고 가정할 때 활용
- 참여자들이 교육훈련 프로그램을 수료한 후에만 측정을 하는 것
- 교육훈련을 받는 사람들이 교육훈련을 받기 전에는 그 기능이 결여되었었다는 것이 확
실하게 알려진 것이라면, 이런 유형의 설계를 고려해볼 만함

(2) 사전 – 사후 평가설계
● 참여자들이 프로그램을 시작하기 전과 수료한 후에 측정하는 것
- 업무수행수준이 교육훈련 만에 의한 결과라고 확신할 수 없을 때, 외부의 요인들이 과
업수행의 수준에 영향을 미치지 않을 것이라고 판단될 때에도 적절한 설계
- 때로 사전 측정이 앞으로 운영하게 될 교육훈련 프로그램이나 사후 측정에 부정적인 영
향을 미치는 경우도 있음

(3) 반복 측정 평가설계
● 사후 평가 이후에 어느 정도 시간이 결과한 후에 다시 측정, 교육훈련의 효과가 시간이 경과한 후 가능할 때
● 예를 들어 새로이 관리 · 감독자 프로그램을 수료한 사람들이 교육훈련의 성과가 그들의
현직에서 나타나고 있는지를 평가하려고 한다면 상당히 시간이 경과한 후에라야 가능할
것이기 때문

(4) 통제집단 평가설계
 • 교육훈련 참여집단(실험집단)과 불참집단(통제집단)을 비교하기 위함
- 과업수행에 어떤 변화가 일어나고 있는데, 과연 그것이 직접적으로 교육훈련 효과에 의
한 것인지를 확신할 수 없을 때 적합한 설계
- 교육훈련에 참여할 집단과 여러 가지 면이 비슷하여 비교할 수 있는 통제집단을 쉽게
구할 수 있을 때 적합한 설계