[글쓰기] 작문 평가에서 신뢰도

 

 

신뢰도의 개념

신뢰도가 높다는 것은
참값과 관찰값의 차이가 적은 것을 의미.

측정오류(measurement error)란
측정 대상에 대한 참값(true score)과 측정 대상의 관찰값(observed score) 간의 차이를 말하는 것
(류성진, 『커뮤니케이션 통계 방법』, 커뮤니케이션북스, 2013)

 

 

 

 

평가자 간 신뢰도 

: 평정 결과가 평정자들 사이에서 얼마나 유사한가를 나타내는 정도를 의미
(한국성인교육학회, 『교육평가 용어사전』, 학지사, 1998)

 

: 한 평정자가 모든 측정대상에 대하여 계속적으로 일관성 있게 측정한 정도를 의미
(한국성인교육학회, 『교육평가 용어사전』, 학지사, 1998)

 

: 평가자 간 좋음, 보통, 나쁨의 척도가 다름
⇨ ‘사전 평가자 회의’ 필요

(이윤빈, 「쓰기 평가 워크숍이 예비 교수자의 쓰기 평가 전문성 신장에 미치는 효과」, 『작문연구』27, 한국작문학회, 2015)

 

 

 

 

평가자 내 신뢰도

동일 과제, 동일 수준의 글을 식사 전 평가했을 때와 식사 후 평가했을 때,
어느 것이 더 좋은 점수를 받을 확률이 클까?
: 식후에 한 것이 높은 점수를 받을 확률이 높음
⇨ 작문 평가는 시작했으면 되도록 한번에 끝낼 수 있도록 하는 것이 좋음.

 

동일 과제, 동일 수준의 글을 먼저 평가한 것과 나중에 평가한 것 중
어느 글이 더 좋은 점수를 받을 확률이 클까?
: 나중의 것이 더 좋은 점수를 받을 확률이 높음
⇨ 순서대로 하나씩 평가를 하지 말고, 먼저 랜덤으로 여러 편의 글을 뽑은 다음 읽어본 후, 
구체적인 평가 기준 및 방법을 설정한 후에 평가해야 함
: 한 번에 너무 많은 글을 평가하는 것은 지양해야 함

 

동일 과제, 동일 수준의 글을 식사 전 평가했을 때와 식사 후 평가했을 때,
어느 것이 더 좋은 점수를 받을 확률이 클까?
: 식후에 한 것이 높은 점수를 받을 확률이 높음
⇨ 작문 평가는 시작했으면 되도록 한번에 끝낼 수 있도록 하는 것이 좋음