2009년 02월 19일
엉터리 평가에 거짓 보고, 그 무슨 허물이려오?
요즘 전국단위학업성취도평가(이하 일제고사) 때문에 시끄럽다. 임실군은 며칠만에 천국과 지옥을 오가는 처지가 되었다. 공교육이 어쨌니, 저쨌니 말도 무척 많더니만, 이제는 채점방식이 이랬니 저랬니 하다가 결국 교육장과 장학사가 모가지 날아가면서 일이 커지고 있다. 그런데 이 모든 일들이 큰 문제로 보이거나 사건으로 보이는게 아니라 코메디로 보이는 것이 문제다. 이런 코메디는 애초에 예고되어 있었다. 다음의 문제들을 쭈욱 검토해 보면 애초에 이 전국학력평가가 제대로 시행될 수 없었음을 바보가 아닌 다음에야 미리 예측하고 있었어야 했다.
1. 애초에 교육과정의 목표와도 무관한 평가였다. 7차교육과정, 그리고 앞으로 바뀔 2009개정교육과정은 총론만 제시하고, 구체적인 내용은 각 지역, 각 학교에 따라 적절하게 재구성하도록 되어있다. 일전에 7차교육과정 연수때 어느 교사가 "왜 교과서 내용이 이리 많은데 도리어 시수는 줄여 놓았는가?"라고 묻자, 교육부 관료는 "교과서를 다 하라는게 아니다. 지역, 학교 실정에 맞춰서 하라는 것이다."라고 대답했다. 그게 7차교육과정의 핵심이다. 그런데 전국단위 일제고사라니? 각 지역, 학교마다 나름의 교육과정을 짜게 되어 있는데 어떻게 전국단위 일제고사라는 개념이 성립될수 있는가? 그러니 설사 고사관리가 잘 이루어졌다고 한들, 이 평가는 엉터리다.
2. 물론 기초학력을 측정하고 싶을수도 있을 것이다. 그럴 경우라면 가장 기본적인 학습 능력을 측정해야지 각 교과의 성적을 측정해서는 안된다. 그래서 이미 교육과정평가원에서는 언어, 수리 두 영역만 표집해서 실시하는 것을 연구결과로 확정해 놓고 있었다. 그런데 난데없이 다섯 과목(영역과 과목은 매우 개념이 다르다), 그것도 전수검사로 실시하는 폭거가 이루어진 것이다. 이런 폭거성 시험이니 그 출제과정의 엉성함은 이루 말할수 없고, 그 결과 나온 문항들의 수준의 졸렬함은 이미 내가 앞선 글에서 지적한 바 있다. 통계학에서는 GIGO(Garbage in Garbage out)이라는 말이 있다. 애초 평가 자체가 쓰레기였으니, 결과가 쓰레기인 것도 당연하다. 어떤 학생은 자기는 한 문제도 안 풀고 다 찍었는데 성적표에는 "보통 이상"으로 나왔다면서 황당해 하기도 했다. 출제, 관리, 채점, 사후분석까지 모조리 엉터리였던 것이다.
3. 이런 종류의 평가는 피검사자인 학생들의 동의와 협조가 절대적이다. 시험이란 것도 일종의 설문검사인 셈인데, 응답자는 조금만 귀찮아도 불성실 응답의 유혹을 느낀다. 성적에 들어가는 학교시험조차 불성실 응답(일자로 긋기, 백지 답안)으로 일관하는 학생이 10%가 넘는 마당에, 성적에도 들어가지 않는, 게다가 난데없이 튀어나와서 하루종일 괴롭히는 이런 일제고사에 학생들이 성실하게 응답했을 가능성은 거의 없다. 그러니 상당수 학생들은 일제고사를 매우 불성실하게 임했다. 강남지역에서는 너무도 영악해진 아이들이 그 실용적 지능을 활용하여, 일제고사일을 그냥 하루 쉬는 날로, 혹은 그동안 시험에 쌓인 스트레스를 푸는 날로 작정을 하고 왔다. 특히 우등생일수록 모처럼 아무런 불이익 없이시험을 비웃어줄수 있는 이 기회를 최대한 활용했다. 들리기에는 학원들이 이를 조장했다고도 한다. "야야, 시험에도 안들어가는 그딴거 신경쓰지 말고, 진도나 신경써" 이런 식으로 말이다. 참고로 필자는 전교2등하는 학생이 번호 하나로 죽 긋고 나서는 기말고사 시험공부를 한다거나, 전교 4등하는 학생이 OMR 카드를 하트모양이 나오게 마킹하고 주관식 답안에는 삼국지 등장인물 이름들을 차례로 나열한 것도 보았다. 왜 그랬냐고 물어보자, 그냥 웃기만 했다. 이들은 모두 비표집반 학생들이었다. 이런 학생들이 평가에 성실하게 임할수 있도록 동기화가 되어야 이런 평가는 의미를 가진다. 반면 표집반의 경우는 자기들이 학교 대표라는 생각에 상당히 긴장감을 가지고 성실하게 문제에 임하고 있었다.
4. 게다가 교사들의 경우도 진도 바빠 죽겠는데, 난데없이 하루를 다 할애해서 시험을 친다고 하니 즐거울 턱이 없다. 게다가 그 채점까지 직접 하라고 하니 당연히 제대로 할 턱이 없다. 학교시험도 아니고, 내신관리도 아닌, 난데없이 강제로 치르는 시험, 게다가 교사들의 대다수가 이런 전국단위 전수검사에 반대하고 있는 상황에서 밀어붙이는 시험에 땡전 한푼도 안주고 채점 노가다까지 하라고 하면 누가 그걸 열심히 하겠는가? 교사들은 자기가 낸 시험문제라면 최선을 다해 채점하겠지만, 남이 낸 문제에 남이 주관한 시험에 채점만 하라고 하면 매우 모욕적인 심부름이라고 생각할 수 밖에 없다. 게다가 주관식 채점은 매우 어려운 과정이다. 딱 맞는 정답이 없기 때문이다. 그래서 학교시험의 경우는 모범답안과 비슷한 유사답안을 처리하기 위해 채점 도중 수시로 교과협의회가 열려서 모든 교사가 동의하는 채점 기준을 작성한다. 하지만 전국단위 일제고사는? 모범답안에서 한 글자라도 틀리면 다 오답처리 하라는 따위의 기계적 채점을 강요할거라면 전문가인 교사가 아니라 그냥 알바를 써라. 하지만 그렇다고 전국의 모든 교사들이 교과협의회를 열수도 없지 않은가? 그러니 학교마다, 제각각의 채점기준이 나올수 밖에 없다. 애초에 이건 안되는 것이었다..
5. 마지막으로 교육청. 정부는 엄포를 놓는다. 미국식으로 공부 못하는 교육청은 예산을 줄이겠다고 엄포를 놓는다. 그렇다면 교육청 장학사들이 일제고사 결과를 사실 그대로 보고할 턱이 없다. 당연히 올려서 보고할수밖에 없다. 사실대로 보고하면 불이익을 받을것이 뻔한 게임판을 벌려놓고 사실대로 보고하지 않았다고 호통을 친다면 이건 넌센스다. 공정택이도 "불성실 응답자"는 빼고 성적을 내라고 말하지 않았는가? 그런데 불성실 응답자를 빼라고 하면 최소한 10% 이상은 빼고 시험치라는 말이 된다. 이게 말이 되는가? 불성실 응답자의 답안지를 빼고 채점하는거나, 채점한 뒤 보고에서 누락하는 거나 뭐가 다른가?
이 모든 사단의 원인은 결국 전수검사에 있다. 왜 여론조사는 겨우 1000-1500명으로 이루어질까? 3억의 미국인을 대상으로 하는 여론조사도 2000명 이상 조사하는 경우가 거의 없다. 그럼에도 불구하고 이번 미국 대통령 선거에서 보여주듯이 그 결과는 거의 정확하지 않은가? 그럼 혹자는 20000명을 조사하면 더 정확할거라고 말할지 모른다. 물론 이론적으로는 그렇다. 하지만 그러려면 그 조사를 실시하기 위해 소요되는 자원도 10배이상 늘어야 한다. 자원은 늘지 않고 표본만 늘리면 도리어 오류만 늘어나게 된다.
마찬가지로 수십만명의 학생들의 학력을 알아보기 위해서는(그게 수능처럼 정말 입시를 위한게 아니라 단지 조사라면) 많아야 2000명 정도면 족하다. 그리고 평가원의 인력도 그 정도 표본을 고사관리하고 채점하고 분석할수 있도록 되어있다. 그런데 뜬금없이 수십만명을 일거에 시험 치르고서 그 결과로 줄을 세우라고 하니, 이런 어마어마한 일은 교육부의 전 직원이 달라붙어도 감당하기 어렵다. 여태까지 괜히 표집검사 한 것이, 평가원이 게을러서 표집검사 한 것이 아니란 것이다. 굳이 수십만명을 일거에 시험치르게 하고 싶다면, 현재 그 정도 규모로 이루어지는 유일한 시험, 즉 수능 규모의 예산과 인력을 투입해야 한다. 그럴 여력이 없으면, 공정한 결과를 위해 원래 하던대로 표집검사 하는 것이 마땅할 것이다.
이글루스 가든 - 자유로운 아이들, 아름다운 교육을...
1. 애초에 교육과정의 목표와도 무관한 평가였다. 7차교육과정, 그리고 앞으로 바뀔 2009개정교육과정은 총론만 제시하고, 구체적인 내용은 각 지역, 각 학교에 따라 적절하게 재구성하도록 되어있다. 일전에 7차교육과정 연수때 어느 교사가 "왜 교과서 내용이 이리 많은데 도리어 시수는 줄여 놓았는가?"라고 묻자, 교육부 관료는 "교과서를 다 하라는게 아니다. 지역, 학교 실정에 맞춰서 하라는 것이다."라고 대답했다. 그게 7차교육과정의 핵심이다. 그런데 전국단위 일제고사라니? 각 지역, 학교마다 나름의 교육과정을 짜게 되어 있는데 어떻게 전국단위 일제고사라는 개념이 성립될수 있는가? 그러니 설사 고사관리가 잘 이루어졌다고 한들, 이 평가는 엉터리다.
2. 물론 기초학력을 측정하고 싶을수도 있을 것이다. 그럴 경우라면 가장 기본적인 학습 능력을 측정해야지 각 교과의 성적을 측정해서는 안된다. 그래서 이미 교육과정평가원에서는 언어, 수리 두 영역만 표집해서 실시하는 것을 연구결과로 확정해 놓고 있었다. 그런데 난데없이 다섯 과목(영역과 과목은 매우 개념이 다르다), 그것도 전수검사로 실시하는 폭거가 이루어진 것이다. 이런 폭거성 시험이니 그 출제과정의 엉성함은 이루 말할수 없고, 그 결과 나온 문항들의 수준의 졸렬함은 이미 내가 앞선 글에서 지적한 바 있다. 통계학에서는 GIGO(Garbage in Garbage out)이라는 말이 있다. 애초 평가 자체가 쓰레기였으니, 결과가 쓰레기인 것도 당연하다. 어떤 학생은 자기는 한 문제도 안 풀고 다 찍었는데 성적표에는 "보통 이상"으로 나왔다면서 황당해 하기도 했다. 출제, 관리, 채점, 사후분석까지 모조리 엉터리였던 것이다.
3. 이런 종류의 평가는 피검사자인 학생들의 동의와 협조가 절대적이다. 시험이란 것도 일종의 설문검사인 셈인데, 응답자는 조금만 귀찮아도 불성실 응답의 유혹을 느낀다. 성적에 들어가는 학교시험조차 불성실 응답(일자로 긋기, 백지 답안)으로 일관하는 학생이 10%가 넘는 마당에, 성적에도 들어가지 않는, 게다가 난데없이 튀어나와서 하루종일 괴롭히는 이런 일제고사에 학생들이 성실하게 응답했을 가능성은 거의 없다. 그러니 상당수 학생들은 일제고사를 매우 불성실하게 임했다. 강남지역에서는 너무도 영악해진 아이들이 그 실용적 지능을 활용하여, 일제고사일을 그냥 하루 쉬는 날로, 혹은 그동안 시험에 쌓인 스트레스를 푸는 날로 작정을 하고 왔다. 특히 우등생일수록 모처럼 아무런 불이익 없이시험을 비웃어줄수 있는 이 기회를 최대한 활용했다. 들리기에는 학원들이 이를 조장했다고도 한다. "야야, 시험에도 안들어가는 그딴거 신경쓰지 말고, 진도나 신경써" 이런 식으로 말이다. 참고로 필자는 전교2등하는 학생이 번호 하나로 죽 긋고 나서는 기말고사 시험공부를 한다거나, 전교 4등하는 학생이 OMR 카드를 하트모양이 나오게 마킹하고 주관식 답안에는 삼국지 등장인물 이름들을 차례로 나열한 것도 보았다. 왜 그랬냐고 물어보자, 그냥 웃기만 했다. 이들은 모두 비표집반 학생들이었다. 이런 학생들이 평가에 성실하게 임할수 있도록 동기화가 되어야 이런 평가는 의미를 가진다. 반면 표집반의 경우는 자기들이 학교 대표라는 생각에 상당히 긴장감을 가지고 성실하게 문제에 임하고 있었다.
4. 게다가 교사들의 경우도 진도 바빠 죽겠는데, 난데없이 하루를 다 할애해서 시험을 친다고 하니 즐거울 턱이 없다. 게다가 그 채점까지 직접 하라고 하니 당연히 제대로 할 턱이 없다. 학교시험도 아니고, 내신관리도 아닌, 난데없이 강제로 치르는 시험, 게다가 교사들의 대다수가 이런 전국단위 전수검사에 반대하고 있는 상황에서 밀어붙이는 시험에 땡전 한푼도 안주고 채점 노가다까지 하라고 하면 누가 그걸 열심히 하겠는가? 교사들은 자기가 낸 시험문제라면 최선을 다해 채점하겠지만, 남이 낸 문제에 남이 주관한 시험에 채점만 하라고 하면 매우 모욕적인 심부름이라고 생각할 수 밖에 없다. 게다가 주관식 채점은 매우 어려운 과정이다. 딱 맞는 정답이 없기 때문이다. 그래서 학교시험의 경우는 모범답안과 비슷한 유사답안을 처리하기 위해 채점 도중 수시로 교과협의회가 열려서 모든 교사가 동의하는 채점 기준을 작성한다. 하지만 전국단위 일제고사는? 모범답안에서 한 글자라도 틀리면 다 오답처리 하라는 따위의 기계적 채점을 강요할거라면 전문가인 교사가 아니라 그냥 알바를 써라. 하지만 그렇다고 전국의 모든 교사들이 교과협의회를 열수도 없지 않은가? 그러니 학교마다, 제각각의 채점기준이 나올수 밖에 없다. 애초에 이건 안되는 것이었다..
5. 마지막으로 교육청. 정부는 엄포를 놓는다. 미국식으로 공부 못하는 교육청은 예산을 줄이겠다고 엄포를 놓는다. 그렇다면 교육청 장학사들이 일제고사 결과를 사실 그대로 보고할 턱이 없다. 당연히 올려서 보고할수밖에 없다. 사실대로 보고하면 불이익을 받을것이 뻔한 게임판을 벌려놓고 사실대로 보고하지 않았다고 호통을 친다면 이건 넌센스다. 공정택이도 "불성실 응답자"는 빼고 성적을 내라고 말하지 않았는가? 그런데 불성실 응답자를 빼라고 하면 최소한 10% 이상은 빼고 시험치라는 말이 된다. 이게 말이 되는가? 불성실 응답자의 답안지를 빼고 채점하는거나, 채점한 뒤 보고에서 누락하는 거나 뭐가 다른가?
이 모든 사단의 원인은 결국 전수검사에 있다. 왜 여론조사는 겨우 1000-1500명으로 이루어질까? 3억의 미국인을 대상으로 하는 여론조사도 2000명 이상 조사하는 경우가 거의 없다. 그럼에도 불구하고 이번 미국 대통령 선거에서 보여주듯이 그 결과는 거의 정확하지 않은가? 그럼 혹자는 20000명을 조사하면 더 정확할거라고 말할지 모른다. 물론 이론적으로는 그렇다. 하지만 그러려면 그 조사를 실시하기 위해 소요되는 자원도 10배이상 늘어야 한다. 자원은 늘지 않고 표본만 늘리면 도리어 오류만 늘어나게 된다.
마찬가지로 수십만명의 학생들의 학력을 알아보기 위해서는(그게 수능처럼 정말 입시를 위한게 아니라 단지 조사라면) 많아야 2000명 정도면 족하다. 그리고 평가원의 인력도 그 정도 표본을 고사관리하고 채점하고 분석할수 있도록 되어있다. 그런데 뜬금없이 수십만명을 일거에 시험 치르고서 그 결과로 줄을 세우라고 하니, 이런 어마어마한 일은 교육부의 전 직원이 달라붙어도 감당하기 어렵다. 여태까지 괜히 표집검사 한 것이, 평가원이 게을러서 표집검사 한 것이 아니란 것이다. 굳이 수십만명을 일거에 시험치르게 하고 싶다면, 현재 그 정도 규모로 이루어지는 유일한 시험, 즉 수능 규모의 예산과 인력을 투입해야 한다. 그럴 여력이 없으면, 공정한 결과를 위해 원래 하던대로 표집검사 하는 것이 마땅할 것이다.
이글루스 가든 - 자유로운 아이들, 아름다운 교육을...
이 글과 관련있는 글을 자동검색한 결과입니다 [?]
- 교육 당사자들을 모두 괴롭히는 일제고사 성적 공개 by 보리밭
- 왜 서울과 경기가 일제고사 성적 꼴찌일까요? by 바람의 전설
- [교육] 강남 여중생 수십명 ‘일제고사 항의’ 백지답안 제출 by 종섭
- [한겨레21펌] 일제고사 시대, 초등학교 0교시의 한숨 by ⓧ촛불쌍추
- [펌]오바마가 일제고사를 폐지하려는 이유 by 온달샘
# by | 2009/02/19 19:39 | 교육에 대해 생각하기 | 트랙백(1) | 핑백(1) | 덧글(25)
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
제목 : 문제점을 안고 치른 시험으로, 도대체 뭘 평가하겠다..
학업성취도 평가? 일제고사? 학력평가? 어떤 표현이 맞는지 모르지만 아무튼, 동참여부를 놓고 찬성과 반대로 나뉘어서 말도 탈도 많았던 학력평가를 치렀다. 그리고 결과가 나왔다. 지금은 그 결과물을 놓고 말들이 많다. 어느지역의 교육감은 학부모에게 사과까지 하고, 또 어떤 지역에서는 예상밖의 좋은 성과로 칭찬을 받기도 했다. 여기서 끝나지 않았다. 좋은 성과를 거두었다던 지역소식이 사실과 다르다는 것이다. '조작'이라는 기사가 바로 따라 붙으며 ......more
... 부정행위를 통해 자신과 자신의 학교가 형편없다는 평판을 듣지 않으려고 애썼다. 만일 학교나 교육청 차원에서 부정행위의 인센티브를 가진다면? 이런 사태가 발생한다.또한 현직에 계신 선생님께서도 지적하셨듯이, 현재 대부분의 일제고사는 그 평가방법이나 데이터 가공의 수준이 매우 낮다. 과목별 문항의 수준이 문제가 아니라, 교육 당국에서 의도한 대로 각 시도 및 교육청 ... more
다만 정치오덕키워로서 드는 생각은 저런 담론들을 어떻게 여론화시킬지 라는 겁니다. 학부모들을 어떻게 설득할 수 있을까요.
참고로 필자는 전교2등하는 학생이 번호 하나로 죽 긋고 나서는 기말고사 시험공부를 한다거나, 전교 4등하는 학생이 OMR 카드를 하트모양이 나오게 마킹하고 주관식 답안에는 삼국지 등장인물 이름들을 차례로 나열한 것도 보았다. 왜 그랬냐고 물어보자, 그냥 웃기만 했다. 이들은 모두 비표집반 학생들이었다]
이 대목을 보고 적확한 말을 써 넣으시오.
->천잰대?
아마 저걸 지문으로 문제를 내면 저같음 저렇게 쓸 듯..
저도 중3 중간고사 이후 고등학교 진로가 확정되어서 중3 기말고사는 공부 신경도 안썼는데, 그때 별별 모양을 다 그렸지요. 시험이 계단밟기를 위한 수단이 아닌 진정 공부할 아이들에게 동기부여가 가장 큰 목적이 되어야 할텐데 말입니다.
하여튼 이런 글이 여론에 알려져야 하는데 잘 안알려져 있고.. 좀 이런 상황이 아쉽습니다..
GIGO에 밑줄 그어가며 읽었습니다.
고작 이 뻘짓을 하려고 애꿎은 교사들 파면하고 그랬던 겁니까? 답답해라, 정말.
올해 사범대학에 진학하는데
시험의 성격을 제대로 알고 싶습니다.
저는 시험 치는 것까진 괜찮았는데(나름 재밌기도 하고...) 점수정도는 가르쳐줘야하는거 아닌가요?-_- 전 전국등수도 알고싶은데 말이죠...
그리고 저 결과에 왜 저렇게 집착하는지 도대체 모르겠어요... 주관식도 매기기 애매하게 생겼고 학교별로 다 차이 날 것 같은데.. 저런 데 쓸 인력이 있으면 학교 화장실 변기나 바꿔줬으면 좋겠어요.
http://www.kice.re.kr/upload/gukgatest/hakup_hwp.html 여기나
평가원 사이트 초기화면에서 정보마당-교육평가-기출문제-학업성취도에서 다운받을 수 있습니다.
GIGO 오늘의 명언입니다.