국내에는 수많은 ‘언어 능력 시험’이 있으나 그 모든 시험이 다양한 응시자 특성과 유동적인 시험 상황을 고려하여 개발되고, 운용되는지는 확인할 수 없다. 이러한 상황에서 『언어 능력 시험 개발의 실제』는 체계적인 시험 설계 및 개발은 물론 효과적인 운용을 위한 이론을 다루고 있어 주목할 만하다. 언어 능력 시험 개발에 필요한 다양한 개념 설명을 시작으로, 초등학생부터 대학생, 일반인까지 여러 학습자를 대상으로 한 10개의 언어 능력 시험 개발 사례를 제시한다. 이러한 풍부한 개념과 사례는 언어 능력 시험을 개발하거나 운용하는 이들에게 큰 도움이 될 것이다.

1부 테스트 개발의 개념적 기초 1장 목적과 기대 2장 테스트 유용성: 언어 테스트의 특성 3장 과제 설명하기: 언어 테스트에서의 언어 사용 4장 언어 능력 기술하기: 언어 테스트에서의 언어 사용 2부 언어 테스트 개발 5장 테스트 개발의 개요 6장 테스트 목적 설명, 목표어 사용 과제 식별 및 설명, 응시자 특성 설명, 측정할 구인 정의 7장 유용성 평가 계획 수립 8장 자원 파악, 할당 및 관리 9장 운영: 테스트 과제와 청사진 개발 10장 효과적인 지시문 준비하기 11장 채점 방법 12장 언어 테스트 관리: 테스트 시행 및 피드백 수합 절차 3부 테스트 개발 프로젝트 사례 프로젝트 1. 대학 작문 프로그램 입학생을 대상으로 한 고부담 선발 및 배치 테스트의 완전 개발 사례 프로젝트 2. 전화 회사 직원을 대상으로 한 선발 및 배치 테스트의 일부 개발 사례 프로젝트 3. ESP 프로그램 학생을 대상으로 한 교수요목 기반 진단 성취도 테스트의 일부 개발 사례 프로젝트 4. 이민자를 위한 성인교육 회화 과정의 학생을 대상으로 한 종료 테스트의 일부 개발 사례 프로젝트 5. 채용 및 교육 의사 결정을 위한 고부담 ESP 선별 테스트의 일부 개발 사례 프로젝트 6. ESL 읽기 강좌를 위한 배치 테스트의 일부 개발 사례 프로젝트 7. 정부 지원 직업 훈련 ESL 과정의 이민자를 위한 취업/알선/성취도 테스트 개발 사례 프로젝트 8. 독일어 입문 과정의 수업 성취도 테스트 프로젝트 9. 한국어-영어 양방향 이중언어 몰입 프로그램의 읽기 구성 요소에 대한 교실 성취도 테스트 프로젝트 10. 초등학생을 위한 교수요목 기반 진도 테스트 일부

● 마치 조리법이 존재하고 이에 따라 음식을 만드는 것처럼, 우리는 모델로 삼을 만한 언어 테스트와 명쾌한 절차가 있을 것이라고 믿었다. 그리고 그에 맞춰 따라가기만 하면 우리의 목적과 상황에 맞는 최고의 테스트를 만들어 내리라 생각했다. (18쪽)

● 단 하나의 ‘최고의’ 테스트가 존재한다면, 그리고 그 테스트를 사용하거나 테스트 개발 시 모델로 사용하고자 한다면, 실제로 그러한 테스트는 적어도 일부의 테스트 응시자들에게는 적절하지 않은 테스트가 될 가능성이 높다. (21쪽)

● 언어 테스트에서 응시자의 정서적 스키마타는 테스트 과제를 처리하고 완성하는 방식에 영향을 미칠 수 있다. 응시자가 낙태, 총기 규제, 국가 주권과 같은 감정적인 주제를 다뤄야 할 경우, 이러한 주제에 대한 응시자의 정서적 반응은 이들이 사용할 수 있는 언어 지식 및 메타인지 전략의 전체 범위를 활용하는 능력을 제한한다. 이는 언어 테스트에서 감정적인 주제를 피하라는 것이 아니라, 언어 능력에 의해서뿐만 아니라 정서적 스키마타에 의해서 응시자의 수행이 영향받을 수 있음을 인식해야 한다는 것이다. (108쪽)

● 실제로 테스트를 채점하는 것뿐만 아니라 채점 절차에 대해 채점자를 교육하는 데에도 상당한 자원이 필요할 수 있다. 사전에 자원의 우선순위를 정하고 할당하면 나중에야 가용 인력이 도움을 줄 의향이 없거나 도움을 줄 수 없다는 사실을 알게 되어 직접 수행하거나 프로젝트의 일부를 포기할 수밖에 없는 등의 불쾌한 상황을 피할 수 있다. (234쪽)

● 원고의 개별 프롬프트는 스몰토크 상황에서 흔히 볼 수 있는 전형적인 입력이지만 세트로서 일반적인 대화 구성을 따르지 않으므로 실제성이 낮게 인식될 수 있다. 테스트 과제의 실제성을 높이는 한 가지 방법은 일반적인 대화 양식을 더 정확하게 시뮬레이션할 수 있는 방법을 찾는 것이다. 그러나 이렇게 하면 응시자의 성과를 평가할 수 있는 샘플을 얻는 데 더 많은 시간이 필요해져 테스트의 실용성이 저하될 수 있다. (433쪽)

● 한 명의 교사가 모든 이해력 테스트 답안과 서평을 읽는 데 상당한 시간이 소요된다. 그러나 학생들의 답안을 추가로 읽는 것은 쉽지 않다. 한 반에 두 명의 한국어 교사가 배치되는 것도 바람직하지 않다. 따라서 교사가 채점하는 데는 시간이 걸리더라도 적절한 피드백을 줄 수 있고, 이해관계자들에게 긍정적인 영향을 줄 수 있는 교사가 채점하는 것이 좋다. (509쪽)

언어 능력 시험의 설계 및 개발 과정부터 실제성을 반영한 다층적 개발 사례까지 어떠한 상황에도 적용할 수 있는 단 하나의 시험이 있을까? 정답을 이야기하자면, 그런 시험은 없다. 예를 들어 학생의 ‘어휘력’을 평가하기 위해서는 평가하고자 하는 어휘의 종류(어종에 따른 구분, 일상 어휘와 전문 어휘 등), 학생의 현재 어휘력 수준, 시험이 치러지는 상황적 조건(소음, 기온, 시간 등)을 모두 고려하여 시험을 선정해야 한다. 또 시험 자체의 신뢰도와 타당도, 시험을 통해 기술할 수 있는 어휘력 수준의 내용 등이 원래의 목적과 일치하는지를 검증해야 할 것이다. 이러한 점을 고려한다면, 모든 상황에 적용 가능한 ‘최고의’ 시험이 존재하기란 불가능하다. 이 책의 목표는 크게 두 가지이다. 먼저 언어 능력 시험의 개발과 운용에 대한 이론적 기반을 다진다. 이는 시험을 개발하거나 관리하는 사람이 전문성을 갖출 수 있게 하기 위함이다. 다음으로는 독자가 스스로 시험을 선정하거나 개발하는 역량을 기르게 한다. 이것은 교육평가의 상황에서 이 책에서 다루는 이론과 사례를 실제적으로 적용할 수 있도록 하기 위해서이다. 저자인 바크먼과 파머는 언어 평가 개발과 운용에 대해 오랜 기간 연구했다. 그들은 어떤 시험이든 다수에게 적확한 시험일수록 소수에게는 잘 맞지 않을 수 있다는 결론을 내놓았다. 시험의 목적과 내용이 세밀해짐에 따라 이러한 부적절성은 천차만별로 나타난다. 따라서 언어 능력 시험을 개발하거나 운용하는 사람일수록 시험 개발에 필요한 이론과 사례를 꾸준히 살펴야 할 필요가 있는 것이다. 시험 개발 및 운용자의 입장에서 살펴본 이 책의 유용성과 활용 가능성 1부에서는 언어 능력 시험을 개발하는 데 필요한 여러 개념을 설명한다. 시험의 유용성을 판단하는 여섯 가지 특성을 소개하고, 시험 진행 과정에서 실제 언어 사용 상황을 어떻게 구조화할 것인지, 시험 결과를 통해 응시자의 언어 능력을 어떻게 기술할 것인지를 체계적으로 설명한다. 여기에서 언급되는 여러 이론과 개념은 공식적 시험 개발 상황에만 국한되지 않는다. 교사, 온라인 시험 프로그램 개발자, 관련 분야 교수 등과 협업하며 쌓은 데이터를 기반으로 연구된 것이기 때문이다. 따라서 1부의 내용은 개별적인 상황에 폭넓게 적용할 수 있다. 교실 수업에서 사용할 쪽지 시험부터 공식적인 언어 시험 제작, 언어 능력 시험의 문항을 활용한 교재 제작 등 다양한 상황에서 활용이 가능하다는 것이 이 책의 장점이다. 2부에서는 실제적인 언어 능력 시험 개발의 과정을 단계별로 나누어 제시하고 있다. 초기 단계에서는 시험 개발에 앞서 기술되어야 할 시험의 개요, 시험 구성 요소에 대한 개별적 정의, 시험의 유용성을 평가할 계획 등을 다룬다. 다음으로 시험 개발 및 운영에 소요되는 인적·물적 자원을 마련하는 법, 테스트 과제 개발과 지시문을 작성하는 과정 등 본격적인 개발 단계를 설명하고, 마지막으로 채점 방법, 테스트 시행 및 피드백 수합 절차 등 정리 단계에 해당하는 과정을 설명한다. 이 책의 장점은 3부에서 보여 주는 ‘테스트 개발 프로젝트 사례’에 있다. 1부와 2부를 통해 언어 능력 시험을 개발하는 전형적인 과정을 살폈다면, 3부에서는 이것이 실제 개발 상황에서 어떻게 적용되는지 확인할 수 있다. 대학 입학생, 전화 회사 직원, 이민자, 독일어 입문 수업 수강생 등 다양한 대상자를 대상으로 시행되는 시험이 어떻게 개발되고 운용되는지를 확인함으로써 언어 능력 시험에 대해 공부하는 학생이나 시험 개발을 준비하는 실무자에게 도움을 주고자 했다. 실무 전선에서 언어 능력 시험을 활용하는 이들의 필독서 어떤 시험이든 그것을 개발하고 운용하기 위해 필수적으로 고려해야 하는 사항이 있다. 시험을 통해 검증하고자 하는 응시자의 역량, 응시자의 기초 수준 및 응시 환경 등은 시험 개발 및 운용에 있어 어느 하나 소홀히 할 수 없는 것들이다. 『언어 능력 시험 개발의 실제』는 언어 능력 시험의 목적과 유용성을 파악하는 것부터 시험의 세부 내용을 개발하고 이를 통해 응시자에게 적절한 피드백을 제공하기까지 반드시 알아야 하는 내용을 정리한 지침서이다. 한 사람이 가진 역량을 평가하기 위해서는 모든 과정에 신중을 기해야 하고, 평가 결과가 그 사람을 온전히 대변할 수 없다는 것도 알아야 한다. 그러므로 언어 능력 시험을 개발하기 위해서는 그 과정에 필요한 이론과 개념에 대해 필수적으로 공부해야 하며 다양한 사례를 바탕으로 유용한 시험을 개발 및 운용할 수 있는 역량을 갖추는 것이 필요하다. 이 책은 한국에서 유관 업무에 종사하는 독자에게도 충분한 도움이 될 만한 내용으로 구성되었다. 여기서 소개한 내용이 국내 언어 능력 시험 개발에 유용하게 사용되기를 바란다.