이 책은 1장에서 데이터 시대의 언어학의 이론적?방법론적 기반을 소개하고 제2장에서는 말뭉치 언어학과 말뭉치에 대한 기초적인 내용을 다루었습니다. 제3장에서는 이미 구축된 말뭉치 정보와 이용 방법을 안내하며, 제4장에서 기본적인 원시 말뭉치를 구축하는 방법을 소개하였습니다. 제5장에서는 어휘 분석 말뭉치와 문장 및 담화를 위한 원시 말뭉치를 구축하는 방법을 다루었습니다. 제6장에서는 JSON 구조로 구축된 말뭉치를 활용하는 방법을 소개하였습니다. 제7장과 제8장은 말뭉치를 활용한 연구의 실제를 보인 것으로 제7장은 공기 관계 분석과 네트워크 분석 사례를, 제8장은 대화 말뭉치 데이터를 분석하는 방법을 담았습니다. 기본적인 내용이지만 데이터 활용법에 어려움을 겪었던 데이터 기반 인문학 분석의 입문자들에게 도움이 되기 바랍니다.

저자 : 최준 전남대학교 국어국문학과 조교수 저자 : 초심념 전남대학교 국어국문학과 박사수료 저자 : HoangToTrang 전남대학교 국어국문학과 석사과정 저자 : 이수진 전남대학교 국어국문학과 BK21 학술연구교수 저자 : 강영란 전남대학교 국어국문학과 박사수료 저자 : 남귀옥 전남대학교 국어국문학과 박사수료 저자 : 런멍지에 전남대학교 국어국문학과 박사수료 저자 : 르우티낌옌 전남대학교 국어국문학과 박사수료 저자 : 박찬우 전남대학교 국어국문학과 석사과정 저자 : 안진 전남대학교 국어국문학과 박사수료 저자 : 전철한 전남대학교 국어국문학과 박사수료

머리말 / 4 제1장 데이터 시대의 언어학의 이론적ㆍ방법론적 기반 / 9 도입 / 10 말뭉치 언어학의 바탕: 퍼스 언어학 / 11 데이터 기반 말뭉치 언어학의 정립과 인공지능 시대의 말뭉치 언어학 / 17 제2장 말뭉치 살펴보기 / 21 말뭉치와 말뭉치 언어학 / 22 말뭉치 구축과 활용 / 23 말뭉치 파일 유형에 대한 이해 / 25 제3장 말뭉치 정보 모아보기 / 31 말뭉치의 유형 / 32 국내 말뭉치 정보 및 이용 방법 / 34 제4장 말뭉치 구축의 기초 / 47 도입 / 48 원시 말뭉치 구축하기 / 49 제5장 다양한 말뭉치 구축하기 / 65 어휘 분석을 위한 말뭉치 구축하기 / 66 문장 및 담화 분석을 위한 원시 말뭉치 구축하기 / 73 제6장 말뭉치 활용의 기초 / 81 말뭉치 활용의 기초 이해하기 / 82 JSON 파일의 기본 구조 이해하기 / 84 Python으로 JSON 데이터 불러오기 / 86 Python으로 JSON 데이터 추출하기 / 91 제7장 말뭉치를 활용한 연구의 실제(1) / 99 데이터 전처리하기 / 100 공기 관계 분석하기 / 108 네트워크 분석 사례 / 125 제8장 말뭉치를 활용한 연구의 실제(2) / 135 대화 말뭉치 데이터 구축하기 / 136 엑셀을 활용하여 데이터 분석하기 / 139 참고문헌 / 149

제1장 데이터 시대의 언어학의 이론적ㆍ방법론적 기반
ㆍ도입
21세기 초에 해당하는 지금, 우리는 스마트폰의 인공지능 비서가 소유자의 음성을 변별하고, 자연어로 된 질문에 유사 자연어로 답하거나 명령을 수행하는 시대에 살고 있다. 나아가 빅데이터에 포함된 인간 지식 내용과 구조에 대한 학습을 통해 개발된 인공지능은 인간의 지식을 재구조화하여 인간에게 마치 새로운 것으로 인식되는 지식을 다시 제공하는 수준에 이르고 있다. 그렇다. 우리는 바로 이전 세기의 공상 소설이나 만화 속에서 상상했던 기계가 인간과 자연스럽게 지식 혹은 유사 지식을 공유하는 일이 현실에서 그대로 재현되는 것을 목격하고 있다. 인간 행위의 효율성을 넘어 인간 행위 자체, 인간 행위의 흔적에 대한 관심을 특징으로 하는 4차 산업 혁명 시대가 도래하는 데, 좀 더 직접적으로 표현하자면 바야흐로 인공지능 시대 이전과 이후의 차이를 만드는 데 기여한 핵심이 무엇인가를 생각해 보면, (분야에 따라 그 답이 서로 다르겠지만)자연어 사용자인 인간과 인공언어 사용자인 컴퓨터 사이의 의사소통의 혁신이 큰 기여를 했다는 것을 빼놓지는 못할 것이다.
이른바 인공지능 시대에 컴퓨터가 인간의 언어 사용을 분석해 의미를 이해하고 반응할 수 있도록 하는 인간과 컴퓨터 간의 의사소통 혁신은 컴퓨터 공학적 측면에서의 기술 발전뿐 아니라 언어학 분야에서의 연구 발전 및 새로운 개념 도구 제시가 동시에 이루어졌기에 가능했다. 언어학에서 언어 텍스트를 기계 가독형 데이터로 가공하여 진짜 언어 사용 양상 분석을 본격적으로 수행한 움직임은 20세기 후반부터 주목을 받은 말뭉치 언어학 연구의 흐름 안에서이다. 말뭉치 언어학 내에서 주류로서 신퍼스 학파(neo- Firthian)로 불리는 싱클레어와 그의 동료들이 데이터로서의 언어학에 대한 이론적, 방법론적 접근법을 제공한 연구자들로 자주 언급되며, 그들의 연구 성과는 인공지능 시대의 언어학에서도 자주 언급된다.
인공지능 시대는 데이터의 시대라는 말로 치환할 수 있다. 이 책은 데이터 시대의 인문학, 그 가운데서 데이터 시대의 언어학의 이론과 방법론적 단편을 논의하고자 기획되었으며, 이 장은 데이터 시대의 언어학의 배경에 대해 탐색하고자 한다. 아래에서는 앞서 언급한 퍼스와 신퍼스 학파의 이론적, 방법론적 배경에 대해서 짧게 논의하고, 그러한 배경에서 중요하게 논의되는 개념적 도구들에 대해 개괄적으로 논의한다.
ㆍ말뭉치 언어학의 바탕: 퍼스 언어학
- 퍼스 언어학의 일반적 지향점
데이터 시대의 언어학, 데이터 기반?주도 언어학의 한 주류적 흐름에 해당하는 말뭉치 언어학의 시작점을 이해하기 위해서는 퍼스 언어학이 태동할 당시의 전반적인 언어학의 흐름을 살펴보는 것이 도움이 될 것이다. 이를 위해 언어학 전통의 줄기를 빠르게 요약한다면, 그리스- 로마 전통의 언어학의 한 줄기와, 인도 전통의 언어학의 또 다른 줄기로 나누어 살펴볼 수 있다. 전자의 특성을 또다시 간편하게 속기한다면 그것은 대체로 철학적이며 이론 지향적 특성을 가졌으며, 규칙과 변칙에 대한 문법적인 질문에 대한 답을 추구하고자 하는 데 초점을 둔다고 할 수 있다. 반면에 후자는 경험주의적이며, 자료 지향적인 과학적 속성을 갖는 것으로 이해할 수 있다. 시간을 훌쩍 뛰어넘어 이러한 언어학 전통은 다음 장에서 상세히 논의하는 20세기의 생성 언어학과 말뭉치 언어학의 전개에서 그 과학적 속성이 각각 전개되는 것으로 일반적으로 평가된다. 언어 체계 내에서 언어 요소가 갖는 유기적인 관계를 강조한 소쉬르의 구조주의 언어학과 실제 언어에 대한 분석에 초점을 둔 미국의 기술주의 언어학의 전개에 대한 반작용으로, 촘스키의 생성문법이 주창되고 이후 변형생성문법의 시대가 20세기 중반부터 후반까지 지속되었다.
생성언어학의 태동으로 평가받는 Chomsky(1965)의 연구가 발표되기 수년 전, 다른 한편에서는, 20세기 후반부터 비약적인 발전을 거듭하고 있는 인공지능 시대의 언어학의 이론적, 방법론적 토대가 되는 또 다른 언어학의 흐름인 퍼스 언어학이 그의 1957년 논저의 발표로서 세상에 소개되기 시작했다. 이후 Firth(1957)의 관점은 할리데이로 대표되는 호주 언어학 전통의 체계 기능 언어학과 싱클레어로 대표되는 유럽 언어학 전통의 말뭉치 언어학에서 수용된다. 특히 후자는 컴퓨터의 발전과 보급이라는 도구적 요건을 충족하면서 비약적으로 발전하였고, 동시에 1990년대 기계 번역의 시도와 실패 과정에서 촘스키식 언어학의 한계가 드러나면서, 2000년을 전후하여 언어학의 주류 중 하나로서 자리매김하게 된다. 또한 말뭉치 언어학은 기계 가독형 자료로서의 언어 분석에 있어 방법론적?이론적 도구를 제공한다는 점에서 오늘날 인공지능의 광풍이 불고 있는 시대, 자연어처리 모형의 이론적 바탕을 제공할 수 있을 것으로 평가되고 있다.
“내 생각에, 완전히 공리화된 수학적 언어학은 진정한 경험적 과학에서 실행 가능하지 않을 것이며, (…) 아마도 죽은 언어에만 적용할 수 있는 죽은 기술 언어가 될 것이며, 아마도 어떠한 효과적인 결과를 갖지도 못할 것이다.”
(Firth 1955: 99)
언어학 전통을 이론주의와 경험주의라는 두 가지 사조로 단순히 이분법적으로 제시한 것을 기준으로 한다면, 퍼스가 그의 연구에서 직접 밝힌 대로, 퍼스의 언어학은 이론주의보다는 경험주의적 접근에 가깝다고 할 수 있지만, 이것은 너무나 간략한 축약이다. 퍼스 언어학의 지향점에 대한 Oyelaran(1967: 435-436)의 평가에서 확인할 수 있듯 그의 언어학은 이론과 경험을 포괄하는 복합적인 접근을 지향하고 있다.
“(…) 이론 전체는 경험적 지식의 크기를 참조하여 현재 상황에서 시작된다. 이론적 타당성이 숨겨지거나 모호해지지 않도록 방법과 절차의 과도한 사용을 피해야 한다. 소위 '사실'의 축적에 대한 열정, 아마도 결함이 있는 이론적 원리를 기반으로 통계적으로 다루어지는 사소한 것들의 누적은 모두 우리 가운데 증가하는 ‘과학적 기술자(scientistic technician)’들 사이에서 너무 흔한 증상이다. 언어학이 방법론에 더 깊이 관여해서는 안 되지만 이론적 질서를 유지하기 위해서는 특별한 노력이 필요하다.”
(Firth 1957: 1)
Firth(1957: 1)에서 스스로 밝혔듯이 그는 방법론적 심취를 경계하면서 이론적 틀에 대한 안정성을 유지할 필요성을 강조하였다. 다시 말해, 퍼스의 이론은 경험적인 지식의 축적을 기반으로 한다는 사실과 그에 따라 이론과 경험을 분리한 접근을 채택하기보다는 경험적 사실을 통해 축적한 이론을 추구한 것으로 볼 수 있다. 이때 퍼스 언어학이 추구하는 이론은 기존의 이론주의 언어학에서 추구하는 ‘일반 언어 설명을 위한 보편 이론이 아니라 특정한 언어 기술을 위한 일반 언어 이론’(Firth, 1957: 21)이다.
- 상황 맥락 이론
앞 절에서 언급한 바와 같이, 퍼스가 추구한 언어 이론은 경험적 자료를 기반으로 한 언어 기술을 위한 일반적인 언어 이론에 해당한다. 이 지점에서 우리는 언어적 발화는 언어 형식만이 존재하는 진공 상태에서 발생하는 것이 아닌, 사회 과정의 복합적인 상황에서 발생하는 것이라는 퍼스의 강조를 상기할 필요가 있다. Firth(1957: 7-8)에서 직접적으로 비교하여 언급했듯이, 비슷한 시기에 상황 맥락을 개념 규정한 말리노프스키가 상황 맥락을 가끔씩 ‘창의적인’ 의미를 갖는 행동 기반으로서 가볍게 여긴 것과 달리, 퍼스는 그의 이론에서 상황 맥락을 사회적 과정에서 전형적으로 ‘반복되는 사건’에 적용하기 위한 기본적이면서도 중요한 구조로 설정하였다.
“이론의 중심적인 제안은 의미나 기능을 일련의 구성 요소적 기능들로 분리하는 것이다. 각 기능은 어떤 문맥과 관련하여 어떤 언어 형식이나 요소를 사용하는 것으로 정의된다. (…) 곧 우리는 언어 형태가 가질 수 있는 전체적인 기능의 복합체를 사용하는 것이다. 이 전체 의미의 주요 구성요소는 내가 부가 기능이라고 일컫는 음성적 기능, 주요 기능들이라고 일컫는 어휘적, 형태적, 통사적 기능, 그리고 상황 맥락의 완벽한 언표적 기능, 또는 전형적인 상황 맥락의 기능입니다.”
(Firth 1957: 5-6)
퍼스가 말한 ‘구성요소적 기능’은 특정한 맥락과 특정한 언어 형식이나 구성요소의 관계를 나타낸다. 다시 말해, 퍼스는 언어 사용의 의미 또는 기능을 개별적이면서 구성적인 맥락적 관계의 총합체로 제안하는데, 퍼스에게 있어서 ‘의미’는 곧 ‘맥락 내에서의 기능’과 동일시된다. Firth(1957: 5)에서는 경험적 자료로서의 언어 텍스트의 구성요소적 기능에 포함되는 관계를 다음과 같이 하위범주화하였다.
(1) 내부 관계
ㄱ. 다양한 층위에서 고려되는 구성 요소들 간의 통합적 관계: 연접 범주의 문법적 구조와 음운론적 구조 등
ㄴ. 구조 요소에 값을 부여하기 위해 설정된 체계 내에서 대체 가능한 어휘 또는 단위의 계열적 관계
(2) 상황적 관계
ㄱ. 상황 맥락 내에서의 내적 관계
ㄴ. 텍스트의 일부(단어 또는 단어의 일부)와 특별한 구성 요소, 항목, 대상, 사람 또는 상황 내 사건 사이에 설정된 분석적 관계
(1)은 언어 텍스트의 내적 관계를 범주화한 것으로 다음 절에서 보다 상세히 논의하는 의미적 운율 이론과 관계된다. 이를 간단히 살펴보면, (1ㄱ)은 어떤 언어 단위 혹은 요소가 음운적, 어휘적, 통사적 층위 등의 다양한 수준의 맥락에서 통합하는 관계를 규정한 것이다. 여기서 어휘적 층위에서 어떤 언어 단위와 긴밀한 단어 사이의 통합 관계를 퍼스는 연어(collocation)로 규정하였으며, 통사적 층위에서 특정한 언어 단위와 긴밀한 통사적 기능이나 유형 사이의 상호 관계를 연접 범주(colligation)로 규정하였다. 퍼스의 이와 같은 술어 개념의 설정은 다음 장에서 논의되는 말뭉치 언어학의 핵심 술어 개념으로 그대로 수용된다. (1ㄴ)은 음운, 어휘, 통사적 층위에서 보다 추상화된 텍스트 내적 관계를 나타내는데 이는 이후의 말뭉치 언어학의 이론 전개에서 스텁스(Stubbs)의 의미적 선호(semantic preference) 혹은 호이(Hoey)의 의미적 연상(semantic association)과 같은 술어 개념으로 수용되는 개념을 이른다.
당시의 언어학이 언어를 형식과 의미, 언어 능력과 언어 수행 등의 이분법적인 체계로 형성된 것으로 보고 언어 연구의 초점이 그중 내재적인 언어 요소에 침잠되고 있었던 것과 달리, 퍼스의 상황 맥락 이론은 언어를 일원론적인 체계, 즉 통합적인 체계로 보았으며, 내재적 요소와 상황적 요소의 통합적인 복합체 자체로 보고 상황 맥락이라는 인간 언어의 사용 맥락을 보편적으로 편재하는 요소로 언어 분석에 적극적으로 끌어왔다. 그리고 이와 같은 퍼스의 상황 맥락 이론은 오늘날 개별 장르와 사용역에 따른 세밀하면서 구분된 언어 사용에 대한 분석의 필요성이 요구되는 인공지능 시대 언어학의 기본적인 분석의 출발점과 일치한다.
- 의미적 운율 이론
퍼스의 연구에서 ‘운율(prosody)’이라는 용어는 ‘음운(phonologic)’ 혹은 ‘분석(analysis)’과 같은 술어와 빈번하게 인접하여 사용되었다. 이 절의 제목에 포함된 ‘의미적 운율’이라는 용어는 신퍼스 학파의 대표적 연구자인 싱클레어가 그의 연구에서 주로 사용한 용어로, 퍼스 자신이 그의 연구에서 해당 용어를 중요한 술어로서 사용한 것은 아니다.