인간 소통의 총체성을 포착해 온 멀티모달 말뭉치 연구의 30년 ‘보이는 대화, 들리는 제스처’라는 이 역설적인 표현은 멀티모달 커뮤니케이션의 본질을 담고 있다. 대화는 귀로만 듣는 것이 아니라 눈으로도 ‘보는’ 것이며, 제스처는 눈으로만 보는 것이 아니라 그 의미로서 ‘듣는’ 것이다. 인간의 소통에서 언어와 비언어, 청각과 시각, 음성과 동작은 분리될 수 없는 하나의 통합된 메시지를 형성한다. 이처럼 복합적인 소통양식을 기록하고 분석하려는 노력이 바로 멀티모달 말뭉치 연구이다. 『보이는 대화, 들리는 제스처: 멀티모달 말뭉치 30년의 여정』은 지난 30년간 전 세계에서 구축된 멀티모달 말뭉치의 역사를 체계적으로 정리하며, 언어학·심리학·전산학이 교차하는 대화 연구의 결정적 전환점들을 그려낸 학술서이다. 이 책은 포스트휴먼적 소통의 총체적인 모습을 어떻게 경험적으로 포착할 것인가라는 한 가지 질문에서 출발한다. 그 대답으로 지난 30년간 1990년대 생체인식 데이터 수집에서 출발해 오늘날 인공지능 학습의 핵심 인프라로 진화하기까지, 멀티모달 말뭉치의 흐름을 다섯 세대로 구분하여 살핀다. 각 시대별로 AMI, IEMOCAP, FOLK, CEJC, CANDOR 등의 사례를 통해 인간 소통의 총체성을 깊이 있게 탐구한다. 이를 통해 음성과 텍스트라는 분절된 기호를 넘어 제스처, 시선, 사물, 공간까지 통합적으로 기록해 온 연구 패러다임의 전환을 조명한다. 나아가 국립국어원과 AI Hub를 중심으로 한 한국어 멀티모달 말뭉치의 현주소를 진단하고, ‘보존용 마스터’와 ‘분석용 프록시’를 병행 구축하는 ‘이중 트랙 전략’을 미래의 핵심 패러다임으로 제안한다. 기술과 언어, 인간과 기계의 경계를 넘나들며 소통의 다층적 본질을 파고드는 이 책은, 연구자와 독자 모두에게 멀티모달 커뮤니케이션의 새로운 지평을 여는 안내서가 될 것으로 기대한다. 인간의 목소리만이 아니라 손짓, 시선, 그리고 그 사이에 놓인 사물과 기술까지 인간과 비인간 행위자들이 함께 직조해 내는 의미의 네트워크를 탐구하는 연구 여정에, 이 책이 길잡이가 되기를 소망한다.

여는 글 제1장 서론 1.1. 연구 배경 및 문제 제기 1.2. 연구 목적 및 범위 제2장 멀티모달 말뭉치의 발전 양상과 현황 2.1. 시대별 발전 과정 2.1.1. 제1세대: 태동기(1990년대 후반) - 제어된 환경에서의 멀티모달 융합 가능성 탐색 2.1.2. 제2세대: 확장기(2000년대 중반) - 복잡한 상호작용 분석으로의 전환 2.1.3. 제3세대: 심화기(2000년대 후반) - 감성 및 비언어적 표현의 정밀 측정 2.1.4. 제4세대: 자연성 추구(2010년대) - '현실 세계' 데이터로의 회귀 2.1.5. 제5세대: 대규모화 및 현실 세계 문제 해결(2020년대 초반) - 규모, 심리, 그리고 강건성 2.2. 연구 분야별 진화 패턴 2.2.1. 전산학 분야: 기술적 합리성과 측정 가능성의 추구 2.2.2. 심리학 분야: 인간 행동의 과학적 측정에서 사회적 상호작용 이해로 2.2.3. 언어학 분야: 언어 현상의 정밀한 기술에서 상호작용 이론으로 2.2.4 융합 연구: 단일 학문 → 학제간 협력 → 통합 플랫폼 2.2.5. 한국어 멀티모달 말뭉치 구축을 위한 시사점 2.3. 지역적 연구 동향 2.3.1. 유럽: CLARIN 인프라 중심의 표준화와 보존 전략 2.3.2. 북미: 대규모 데이터와 자동화 기술 선도 2.3.3. 아시아: 언어적 다양성과 문화적 맥락 반영 2.3.4. 한국: AI 우선 구축 패러다임과 그 한계 분석 제3장 연구 분야별 말뭉치 특성 분석 3.1. 전산학 분야 말뭉치: 기술적 도전에서 실용적 응용으로 3.1.1. M2VTS(1997): 멀티모달 융합 패러다임의 확립 3.1.2. AMI 회의 말뭉치(2006): 복잡한 상호작용으로의 확장 3.1.3. CANDOR(2023, 2025): 대규모 자연 대화와 자동화 패러다임 3.1.4. MISP(2025): 실세계 강건성과 기술적 도전 3.2. 심리학 분야 말뭉치: 인간 행동의 과학적 측정에서 사회적 상호작용 이해로 3.2.1. Belfast Naturalistic Database(2005): 자연적 감정 유도와 생태학적 타당성의 추구 3.2.2. IEMOCAP(2008): 통제된 환경에서의 정밀한 멀티모달 측정 3.2.3. SEMAINE(2012): 인간-에이전트 상호작용과 연속적 감정 모델링 3.2.4. CANDOR의 심리학적 기여(2023): 대규모 개인차 연구와 관계 형성 분석 3.2.5 심리학 분야 말뭉치의 일상대화 구축에 대한 시사점 3.3. 언어학 분야 말뭉치: 언어 현상의 정밀한 기술에서 상호작용 이론으로 3.3.1. FOLK(2014-): 독일어 구어의 체계적 변이와 자연 발생 대화 3.3.2. CEJC(2022): 일본어 일상대화와 동아시아적 상호작용 패턴 3.3.3. GEHM Zoom(2024): 온라인 환경에서의 멀티모달 대화분석 3.3.4. 언어학 분야 말뭉치의 일상대화 구축에 대한 시사점 제4장 비판적 성찰 4.1. 서론 4.2. 기초의 딜레마: 대표성, 균형성, 자연성 4.2.1. 제어된 환경의 선택: 자연성과 통제의 상충관계 4.2.2. ‘현실 세계’로의 회귀: 자연성 추구와 그 대가 4.2.3. 규모의 역설: 대규모 데이터와 새로운 불균형 4.3. 기술적 성취와 한계: 동기화, 일관성, 그리고 품질의 문제 4.3.1. 동기화 기술의 비약적 발전 4.3.2. ‘기술적 품질’에 대한 근시안적 정의와 그 대가 4.4. 지속가능성의 실패: 확장성, 재사용성, 안정성의 부재 4.4.1. 디지털 유물의 탄생: 원인과 결과 4.4.2. 지속가능성을 위한 제도적 해법: CLARIN의 교훈 4.5. 우리는 무엇을 위해, 누구를 위해 작업하는가? 4.5.1. 목적의 딜레마: 특화와 범용 사이의 긴장 4.5.2. 윤리 의식의 진화: ‘데이터 소스’에서 ‘연구 협력자’로 4.6. 한국어 멀티모달 말뭉치의 현주소: 국가 주도 패러다임의 성취와 과제 4.6.1. 서론: 두 개의 축, 국립국어원과 AI Hub 4.6.2. 언어 자원의 기록과 보존을 향하여: 국립국어원의 말뭉치 4.6.3. AI 기술 개발의 시험대: AI Hub의 목적 특화 말뭉치 4.6.4. 종합 평가 및 미래 과제 4.7. 소결: 30년의 교훈과 새로운 질문 제5장 기술 변화의 전망과 전략 Part 1. 기술변화의 전망 5.1. 포착 기술의 미래: 현실을 복제하다 5.2. 분석 기술의 미래: 무엇을 넘어 왜를 추론하다 5.2.1. 인체 포즈 추정의 현재 수준과 기술 발전 동향 5.2.2. 멀티모달 상호작용 분석의 핵심 분류 체계 및 분석 적용 방식 5.2.3. 의미 추론 기술의 종합적 전망 5.3. 상호작용 양식의 미래: 현실이 확장되다 Part 2. 현재의 실천과 미래를 위한 전략 5.4. 이중 트랙 전략: 현재를 위한 실천과 미래를 위한 보존 5.5. 실천 방법론 1: 이중 산출물의 원칙 5.6. 실천 방법론 2: 분리 가능한 분석의 원칙 5.7. 실천 방법론 3: 최대 해상능의 원칙 5.8. 소결: 변화의 파도 속에서 길을 찾는 전략 제6장 결론 및 제언 6.1. 연구의 종합과 성찰 6.2. 한국어 멀티모달 일상대화 말뭉치 구축 6.3. 맺음말 부록 A: 멀티모달 말뭉치 연구 용어 해설 부록 B: 뇌·생리신호 기반 멀티모달 공개 데이터셋 개관 부록 C: 멀티모달 대화 말뭉치 프로젝트 착수 체크리스트 부록 D: IAA 프로토콜과 계산 템플릿 부록 E: 주요 축약어 목록 참고문헌 찾아보기