이 책의 핵심은 철학과 과학 간의 대화이다 새로운 기술의 과학이 마음, 자아, 인간에 대한 우리의 철학적 이해에 문제를 제기하고 이해의 폭을 넓혀줄 수 있다. 그에 반해 철학은 의식이 있는 로봇이 존재할 수 있는지, 마이크로칩으로 뇌의 대부분을 다시 이식해도 여전히 나라고 확신할 수 있는지 등 새로운 기술이 이룰 수 있는 것에 대한 우리의 판단력을 날카롭게 해준다. 의식 있는 인공지능은 실제로 만들어지지 않을 수도 있고, 다른 비생물학적 기질에서 의식을 만들어낸다는 것은 물리학 법칙과 호환되지 않을지도 모른다. 그러나 우리가 개발하는 인공지능이 의식을 갖는지 여부를 신중하게 판단함으로써 이 문제에 접근할 수 있다. 그리고 표면적으로 인간과 유사한 인공지능을 의식 있는 것으로 바라보는 경향과 기술 공포증을 넘어 이 모든 것을 공개적으로 토론함으로써, 우리는 의식 있는 인공지능을 만들어야 하는지 여부와 그 방법을 더 잘 판단할 수 있을 것이다. 이러한 선택은 사회가 신중하게 내려야 하며, 모든 이해관계자가 참여해야 한다.

저자 : 수잔 슈나이더 철학자이자 인공지능 전문가이다. 플로리다 아틀란틱 대학교의 ‘미래 마음 센터(Center for the Future Mind)’의 창립 소장이자 디트리히 우수교수로 철학과 신경과학을 가르치고 있다. 또한 미국 의회 도서관과 NASA의 바루크 블럼버그 천문학, 탐사 및 기술 혁신 부문 의장을 맡고 있다. 저서로는 The Language of Thought: a New Philosophical Direction(2011), Science Fiction and Philosophy(2009), The Blackwell Companion to Consciousness(2006) 등이 있다. 역자 : 이해윤 서울대학교 독어독문학과에서 학사와 석사 과정을 마치고, 독일 뮌헨 대학교 이론언어학과에서 박사 학위를 취득했다. 2004년 이래로 한국외국어대학교 언어인지과학과 교수로 재직 중이다. 주 관심 분야는 의미화용론, 법언어학 등이며, 이와 관련해 다수의 논문이 있다. 저역서로는 「법언어학의 이해」(2023), 「지식망」(2018, 공저), 「화용론」(2009), 「언어정보처리를 위한 PROLOG」(2008, 공저) 등이 있다. 역자 : 김성묵 서울대학교 독어독문학과에서 학사 학위를, 서울대학교 대학원에서 전산언어학 분야로 석사와 박사 학위를 취득했다. 1989년부터 한국 IBM 소프트웨어 연구소(KSDI), 2008년부터 SK텔레콤 AI테크랩 연구원으로 재직했으며, 인간언어기술(Human Language Technology) 연구를 통해 상용 기계번역시스템 개발, 음성인식과 언어이해 기반 인공지능스피커 개발 등에 참여했다. 2015년 이래 인공지능용 언어지식(Linguistic Knowledge) 전문업체인 LK베이스 대표를 맡고 있으며, 현재 성균관대학교에서 비전임교수로 전산언어학을 강의하고 있다.

서문 의식이 있는 기계에 대한 물음 ?인공지능과의 병합 가능성 01 인공지능의 시대 특이점 ?제트슨의 오류 ?트랜스휴머니즘 ?몇 가지 경고 사항 02 인공지능 의식의 문제 인공지능 의식과 난제 ?생물학적 자연주의 ?기술 낙관주의 ?두뇌 회춘 수술 ?사고 실험의 함의 03 의식 엔지니어링 의식을 배제하다 ?비용 절감 ?의식 엔지니어링: 홍보의 악몽 ?의식 엔지니어링: 인공지능의 안전성 ?인간과 기계의 합병 04 인공지능 좀비 잡기: 기계 의식을 찾아내는 테스트들 ACT 테스트 ?칩 테스트 ?통합 정보 이론 ?사전 예방 원칙과 여섯 가지 권고 사항 ?마음과 기계의 합병에 대한 생각 탐구 05 인간은 인공지능과 결합할 수 있는가 인간의 기준 ?우리는 소프트웨어 패턴인가 06 마인드 스캔 출구? ?개인의 성장 혹은 죽음 ?기존의 기질을 버리다 ?형이상학적 겸손 07 특이점의 우주 포스트생물학적 우주 ?제어 문제 ?능동적 SETI 프로젝트 ?초지능적인 마음 ?생물학적으로 영감을 받은 초지능체 08 마음은 소프트웨어인가 뇌의 소프트웨어로서 마음 ?마음-몸의 문제 ?소프트웨어 견해를 평가하다 ?데이터 소령은 죽지 않는가? ?마음은 프로그램의 인스턴스인가 ?강, 개울, 자아 ?알코르로 돌아오다 결론: 뇌의 사후 세계 부록: 트랜스휴머니즘

인공지능이 의식이 있는 존재로 드러난다면, 우리에게 서비스를 제공하도록 강요하는 것은 노예제도와 비교될 것입니다. 의식이 있는 존재, 즉 강화되지 않은 인간에 필적하거나 심지어 그 이상의 정신 능력을 가진 존재가 안드로이드 상점에서 판매되고 있다면, 우리는 정말 마음이 편할까요? _서문, 10쪽

생물학적 자연주의자들은 의식이 생물학적 시스템의 특별한 화학적 성질, 즉 우리 몸에는 있지만 기계에는 없는 특별한 속성이나 특징에 의존한다고 주장합니다. 하지만 그러한 속성은 아직 발견되지 않았고, 설사 발견된다고 해도 인공지능이 의식을 가질 수 없다는 의미는 아닙니다. (…) 인공지능의 의식 여부를 판단하려면 특정 기질의 화학적 성질을 뛰어넘어 인공지능의 행동에서 단서를 찾아야만 합니다. _02 인공지능 의식의 문제, 32쪽

인공지능이 정교한 정보 처리를 수행하기 위해 갖춰야 하는 자질은 기계에게 의식을 불러일으키는 것과 같지 않을 수 있습니다. 그리고 인공지능 프로젝트가 관심을 두는 것은 의식을 만들어내는 자질이 아니라, 필요한 작업을 수행하고 빠르게 수익을 창출하는 데 충분한 자질입니다. _03 의식 엔지니어링, 56쪽

세계에서 가장 인상적인 슈퍼컴퓨터 중 일부는 적어도 큰 틀에서는 뇌의 작동을 반영하여 뇌 신경 구조와 비슷하게 설계됩니다. 뇌 신경 구조와 유사한 인공지능이 점점 더 뇌를 닮아감에 따라 감정적 변동성과 같은 인간의 단점을 갖게 될지도 모른다는 걱정은 당연합니다. _03 의식 엔지니어링, 60쪽

저는 윤리적 관점에서 볼 때, 적어도 우리가 신뢰할 수 있는 의식 테스트를 개발할 때까지는 고도의 인공지능이 의식을 가질 수 있다고 가정하는 것이 최선이라고 강조해 왔습니다. 조그만 실수도 인공지능이 지각 있는 존재로서 특별한 윤리적 고려를 받을 가치가 있는지에 대한 논쟁에 잘못된 영향을 미칠 수 있습니다. 따라서 안전한 방향으로 실수하는 게 낫다고 믿습니다. 기계를 지각 있는 존재로 인식하지 못하면 불필요한 고통과 괴로움을 초래할 수 있을 뿐만 아니라, 영화 〈엑스 마키나〉 또는 〈아이, 로봇(I, Robot)〉에서 볼 수 있듯 인공지능에게 자비를 베풀지 못하면 우리가 무자비하게 대했던 것처럼 인공지능 또한 우리를 괴롭힐 수 있습니다. _결론: 뇌의 사후 세계, 213~214쪽

연구 영역에서만 언급되던 인공지능(AI) 관련 개념들이 어느덧 우리 삶의 전반에 등장하게 되었다. 현재 LLM(거대언어모델)과 Transformer 등의 딥러닝 기술로 이루어진, ChatGPT로 대표되는 인공지능은 우리 생활에 직접적인 영향을 끼치고 있다. 그 결과 인류는 미래의 인공지능에 대해서도 지속적인 발전과 긍정적인 영향을 기대하게 되었다. 그러나 이런 낙관은 단지 우리의 희망일 뿐이며, 인공지능의 미래 모습은 아직 확정되지 않았다. 지은이는 철학, 신경과학의 관점에서 인공지능이 제기할 수 있는 다양한 무거운 문제들을 이해하기 쉽게 풀어내고 있다. 예를 들어, 고도로 발전된 인공지능이 인간의 의식과 같은 것을 가질 수 있는지, 우주에도 인공지능 내지 합성 지능을 가진 개체가 존재하는지, 인간의 뇌 일부분에 마이크로칩을 대체할 경우 그것이 원래의 인간과 동일하다고 볼 수 있는지, 인공지능이 탑재된 인간의 마음은 단지 소프트웨어라서 무한한 업-다운로드가 가능한지 등의 문제를 다루고 있다. 옮긴이들은 인공지능의 새로운 시대를 살고 있는 일반인들도 한 번쯤은 지은이가 언급하는 이러한 문제들을 생각해볼 필요가 있다고 느꼈다. 특히 이와 같은 철학적 문제 제기 없이 인공지능의 발전이 이루어지는 상황은 매우 위험하다고 보았다. 인류 번영에 대한 인공지능의 위협? 인공지능이 함의하는 바는 철학적으로 사고하지 못하면 의식을 가진 존재가 번성에 실패할 수 있다는 것이다 이 책의 핵심은 철학과 과학 간의 대화이다. 인공지능이 함의하는 바는 철학적으로 사고하지 못하면 의식을 가진 존재가 번성하는 데 실패할 수 있다는 사실이다. 인공지능 기술은 삶을 더 편하게 만드는 것이 아니라 인류를 고통, 죽음, 다른 의식적 존재에게 착취당하는 상황으로 몰아갈 수도 있다. 이미 많은 사람들이 인류 번영에 대한 인공지능 기반의 위협에 대해 논의했다. 해커가 핵무기 공격 시스템을 마비시키는 일부터 영화 〈터미네이터〉에서나 나올 법한 초지능적 자율 무기까지 다양한 위협이 존재한다. 이와는 대조적으로 저자가 제기하는 문제-① 의식 있는 기계의 생성 과정에서 인간이 간과하는 시나리오, ② 급진적인 뇌 강화와 관련된 시나리오-는 세간의 주목은 덜 받고 있지만 굉장히 중요하다. 고도의 범용 인공지능(AGI: artificial general intelligence)을 개발한다고 가정해보자. 이 인공지능은 한 종류의 지적 작업에서 다음 작업으로 유연하게 전환할 수 있고, 추론 능력에 있어서도 인간과 경쟁할 수 있다. 이런 기계는 하나의 자아이자 동시에 경험의 주체로서, 즉 본질적으로 의식을 갖고 있다고 봐도 무방할 것이다. 인공지능의 가치를 평가하는 핵심 근거는 무엇일까? 21세기에 접어들면서 인간이 지구상에서 가장 지적인 존재가 아닐 수도 있다는 가능성을 인정해야 한다 기계 의식을 만드는 방법이나 가능성에 관해서는 아직 알려진 바가 없다. 그러나 인공지능이 경험을 가질 수 있는지 여부는 우리가 인공지능의 가치를 평가할 때 핵심 근거가 될 것이라는 사실만큼 분명하다. 의식은 인간 도덕 체계의 철학적 초석이며, 누군가 또는 무언가가 단순한 로봇이 아닌 인간 내지 자아인지 여부를 판단하는 데 중심이 되기 때문이다. 만약 내가 구글이나 페이스북의 인공지능 책임자라면 향후 프로젝트를 구상할 때 의도치 않게 의식 있는 시스템을 설계하는 윤리적 혼란을 겪고 싶지 않을 것이다. 의식이 있는 시스템을 개발하면 인공지능의 노예화라는 비난으로 이어질 수 있으며 심지어는 특정 분야에서 인공지능 기술 사용이 금지될 수도 있다. 장기적으로는 전세가 인간에게 불리하게 돌아갈 수 있다. 문제는 우리가 인공지능을 해치는 것이 아니라 인공지능이 우리를 해치는 것일 수 있다. 실제로 일부에서는 합성 지능이 지구상에서 지능 진화의 다음 단계가 될 것으로 예상하고 있다. 지금 우리가 세상을 살아가고 경험하는 방식은 인공지능으로 가는 중간 단계, 즉 진화 사다리의 한 단계에 불과하다는 입장이다. 예를 들어 스티븐 호킹, 닉 보스트롬, 일론 머스크, 맥스 테그마크, 빌 게이츠 등 많은 이들은 인공지능이 인간을 능가할 경우 인간이 자신이 만든 인공지능을 어떻게 제어할 수 있을지에 대한 문제를 제기했다. 우리가 인간 수준의 지능을 가진 인공지능을 만든다고 가정해보자. 그 인공지능은 자기 개선 알고리즘과 빠른 계산을 통해 인간보다 훨씬 더 똑똑해질 수 있는 방법을 빠르게 발견할 수 있을 것이다. 이런 초지능을 우리가 통제하지 못하는 건 당연하고, 이론적으로는 인간을 멸종시킬 수도 있다. 합성 지능이 생명체의 지능을 대체할 수도 있는 것이다. 또는 인간이 상당한 뇌 강화를 누적하여 인공지능과 통합되는 대안도 있다. 하지만 우리가 놓치고 있는 것은 인공지능이 ‘인간’을 평가하는 방식에서도 의식이 핵심이 될 수 있다는 가능성이다. 초지능적인 인공지능은 자신의 주관적인 경험을 발판 삼아 인간의 의식적인 경험의 능력을 알아볼지도 모른다. 우리가 인간이 아닌 동물의 생명을 소중히 여기는 것은 의식을 가진 존재에 친밀감을 느끼기 때문이며, 따라서 우리 대부분은 침팬지를 죽일 때는 움찔하지만 오렌지를 먹을 때는 움찔하지 않는다. 만약 초지능적인 기계가 어떤 이유로든 의식을 갖지 못한다면, 인간은 곤경에 처할 수 있다. 이러한 문제를 우주 전체라는 더 큰 맥락에서 바라보는 것이 중요하다. 다른 행성에서 생명체를 찾을 때 수준 높은 외계 지능은 생물학적 문명에서 진화한 인공지능, 즉 ‘포스트생물학적’ 지능일 수 있다. 이러한 인공지능이 생물학적 지능을 대체할 때 의식을 갖지 못하게 된다면, 우주에는 의식을 가진 존재들이 사라질 것이다. 인공지능 의식이 중요하다면, 우리는 인공지능 의식을 만들 수 있는지, 그리고 우리가 인공지능 의식을 만들었는지 알아야 한다.