인간을 대신하여 결정할 권한을 넘겨 받은 AI 무책임한 AI ‘때문에’ 무고한 시민이 체포되거나, 유죄 판결을 받거나, 심지어 목숨까지 잃고 있다 정말 AI 때문일까? 눈도 코도 입도, 심지어 마음도 없는 AI. 하지만 인간은 왜 이토록 AI를 신뢰하고, AI의 결정이라면 아무런 반박도 하지 않고 따르려고만 하는가? AI를 창조해낸 것이 바로 인간이라는 점을 고려해봤을 때 이런 AI 맹종 현상은 설명이 불가할 정도로 신기한 부분이 있다. AI 맹종이라는 말에 동의하기 어려운가? 그렇다면 현재 AI가 처리하고 있는 일의 범주를 살펴보자. 거의 ‘전능하다’라고 할 정도다! 취업 서류심사, 채용 면접, 은행 대출 심사, 법원 판결 보조, 범죄 리스트 등재, 테러리스트 색출, 자율주행차 운행... 인간들이 하고 있는 일을 몽땅 AI에게 던져버렸나 싶을 정도로 일의 종류도 다양하지만, 심지어 인간의 목숨을 좌지우지하는 일까지 AI가 맡고 있다는 점은 놀라울 정도다. AI 때문에 사라지거나 사라질 인간의 직업 리스트는 지금도 계속 업데이트 중이며, 사람과 AI와의 ‘경쟁’에서 사람이 패배하는 것은 불을 보듯 뻔하다는 서사가 계속해서 확산하고 있다. 이것은 마치 ‘인간이 AI보다 더 열등하고 더 부정확하며 오류가 잦다’라는 전제가 참이라는 것처럼 들린다. 하지만 과연 그럴까? 이 책은 현재 지구촌에 무차별적으로 확산되는 AI 맹신 현상을 구체적인 사례들을 통해 ‘역시 AI는 기계에 불과하며 인간의 철저한 관리 감독을 통해서만 제 기능을 발휘할 수 있다’라며 바로잡아 주는 역할을 한다. 뿐만 아니라, 우리가 ‘내 탓이 아니에요, AI가 그랬어요’라고 요리조리 책임을 회피하며 방패막이로 이용하던 AI에서 방패의 지위를 빼앗고, ‘모든 무거운 책임은 인간에게 있다’라는 아프지만 진실인 명제를 마주하게 한다. 저자인 카트리나 츠바이크는 오류를 저지르는 AI와 그것을 맹신하는 인간의 마음속 현상을 직접 다루지는 않는다. 하지만 구체적이고 능수능란한 단계적인 사례 제시를 통하여, 인간의 심연에서 어떤 일이 벌어지고 있을지를 마치 추리소설을 읽으면서 범인을 예상할 때처럼 독자가 스스로 유추해 나가도록 이끈다.

1장 인공지능이 판단하는 세상 1부 기계는 어떻게 결정을 내리는가 2장 알고리즘의 성차별 3장 정보과학의 작은 ABC 4장 기계는 신용도를 평가하는 법을 어떻게 배울까? 알고리즘, 휴리스틱, 그리고 모델 5장 1부 요약 2부 인공지능이 만들어낸 문제들 6장 얼굴을 인식할 수 없습니다 7장 억울하게 체포된 남자 8장 왜 나는 집을 찾을 수 없을까? 9장 내 돈은 어디 갔지? 10장 인스타그램에서 우울증을 감지하는 법 11장 챗지피티는 왜 나를 히틀러의 오른팔로 만들까? 12장 일레인 허츠버그는 왜 죽어야 했을까? 13장 2부 요약 3부 왜 이렇게 되었는지 알아야 할 때 14장 검증 가능한 결정과 검증 불가능한 결정 15장 언어행위는 언제 성공하는가? 16장 컴퓨터가 내 글에 점수를 매길 수 있을까? 17장 계정이 갑자기 정지된 이유 18장 내가 테러리스트라고? 19장 인공지능과 ‘일반적인 절차’의 학습 20장 가치판단이 자동화될 수 있을까? 21장 3부 요약 4부 우리는 앞으로 어떻게 결정을 내릴 것인가? 22장 자동화된 의사결정 시스템을 활용하면 어떤 점이 더 나을까? 23장 나의 알고리즘을 언제 사용할 수 있을까? 24장 영리한 한스, 어떻게 그렇게 할 수 있니? 25장 이의 제기는 가치가 있다 26장 4부 요약 주

오늘날 최초로, 기계들이 인간의 행동을 평가하기 시작했다. 대부분 ‘인공지능’(줄여서 AI)이라 불리는 기계들이다. 온라인 상점에서 상품을 추천하는 일이나 외국어를 번역하는 일에서 인공지능이 꽤나 진보를 보여주고 있다 보니, 정보과학이나 경제 분야에서는 컴퓨터가 쇼핑보다 더 복잡한 상황에서도 인간을 평가할 수 있지 않을까 하는 생각이 확산되었다. 나는 컴퓨터과학 분야에서 오래 연구를 해왔지만, 이러한 생각에 동의하지는 않는다. 그리고 그렇게 생각하지 않는 것은 나만이 아니다.
그럼에도 오늘날 의사결정 시스템은 여러모로 활용되고 있다. 학생들이 쓴 에세이의 점수를 내는 기계도 있고, 범죄자의 재범 가능성을 평가하는 기계도 있다. 지원자가 그 직장에 얼마나 적임자인지, 과연 미래에 성공적으로 일을 할 수 있을지를 평가하는 기계도 있다.
〈1장 인공지능이 판단하는 세상〉

알고리즘 자체는 정확해도, 그것이 상황에 맞지 않을 수도 있다. 그리하여 은행이 그냥 ‘알고리즘 탓’을 하는 것으로는 충분하지 않다. 알고리즘이 그 자체로 합리적이고, 상황에 적절하다는 점이 명확해야 한다. 알고리즘을 활용해 신용한도를 계산한다고 해서 그것이 신용도를 정확히 평가하는 방법이라는 보장은 없다. 알고리즘으로 계산한다고 결정의 품질이 좋다고 할 수 없다. (중략) 즉 기계가 통계 모델을 계산하고, 이에 기초해 기계적 의사결정이 내려지기 전, 모든 알고리즘의 배후에는 우선 개발자들 머릿속의 모델이 존재한다. 그리고 기계가 계산한 의사결정을 이해하고 신뢰하려면 대부분은 이 두 모델, 즉 인간 모델과 기계 모델을 이해해야 한다.
〈2장 알고리즘의 성차별〉

고용주가 입력한 정보와 복지금 수급 신청자가 입력한 정보 사이에 불일치가 보이는 경우, 미다스 시스템은 이를 신청자의 속임수로 판단했다. 정당하게 사회복지 지원금을 신청했는데도 이런 오류가 발생할 수 있었다. (중략) 인간 직원이 심사하는 경우 이런 일은 발생하지 않는다. 이것은 소프트웨어의 모델링 오류로, 사회복지법을 잘 모르는 개발자가 소프트웨어를 성의 없이 개발한 탓이 크다.
하지만 이제 문제는 기계가 성급하게 판결을 내렸을 뿐만 아니라, 판결이 내려진 즉시 집행되었다는 것이다. 이런 절차는 ‘로보 판결’이라 명명되었다. 그리하여 별안간 사기꾼이 된 사람들에게 지급받은 금액의 5배에 해당하는 금액을 12퍼센트의 이자를 붙여 함께 반환하라는 편지가 발송되었다. 이와 관련해 미다스 시스템은 2013년 10월부터 18개월 동안 약 5만 건의 고지서를 자동으로 발행했다. 그레이와 셰퍼에 따르면, 2015년까지 발송된 고지서에 따른 청구 금액은 약 5,700만 달러에 육박한다고 한다. 정말 놀라울 정도다.
〈9장 내 돈은 어디 갔지?〉

나는 챗지피티에게 내가 지어낸 인물인 한스야코프 에르멘딩어의 위키피디아 페이지에 대해 물었다. “한스야코프 에르멘딩어의 위키피디아 페이지를 알려줄 수 있어?” 그러자 기대했던 대로 챗지피티는 그럴 듯해 보이는 URL을 쏟아내었다. https://de.wikipedia.org/wiki/Hans
-Jakob_Ermendinger라고 말이다. 하지만 당연히 위키피디아에 이런 페이지는 존재하지 않는다. 에르멘딩어는 내가 방금 지어낸 인물이기 때문이다. (중략)
챗지피티가 정확한 출처를 언급한다 해도, 그 페이지에서 무엇이 정말로 맞는 것인지 ‘확인해줄 수’ 없다. 이것이 바로 챗지피티가 쏟아내는 정보의 사실 여부를 신뢰할 수 없는 이유다. 만약 당신이 무엇이 맞고, 무엇이 틀린지를 분간할 수 있다면, 챗지피티가 텍스트를 생성하도록 하라.
〈11장 챗지피티는 왜 나를 히틀러의 오른팔로 만들까?〉

같은 텍스트인데 요청이 바뀌었다는 이유만으로 점수가 낮아졌다. 기계에게 평가를 맡길 때는 순수하게 그 텍스트에 기반해 한결같은 평가를 기대하는 것일 텐데 말이다. 하지만 대신에 우리는 ‘프레이밍’에 대한 반응 혹은 기대행동이라 일컬을 만한 현상을 만나게 된다. 질문자의 의견이 좀 보태지면 같은 텍스트에 대해서도 평가가 더 나빠지는 것이다. 하지만 한편으로 여기서 챗지피티는 원래 담당해야 하는 본연의 일을 했다. 즉 좋지 않은 평가를 부여할 때 필요한 전형적인 텍스트를 생성했다. 챗지피티에 대한 나의 문의는 챗지피티의 품질 부족을 보여주는 것이 아니다. 오히려 챗지피티의 평가가 텍스트 자체에 기반하기보다 각각의 문의 내용에 크게 좌우된다는 것을 보여준다.
〈16장 컴퓨터가 내 글에 점수를 매길 수 있을까?〉

“정부가 자신을 노 플라이 리스트에 올렸다는 소식을 듣고 에드워드 앨런이 어떻게 반응했는지를 보면, 이미 그가 테러리스트가 아니라는 사실을 단박에 알 수 있을 겁니다. 그는 이렇게 말했습니다. ‘난 그 리스트에 오르고 싶지 않아요. 난 비행기를 타고 할머니를 보러 갈 거예요!’” 앨런은 네 살 아이였다. 그리하여 이 경 우는 네 살짜리 아이니만큼 비행기에 태워주었지만, 이와 유사한 상황 에서 이렇게 눈감아주는 경우는 거의 없었다. 그러기에는 테러를 막지 못할지도 모른다는 두려움이 너무 컸기 때문이다. 다른 말로 하자면, 많은 리스트가 성급하게 작성되었고, 미심쩍은 경우 특정성보다 민감성에 비중을 두었다. 즉, 의심스러운 경우 이름을 누락하는 대신 추가하는 방식으로 작성하다 보니 몇몇 아이들까지 이 리스트에 올랐다.
〈18장 내가 테러리스트라고?〉

앞으로 누가 어떻게 결정하게 할까? 누가, 어떻게, 누구와 더불어, 또는 무엇을 결정할 것인지를 어떻게 결정할 것 인가? 인공지능에서의 사례는 인공지능의 결정이 그 자체로 객관적이 거나 최적이 아니라는 것을 보여주었다. 결정들은 많은 모델링 결정에 영향을 받기에, 모델링 관련 노이즈가 생겨난다. 그밖에 기계가 필요로 하는 예들을 적절히 선택해 제공하는 것도 쉽지 않다. 우리는 현실에서 등장하는 모든 속성의 조합에 대해 충분한 사례를 제공해야 하며, 그렇 지 않으면 불충분한 명세로 인해 노이즈가 생겨날 수 있다. (중략) 기계 내부의 모델링 과정을 근본적으로 통찰하기에는 역부족이다. 그래서 나는 이제 우리가 기계의 행동을 인간이나 동물의 행동처럼 연구하기 시작해야 한다고 믿는다. 인간과 동물의 행동을 연구하듯, 이제 컴퓨터의 행동을 연구하는 새로운 과학 분야가 태동할 시간이다. 이런 학문을 ‘컴퓨터 심리학’이라 부를 수는 없을 것이다.
〈23장 나의 알고리즘을 언제 사용할 수 있을까?〉

☆독일 슈피겔 베스트셀러 저자☆ AI를 통한 사소한 오류가 치명적인 위협으로 나타나는 사례들 - 카드 한도가 왜 이럴까? “우리는 아무도 차별하지 않습니다! 알고리즘이 그렇게 결정했을 따름이죠!” 위의 애플과 골드만삭스 직원들의 항변은, 이 책에 등장하는 데이비드 핸슨이 그의 아내 제이미와 동시에 애플기기를 통해 신청한 애플카드가 자신의 한도는 1,000달러인 것에 비해 아내의 한도는 50달러에 불과한 상황에 대한 해명을 요구했을 때 들은 답변이다. 제이미는 백만장자였고 심지어 남편 데이비드보다 신용등급이 높았음에도 불구하고 카드의 한도가 무려 20배나 차이가 났다. 이에 대하여 문제를 제기하자, 애플사와 이 애플사에 협력해 카드를 발급하는 골드만삭스가 이구동성으로 내놓은 답이 ‘AI 때문’이라는 것이다. 수많은 사람들의 돈과 신용을 관리하는 대기업들의 답변이라고 보기엔 너무 궁색하지 않은가? 결국 데이비드는 ‘성별에 따라 AI가 차별’을 하는 알고리즘을 택하고 있지는 않은지를 의심했다. 하지만, 이 문제를 파고들수록 데이비드는 더 당혹스러운 경험을 하게 된다. “알고리즘에 정확히 어떤 자료를 입력했는지, 혹시 그 과정에서 잘못된 정보들이 끼어들지는 않았는지 물어볼 수 있는 곳이 아무 데도 없다”는 것이다! 즉 AI에 누군가의 데이터를 입력하면 정확히 AI가 어떻게 결정을 하는지, 어떤 차이 때문에 신용한도가 달라지는지 아무도 설명하지 못한 것이다. 그도 그럴 것이, 그 누구도 데이터 입력 이후 AI 내부에서 어떤 일이 벌어지는지를 정확하게 알지 못했다. 결국 이것이 사람들이 앵무새처럼 ‘AI 때문’이라고 둘러대기만 할 뿐 시원하게 설명하지 못하는 근본적인 이유이기도 했었다. - AI가 범인으로 지목한 남자 “이건 내가 아니에요.” “하지만 컴퓨터가 이게 당신이래요.” AI의 오해로 억울하게 체포된 로버트 윌리엄스의 이야기다. 시계를 훔쳤다는 이유였는데, 현장의 CCTV에 찍힌 흐릿한 화면이 그 근거였다. 영상에는 체구가 크고 흑인인지 단순히 피부가 가무잡잡한 것인지도 식별이 어려운 범인의 옆모습이 찍혔는데, 그 영상을 토대로 흑인이고 체구가 비교적 컸던 윌리엄스가 체포된 것이다. 명확한 알리바이가 있음에도 불구하고 그의 항변은 받아들여지지 않았고 구금된 지 30시간 뒤 겨우 풀려날 수 있었다. 이후 윌리엄스는 경찰을 고소했고, 이 고소를 통해 밝혀진 내막은 당황스러웠다. 소프트웨어에 무엇을 입력하든, 누군가는 ‘가장 유사한 사람’이 되어야 하도록 프로그래밍되어 있었기 때문에 입력되는 데이터 중 누군가는 범인이 되어야만 했다는 것이다! 모든 가능성을 고려할 것이라고 인간들이 지레짐작해서 범인 색출에까지 활용되고 있던 기술이, 사실은 ‘범인 없음’이라는 선택지는 설정하지 않아 생사람을 잡도록 프로그래밍되어 있었다. 프로그래밍의 태생적인 한계에 더해 이 사태를 더 키운 원인은 이러한 기술을 현장에 투입하면서도 그것을 사용하는 사람들에게 소프트웨어의 결과를 어떻게 다루는지와 관련된 어떤 교육도 진행되지 않았다는 점이다. 심지어 이 프로그램의 결과가 수사의 단서로만 고려될 수 있을 뿐, 증거 효력이 없다는 가이드라인이 존재했음에도 불구하고 말이다. 모범 시민을 범죄자로 낙인찍을 수도 있는 중대한 사안에서 어떻게 이런 말도 안 되는 해프닝이 벌어진 것일까? 결국 ‘AI’ 때문일까? - 자율주행차의 첫 사망자 “우버의 세상에서는 왜 모든 보행자가 공식적인 횡단보도로만 길을 건너는가?” 자율주행차량으로 인해 사망한 첫 보행자인 일레인 허츠버그의 이야기를 들여다보자. 이것은 현대의 자동차처럼 굉장히 복잡한 시스템에 자동화된 의사결정 시스템이 사용될 때 무슨 일이 일어날 수 있는지를 단적으로 보여주는데, 개발팀의 가장 작은 모델링 결정조차도 얼마나 중요한지에 대한 경종을 울리는 사례이기도 하다. 보통 차보다 훨씬 많은 센서를 장착하고 인간보다 훨씬 빠른 속도로 반응할 수 있는 최첨단의 우버 차량이, 늦은 밤 자전거를 끌고 귀가하던 한 여성을 친다. 심지어 이 차량 안에는 ‘휴먼 인 더 루프(인간이 기계를 감독하고 문제 시 바로 개입하도록 한 시스템)’의 일환으로 인간 운영자가 차량에 탑승하고 있었다. 차량 시스템은 그 물체의 속도와 예상 운동 방향을 측정해 물체의 경로를 예측한다. 보고서에 따르면, 자전거와 자동차에 대해서는 첫 경로 예측에서 차선 방향으로 이동할 것이라는 점이 자연스런 ‘목표’로 할당되어 있었다. 즉 기계에게 자동차와 자전거는 도로를 주행하는 것이지, 도로를 ‘횡단’하는 것이 아니다. 보행자의 경우, 횡단보도가 있지 않은 한 그런 목표가 없었다. 즉 기계에게 ‘무단횡단하는 보행자’라는 선택지는 없었다. 이런 모델링 결정은 전체적으로 ‘차량 시스템이 임의의 지점에서 도로를 횡단하는 보행자를 고려하는 것은 불가능’하게끔 했다. 그럼 차량 안 인간 운영자는 무엇을 했는가? 차량 설계자들이 ‘인간 운영자는 시종일관 도로를 주시할 것’이라는 가정을 깨고 계속 무릎에 있는 핸드폰을 보고 있었던 것으로 드러났다. 하지만 엔지니어들이 극단적 상황에서는 인간 운영자가 개입하리라고 가정해 1초간 브레이크를 실행하지 않도록 해놓은 것이 운영자에게는 고지되어 있지 않았다는 사실 역시 드러났다. 그렇다면 누가 허츠버그의 죽음에 책임이 있을까? 인공지능일까? 사이버 공간에서 인간의 주도권 찾기: 인공지능의 맹점 정확히 알기 - 알고리즘과 휴리스틱, 그리고 ‘블랙박스’ 많은 사람이 ‘알고리즘’이라고 부르는 기계의 절차는 사실 대부분 휴리스틱에 의존한다. 알고리즘이란 명확히 정의된 문제를 최적의 해로 풀어내는 절차지만, 현실의 문제는 불완전하고 복잡하다. 그래서 인공지능, 특히 머신러닝은 대규모 데이터에서 패턴을 찾아 규칙을 만들고, 이를 기반으로 결정을 내린다. 이 과정에서 데이터 선정, 측정 방법, 모델 설계 등 수많은 주관적 모델링 결정이 개입되며, 결과적으로 시스템은 외부에서 들여다보기 어려운 ‘블랙박스’가 된다. 언론이 흔히 ‘알고리즘’이라는 단어를 코드나 소프트웨어의 동의어로 쓰지만, 츠바이크 교수가 주목하는 진짜 문제는 훈련 데이터와 휴리스틱 과정에서 형성된 의사결정 규칙이다. 계산 절차를 아는 것만으로는 ‘왜’라는 질문에 충분히 답할 수 없다. - 잘못된 결정을 만드는 긴 사슬 책은 이어서 잘못된 인공지능 결정의 사례를 풍부하게 제시한다. 얼굴 인식에서 나타난 성별·인종 편향, 데이터 혼입으로 인한 무고한 사람의 체포, 자율주행차의 보행자 인식 실패 등은 모두 ‘책임성의 긴 사슬’ 속에서 발생한다. 데이터 수집, 알고리즘 선택, 품질 측정, 결과 해석, 실행 등 모든 단계에서 오류 가능성이 존재한다. 여기서 중요한 사실은, 인공지능 자체는 의식도 의도도 없다는 점이다. 오류의 근원은 사람 - 즉 시스템을 설계하고 운영한 인간의 선택과 결정 - 에 있다. 그러나 일부 오류는 데이터와 방법이 상호작용하며 예기치 않게 발생하는 창발적 현상이어서 원인을 단일하게 특정하기 어렵다. - 검증 가능성과 불가능성 사이 츠바이크 교수는 자동화된 결정을 검증 가능성에 따라 세 가지 유형으로 구분한다. 첫째, 발생 빈도가 너무 적어 학습 자체가 불가능한 결정. 둘째, 개별·집단 수준에서 정확성과 공정성을 평가할 수 있는 결정. 셋째, 가치판단이 포함되거나 개인 단위에서는 즉시 검증이 불가능하지만, 집단 통계로는 사후 검증이 가능한 결정이다. 츠바이크는 특히 마지막 유형에서 중요한 질문을 던진다. “기계의 판단이 인간보다 더 나은가?” 완전히 이해할 수 없어도, 기계가 더 일관되고 공정하다면 활용 가능성이 있다. 하지만 “원칙적으로 검증 가능하다”는 범주가 현실에서는 명확하지 않으며, 비용과 시간이 과도하게 소요되면 사실상 검증이 불가능하다는 점을 경고한다. AI라는 보이지 않는 불을 손에 넣은 프로메테우스, 인간 유토피아냐, 디스토피아냐는 결국 인간의 선택에 달려 있다 AI가 상용화된 지 불과 3년 남짓, 이제 인간은 커다란 결정을 강요받고 있다. AI는 해악인가? 아니면 AI는 마술지팡이인가? 양극단을 오가는 설전 속에서 인간이 진정으로 원하는 미래를 얻기 위해 이제 무엇을 해야 하는가? 카타리나 츠바이크는 수년간의 숙고 끝에 하나의 통일된 해법이 아니라, 모든 경우에 적용할 수 있는 기본 원칙을 제시한다. 검증이 가능한 결정이라면 정기적인 품질 점검, 데이터 사용의 투명성, 신속한 이의제기 절차가 필요하다. 동시에 인간과 기계가 함께 의사결정을 내릴 때의 사회적·기술적 결과를 이해하고 설계하기 위해 학제 간 연구가 필수적이다. 심리학, 윤리학, 철학, 사회학, 법학 등 다양한 분야가 협력해야 하며, 정보과학자가 제도 설계에 적극 참여해야 기술적 요구가 의미 있게 반영될 수 있다. 2024년 3월 유럽의회가 통과시킨 세계 최초의 포괄적 ‘인공지능법’은 이러한 방향성을 제도화하는 첫걸음이다. 독자가 던져야 할 질문들 츠바이크 교수는 독자들에게도 역할을 부여한다. 새로운 인공지능 기반 의사결정 시스템이 등장한다면 이렇게 물어야 한다. - 이 결정은 검증 가능한가? - 검증하기 위해 무엇이 필요한가? - 결과는 공정하며, 특정 집단에 차별적이지 않은가? - 통계적으로만 검증 가능하다면, 기계의 결정은 인간보다 확실히 뛰어난가? - 인간과 기계가 함께 결정하는 구조는 어떻게 설계되어야 하는가? 저자는 “각각의 사례에서 이 질문에 답할 수 있다면, 우리는 더 나은 결정을 내릴 가능성이 높아진다”고 강조한다. 《무책임한 AI》는 단순히 기술 비판서가 아니다. 알고리즘과 데이터, 모델링과 검증의 과학적 구조를 낱낱이 분석하면서, 인공지능이 사회에 끼치는 실제 영향을 보여준다. 츠바이크 교수의 문장은 과학자의 엄밀함과 시민의 책임 의식을 함께 담아, AI 시대를 살아가는 이들이 스스로를 보호하고 더 나은 의사결정 구조를 만들어갈 수 있는 지침서가 된다. 기계와 함께 더 나은 결정을 내리는 법은, 우리가 지금 어떤 질문을 던지는가에서 시작된다.