머리말: 실리콘밸리, AX 터뷸런스의 진원지에서 ※ 본 책에서 언급하는 플랫폼 운영 사례, 정책적 논쟁, 기술의 한계는 업계에서 공통된 고민이며, 특정 기업이나 조직을 비판하거나 대변하지 않는다. 저자가 재직 중인 디스코드(Discord Inc.)의 공식 입장과는 무관하며, 모두 저자의 개인적 견해임을 밝힌다. 불평등의 현장에서 시작된 질문 어린 시절 외가 방문차 파라과이에 갔을 때 세상의 불평등을 자연스럽게 체감했다. 창문 너머로 내려다본 풍경은 어디서나 비슷해 보였지만, 문을 열고 그 땅을 직접 밟아보면 삶의 조건은 전혀 달랐다. 어떤 아이는 학교에 가기 위해 먼 길을 걸어야 했고, 어떤 동네는 전기도 물도 제대로 공급되지 않았다. 그때부터 내게는 하나의 질문이 자리 잡았다. 왜 누군가에게는 평범한 일상이 또 다른 이에게는 특별함이 되는가? 그 불평등은 어디서 비롯되는가? 아시아재단에서 몽골로 파견되어 처음 울란바토르에 도착했을 때 가장 먼저 마주한 건 매캐한 공기였다. 겨울이면 도시 전체가 숨 쉬기 조차 어려운 공해와 먼지로 덮였고, 창문을 열면 방 안까지 연기가 자욱히 들어왔다. 목이 칼칼하고 눈이 따가운 건 일상이었고, 밖에 잠시만 다녀와도 옷에는 연기의 냄새가 짙게 배어 있었다. 몽골은 1990년, 사회주의 체제에서 민주주의와 자본주의 기반의 도시화를 통해 빠르게 성장했다. 하지만 그 변화의 설계에 모두가 포함된 것은 아니었다. 유목민 출신 이주민들은 울란바토르 외곽에 게르촌을 형성했고, 안정적인 직업도 생계 수단도 없이 지금까지도 극심한 빈곤 속에 살아가고 있다. 영하 50도의 겨울을 버티기 위해 그들은 저질 석탄, 폐타이어, 심지어 쓰레기까지 연료로 사용할 수밖에 없다. 정부는 수차례 원석탄 사용 금지와 대체 연료 보급 정책을 시도했지만, 몽골의 공해 문제는 여전히 나아지지 않고 있다. 게르촌 주민들은 정책 결정 과정에 참여할 기회도, 목소리를 낼 채널도 충분하지 않다. 오늘날 울란바토르는 세계에서 가장 대기오염이 심한 도시 중 하나로 남아 있으며, 그 피해는 게르촌의 아이들, 임산부, 노인에게 가장 먼저, 가장 깊게 닿고 있다. 위해는 불평등하다. 언제나 가장 먼저, 가장 깊게 영향을 받는 이는 사회적으로 가장 취약한 사람들이다. 기술도 다르지 않다. 어떤 기술은 누군가에게는 편리함이지만, 다른 누군가에게는 심각한 피해로 이어질 수 있다. 자원의 배분이나 정책 및 제도의 수립뿐 아니라, AI 기술, 그 역시 불평등을 증폭시키거나 완화할 수 있는 구조물이다. 그리고 그 결과는 누가 설계에 참여했는가 혹은 누구의 목소리가 고려됐는가에 따라 달라진다. 오늘날 기술은 모두의 삶에 크고 작은 변화를 주고 있다. 너무 빠르게 흘러가는 기술의 물결에 몸을 싣기보다는 그 흐름을 설계할 방법은 없을까? 안전한 기술, 더 나아가 공정한 기술이란 무엇일까? 플랫폼과 권력, 새로운 딜레마 2020년 글로벌 코로나19 팬데믹과 경제 셧다운 속에서 전 세계는 미국 기반의 온라인 플랫폼의 영향력을 실감하게 되었다. 페이스북, 트위터와 같은 플랫폼은 사회적 거리두기로 단절된 오프라인을 대신해 온라인에서 사람들을 이어주는 통로가 되었지만, 동시에 극단주의, 가짜뉴스, 알고리즘 왜곡 현상도 함께 확산되었다. 특히 2020년 미국 대선을 전후로, 플랫폼은 ‘진실의 게이트키퍼가 되어야 하는가?’ 라는 거대한 질문에 직면했다. 표현의 자유 그리고 플랫폼의 책임 사이에서 균형을 맞추는 일은 생각보다 훨씬 더 복잡했고, 나는 그 속에서 기술 정책의 본질적인 딜레마를 처음으로 실감했다. 이런 사회적 어지러움 가운데, 나는 스탠퍼드 대학교에서 석사 과정을 밟았다. 재학 중에는 온라인 플랫폼에서 급속히 퍼지는 기후변화 관련 악의적 허위정보에 대응하기 위한 콘텐츠 정책과 머신러닝 모델 설계를 기획했다. 이 경험을 통해 기술이 사회 문제 해결에 어떻게 활용될 수 있는지를 배웠지만, 동시에 기술만으로는 근본적인 문제를 해결할 수 없다는 현실을 마주했다. 또 기술의 한계를 간과했을 땐 오히려 문제를 더 키울 수 있다는 사실도 뼈저리게 깨달았다. 그 과정에서, 담당 교수였던 『역사의 종말』의 저자 프랜시스 후쿠야마(Francis Fukuyama)와 『시스템 에러』의 저자 제레미 와인스틴(Jeremy Weinstein) 교수의 지도를 통해 나는 한 가지 결론에 도달했다. 온라인 유해 콘텐츠 문제는 절대 기술만으로는 해결할 수 없다. 이후 나는 실리콘밸리와 샌프란시스코 지역의 글로벌 커뮤니케이션 플랫폼 기업 중 하나인 디스코드(Discord Inc.)에 기술 정책 전문가로 합류하게 되었다. 이곳에서 AI와 머신러닝 기술이 실제 글로벌 사용자 경험에 어떤 영향을 미치는지 사전에 분석하고, 그 기술이 악의적으로 사용되어 사용자에게 피해로 이어지지 않도록 안전을 설계하는 일을 맡고 있다. 특히, AI가 생성하거나 추천하는 콘텐츠가 청소년을 포함한 글로벌 사용자에게 미치는 영향을 평가하고, 위험을 줄이기 위한 정책을 수립해 프로덕트 설계에 반영하도록 하는 것이 주요 업무다. AX 터뷸런스의 진원지에서 지난 몇 년 사이, 이 지역 실리콘밸리는 그야말로 AI를 중심으로 한 격변의 진원지였다. 2022년, 오픈AI가 챗GPT를 출시하며 AI는 정보와 콘텐츠 생태계를 송두리째 뒤흔들기 시작했다. 이어 2025년 5월, 구글은 Google I/O에서 검색, 이메일, 코딩, 일상 업무 전반에 생성형 AI 기능을 통합하겠다고 선언했다. 지메일(Gmail)과 구글독스(Google Docs)에 완전히 탑재된 AI 에이전트는 사용자의 이메일을 읽고 회신을 작성하며, 브라우저 없이도 정보를 수집하고 정리하는 기능까지 선보였다. 검색의 시대를 열었던 구글은 이제 AI 비서의 시대로 전환을 가속화하고 있다. 우리는 지금, AX의 시대를 살아가고 있다. AX는 AI Transformation의 줄임말로, 인공지능(AI) 대전환이라고도 불린다. 2000년대 초반, 인터넷과 모바일 기술이 일상과 산업 전반을 바꿔놓은 디지털 전환(Digital Transformation, DX)이 있었다면, AX는 AI가 우리의 삶과 사회 구조 깊숙이 스며드는 또 하나의 변곡점이다. AI는 더 이상 특정 기능을 자동화하는 도구에 머물지 않는다. 이제는 우리의 사고방식과 의사결정, 정보의 흐름, 그리고 사회의 규칙까지 바꾸는 주체이자 동력이기도 하다. 더불어 기술의 진화는 단순한 기업 간 경쟁을 넘어 국가 간 기술 패권 경쟁으로 이어지고 있다. 누가 더 빠르고 더 강력한 AI를 만들어 내느냐가 세계의 질서를 좌우하는 시대다. 나는 지금 우리가 거대한 기술 소용돌이, AX 터뷸런스의 한복판에서 있다고 주장한다. 이 터뷸런스는 단지 기술의 속도나 경쟁만을 의미하지 않는다. AI가 일상 깊숙이 침투하면서 사회를 지탱해오던 기존의 기준들이 근본부터 흔들리는 그 명백한 혼돈의 시대를 뜻한다. AI로 생성된 콘텐츠가 진실과 허위를 교란하고, 사회적 분열을 조장하는 새로운 국면을 열었다. 정보는 넘쳐나지만, 신뢰는 급속히 무너지고 있다. 동시에 우리는 점점 더 ‘AI가 제시하는 편리한 답’에 의존하는 사회로 나아가고 있다. 업무에서도, 학업에서도. 심지어 친구나 가족 관계에 대한 조언까지도 AI가 개입하고 있다. 더 나아가, 최근에는 AI 기반 동료 평가(peer review) 시스템의 허점을 악용한 사례도 등장했다. 한 작성자는 논문 속에 ‘숨은 지령’을 삽입해, AI 리뷰어가 이를 인식해 논문을 호의적으로 평가하도록 유도한 것이다. 이 기술은 얼마나 안전한가? 이 기술은 우리의 생각과 신념, 공동체와 사회에 어떤 영향을 미치고 있는가? 그리고 우리는 이 기술에 의지하기 전에, 이러한 질문들을 충분히 던지고 있는가? 나는 이 책에서 기술 그 자체의 진보보다도, 그 기술이 누구의 손에 쥐여 있는지, 그리고 이 시대에서 누가 이 기술의 안전을 설계할 것인지에 대한 질문에 집중하고자 한다. 기술이 앞서갈수록, 그 기술이 사회에 미치는 영향은 더 커지고, 더 복잡해진다. 그래서 이 속도에 발맞춰 신뢰와 안전의 기준을 세우는 집단, Trust and Safety(TnS) 전문가들의 역할은 그 어느 때보다 중요해지고 있다. 나는 이 책을 통해, 보이지 않는 자리에서 매일 새로운 위험과 씨름하며 안전망을 설계해 온 이들의 이야기를 소개하고자 한다. 독자는 그들의 고민과 선택을 따라가며, 기술의 미래가 단지 개발자의 책상 위에서만 만들어지는 것이 아니라, 온라인상 안전을 지키려는 실무자의 현장에서도 함께 빚어지고 있음을 체감할 수 있을 것이며, 더 나아가 자신이 어떻게 그 설계에 참여할 수 있는지 알게 될 것이다.

01 콘텐츠 생태계, 대혼돈의 터뷸런스 속으로 제1장ㆍ생성형 AI, 콘텐츠 세계의 격변의 문을 열다 18 1. 생성형 AI, 더 똑똑한 뇌의 등장 19 2. 콘텐츠 생태계 23 3. 양 x 질 x 개인 맞춤화: 이 삼합이 만든 새로운 세상 28 제2장ㆍ가짜 뉴스는 시작일 뿐, 더 악랄한 악의를 구현하는 기술 30 1. 탈중앙화된 권력의 시대 30 2. 생성형 AI, 악인을 위한 완벽한 무기 31 3. 누구의 손에 들린 도구인가 37 자가 테스트 나는 지금 AI 콘텐츠 생태계 어디쯤에 있는가? 39 02 혼돈 속 질서를 설계하는 Trust and Safety 전문가들 제3장ㆍ플랫폼의 진짜 속사정, 유해 콘텐츠와의 전쟁 44 1. 온라인 플랫폼의 작동 방식 45 2. 인터넷의 그림자: 유해 콘텐츠 49 3. 유해 콘텐츠 관리가 어려운 진짜 이유 52 4. 기업의 우선 순위 61 제4장ㆍ당신이 몰랐던 스크린 너머의 세계, Trust and Safety 63 1. 일상에서 보이지 않는 Trust and Safety 64 2. Trust and Safety 조직이란? 66 3. TnS는 팀이 아니라 사명이다 79 실무자 인터뷰 극단주의 조직의 위협에 맞서는 TnS 전문가 이야기 80 03 AX 시대의 안전 설계: AI와 인간의 콜라보 제5장ㆍAI vs. AI: 유해 콘텐츠에 맞서는 기술들 88 1. AI가 TnS에 필연이 된 이유 88 2. 키워드 필터에서 생성형 AI까지, TnS 기술의 발전과 AI 적용 92 3. 하지만 안전을 완성하는 것은 결국 사람이다 99 제6장ㆍAI의 한계, 그리고 인간이 개입해야 하는 순간 101 1. 기술의 한계 102 2. TnS에 적용된 생성형 AI의 한계는? 105 3. 사람만이 할 수 있는 일 111 4. 사용자도 Human-in-the-loop이다 114 5. 터뷸런스를 헤쳐가는 법: 신뢰와 정당성 116 자가 테스트 내 디지털 일상 속 Trust and Safety는 어디에 있었을까? 117 04 더 안전한 디지털 세상, 이제는 우리가 설계할 차례 제7장ㆍ새로운 기회: Trust and Safety 커리어 로드맵 120 1. AI 시대, 지금 뛰어들어도 늦지 않았다 120 2. 진입 경로는 다양하다: 기업, 학문, 창업 등 121 3. 어디서 시작할 것인가? 129 4. 디지털 안전의 핵심, TnS 135 실천 체크리스트 오늘, 이 자리에서 시작하는 Trust and Safety 136 제8장ㆍ혼자 싸워 이길 순 없다: 공통의 적에 맞서는 글로벌 연대 139 1. TnS 기술은 나눌수록 강해진다 139 2. 플랫폼 간 협력과 성과 141 3. 아직 해결되지 않은 과제 145 4. 오픈소스는 답인가? 책임의 딜레마 148 제9장ㆍAI 공존의 시대: 안전의 주권, 이제는 우리의 선택 150 1. TnS: 오늘의 현실 vs. 우리가 나아가야 할 미래 150 2. 기업 내 TnS의 위치 152 3. 정부는 규제자 역할을 넘어, 기술과 사회를 연결하는 파트너로 155 4. 교육기관 그리고 사용자의 역할 159 5. 당신의 선택은? 161

이 책의 구성 이 책은 총 4부로 나뉘어졌고 9개의 장으로 구성되어 있다. AX 시대에 AI가 어떻게 위험을 만들고, 누가 그 위험에 맞서고 있는지를 소개하며, 우리가 AI 안전의 설계에 주체적으로 참여할 수 있는 방안을 제시한다. 1부는, 대혼돈의 터뷸런스에 빠진 콘텐츠 생태계에 대해 말한다. AX 시대에서 디지털 콘텐츠는 이제 그 어느 때보다 더 빠르게 많이 생성되고, 더 정교하며, 더 개인에게 맞춤화되어 있다. 그리고 누군가에겐 그저 도움이 되는 기술이지만, 누군가에겐 감정과 믿음을 조작하고 악의를 행하는 무기로 사용되기도 한다. 기술의 진보가 어떻게 오프라인 사회의 불평등을 확대하고, 위해를 심화시키는지 구체적인 사례와 함께 살펴본다. 2부는, 이런 혼돈의 시대에 온라인 질서를 세우고, 보이지 않는 곳에서 디지털 위해에 맞서는 사람들, 즉 TnS 전문가들의 세계를 실무자의 관점에서 본격적으로 조명한다. 왜 플랫폼은 유해 콘텐츠를 쉽게 지우지 못하는가? 사용자의 권리와 표현의 자유는 어디까지이며, 누구의 기준으로 판단하는가? TnS는 왜 오늘날 실리콘밸리와 샌프란시스코의 빅테크 기업에 필수적인 조직인가? 이 장에서는 기업 내부의 복잡한 의사결정 구조와 기술적 한계, 정책과 윤리의 경계에서 벌어지는 긴장을 더해, 온라인 안전의 실상을 파헤친다. 3부는, AX 시대 속 TnS가 AI기술을 어떻게 활용해 온라인상 위험을 감지하고 유해 콘텐츠에 대응하는지 살펴본다. 전통적인 방법부터 생성형 AI라는 고차원 기술이 존재하는 오늘도 AI와 사람은 한 팀으로 일한다. 모든 판단을 AI에 맡길 수는 없기 때문이다. 결국 온라인 위해 콘텐츠 문제에는 인간의 개입이 필수적이며 인간과 AI의 협력이야말로 진정한 안전 설계의 핵심임을 이야기한다. 4부는, AI와 기술의 안전한 발전에 모두의 참여를 위한 실천 안내서다. 이 분야에서 커리어를 시작하고 싶은 사람, 창업을 고민하는 사람, 혹은 기술과 사회 문제를 연결해보고 싶은 사람이라면 어디서부터 시작해야 하는지에 대한 구체적인 커리어 로드맵을 제안한다. 지금 우린 기술 기업만 탓하고 있기엔 시간이 없다. 그리고 법과 규제만으로는 이 문제를 해결할 수 없다. 안전한 기술 생태계가 만들어지려면 우리 모두가 함께 설계에 참여해야 한다는 사실을 강조한다. 우리는 어디에 있는가 기술은 이미 국경을 넘어 우리 모두의 삶을 바꾸고 있다. 하지만 기술이 가져오는 변화는 모두에게 공평하게 다가오지 않는다. 기술의 악영향은 여전히 가장 취약한 사람들에게 먼저 집중되고, 가장 큰 목소리를 가진 자들이 방향을 정한다. 오늘날 기술은 우리에게 어떤 모습으로 위해를 낳고, 불평등을 만들어가는가? 지금 그 기술의 설계에는 누가 참여하고 있는가? 우리는 더 이상 기술을 수동적으로 받아들이는 소비자에 머물러선 안 된다. AI가 만들어 내는 유해 콘텐츠와 그 확산 구조를 이해한다면 더욱 적극적으로 참여할 수밖에 없을 것이다. 이 책이 기술발전의 흐름을 주도적으로 설계할 당신의 여정에 첫 장을 열어주길 바란다.