데이터지능의 중심에는 통계적 사고가 있다. 눈에 보이지 않는 질서의 의미를 해석하고, 데이터를 모아 흐름을 관찰한다. 그 속에서 일정한 패턴을 찾으며, 검증된 패턴 결과를 바탕으로 예측하고 결정할 때 직관과 규칙을 넘어서는 새로운 전략과 해석을 도출해낼 수 있다.

저자 : 이긍희 서울대학교와 미국 Texas A&M University에서 통계학을 전공했다. 한국은행에서 경제예측 및 정책분석 모형 개발, 계절조정방법 연구, 국민소득통계 작성 업무를 담당했다. 이후 한국방송통신대학교 통계·데이터과학과 교수로 20년 넘게 재직하며 학생들과 함께 통계학을 가르치고, 배우고, 나눠 왔다. 통계학을 단순한 계산 기술이나 수학 증명이 아닌, 데이터를 통해 세상을 이해하고 더 나은 결정을 내리는 데 필요한 사고의 도구로 인식하고, ‘데이터 뒤에 숨은 이야기’를 발견하고 해석하는 데 집중해왔다. 《딥러닝의 통계적 이해》 《빅데이터의 이해와 활용》 《통계학의 개념과 제문제》《예측방법론》 《데이터 시각화》 등 여러 저서를 통해 빅데이터와 인공지능 시대에 필요한 통계적 사고를 쉽고 친근하게 전하고자 노력했다. 방송통신대 경기지역대학 학장, 디지털미디어센터 원장, 국가통계위원회 분과위원, 한국은행 자문교수 등을 역임하며 현장과 교육, 정책 현장을 넘나드는 다양한 경험을 쌓았다. ‘데이터는 세상을 읽는 언어’라는 믿음 아래 오늘도 학생들과 함께 데이터 속에 숨겨진 패턴과 가능성을 탐구하고 있다.

프롤로그 1장__불확실한 세상에 동전을 던져라 세상이 불확실하다는 것만 확실할 뿐 / 불확실성의 정량화, 확률의 시작 / 차라리 동전을 던져라 / 생각을 어떻게 업데이트할까 / 보이는 것이 전부가 아니다 / 아름다운 확률분포, 정규분포 / 슈뢰딩거의 고양이는 살아 있을까 / 파스칼의 선택 기준 2장__세상의 조각으로 전체를 읽다 하나를 보면 열을 안다 / 중요한 것은 항해하는 방법 / 표본조사는 언제부터 시작했을까 / 모집단을 대표하는 표본을 뽑을 수 있을까 / 여론조사는 왜 틀리는가 / 여론조사의 대안은 3장__가장 가능성 높은 판단을 하는가 군중심리인가 군중의 지혜인가 / 통계적으로 사랑을 찾다 / 통계적 추정의 편의와 분산 / 통계적 추정의 기준, 불편성과 효율성 / 사법 판단에서의 통계적 통찰, 편의와 분산 / 판결 보조 시스템은 필요한가 / 자동 볼 판정 시스템은 야구를 어떻게 바꾸었나 / 표본평균은 어떻게 움직이는가 4장__낮은 확률의 사건을 믿지 마라 낮은 확률의 사건은 왜 과대평가될까 / 확률과 심리를 이용한 사기, 보이스피싱 / 통계적 가설검정과 형사재판 / 무고한 사람을 만들지 말자 / 낮은 확률을 믿지 않는다 / 그는 정말 초능력자일까 / 나는 확률을 정확히 계산할 수 있을까 5장__까마귀 날자 배 떨어진 이유 〈살인의 추억〉은 왜 범인 검거에 실패했을까 / 플랫폼은 어떻게 내가 좋아하는 것을 알까 / 챌린저호의 폭발과 재앙의 통계학 / 대형사고는 우연히 일어났을까 / 진짜 원인 찾기의 여정 6장__변하는 것과 변하지 않는 것 모든 모형은 틀렸지만, 어떤 모형은 유용하다 / 통계 모형은 어떻게 만들까 / 와인 가격을 어떻게 평가할까 / 작은 모형이 아름답다, 오캄의 면도날 / 외환위기와 거시계량경제모형 / 빅데이터 시대와 통계 분석 패러다임의 전환 7장_데이터, 세상을 보여주다 그림이 많은 것을 보여준다 / 데이터 너머의 이야기 / 러시아원정과 미나르의 데이터 시각화 / 나이팅게일, 장미도표로 생명을 구하다 / 존 스노우와 콜레라 맵 / 튜키, 데이터과학을 열다 8장__데이터로 세상을 읽고 답하라 변동에서 시작한 통계적 사고 / 불확실한 세상을 읽는 렌즈 / 변동을 고려한 통계적 사고 / 데이터를 표로 체계화하라 / 식목왕과 식목년표 / 통계는 신뢰의 소프트 인프라 / 20세기 위대한 발명품, 국민소득통계 / 진실과 새빨간 거짓말 사이 에필로그 참고문헌

우리는 눈에 보이지 않는 질서와 패턴을 발견하고, 그 의미를 해석하려는 본능을 지니고 있다. 이런 패턴 인식은 자연현상에만 국한되지 않는다. 인간의 삶, 건강, 사회현상에도 동일하게 적용된다. 예컨대 어떤 질병의 근원을 완전히 알지 못하더라도 우리는 누가 병에 걸리고 누가 그렇지 않은지를 비교해 차이를 측정하고, 그 속에서 원인을 유추해낸다. 19세기 영국 의사 존 스노우는 콜레라 환자의 거주지를 지도에 표시하면서, 오염된 펌프가 전염병의 원인임을 밝혀냈다. 같은 시기, 플로렌스 나이팅게일은 크림전쟁에서 병원 사망률을 분석해 비위생적인 환경이 주된 사망 원인임을 밝혔고, 이를 장미도표라는 혁신적인 시각화 도구로 표현해 대중과 정책결정자에게 강한 인상을 남겼다. 20세기에는 피셔와 힐이 무작위 대조 실험의 기초를 세웠고, 결핵 치료제에 대한 최초의 무작위 임상시험이 실행되면서 통계학은 의학의 근간으로 자리잡았다. 오늘날에는 유전체 분석, 인공지능 기반 진단 등 더욱 정교한 형태로 진화하고 있다. _ 프롤로그 증에서

몬티 홀 문제는 우리의 직관이 때로는 확률적 사고와 얼마나 큰 괴리를 보이는지 알려준다. 우리의 뇌는 진화 과정에서 즉각적이고 단순한 판단을 선호하도록 발달했지만, 현대사회의 복잡한 문제 앞에서는 오히려 이런 직관이 걸림돌이 될 수 있다. 몬티 홀이 문을 여는 행위는 확률분포를 바꾸는 중요한 정보를 제공한다. 그러나 우리는 이 정보를 종종 과소평가한다. 우리는 ‘보이는 것이 전부’라고 생각한다. 몬티 홀 문제는 이처럼 새로운 정보를 고려해 판단을 바꾸는 것이 얼마나 중요한지를 보여준다. _ p.32

귀납적 추론의 한계에도 불구하고 통계학과 과학수사는 증거에 기반한 최선의 판단을 내리는 데 도움을 준다. 우리는 모두 일상에서 불확실한 세계에서 판단하는 방법을 아는 통계학자이자 과학수사관이다. 우리는 불확실성의 바다를 항해하고 있다. 여기서 중요한 것은 완벽한 지도가 아니라 항해하는 방법을 아는 것이다. 지도가 완벽하다고 해도 지도 활용법을 모르면 무용지물이다. 하지만 항해하는 방법을 알고 있다면 지도가 부정확하거나 없더라도 환경과 상황에 맞게 대처할 수 있다. 살아갈 때도 마찬가지다. 완벽한 계획을 세우는 것보다 변화하는 세상을 추측해서 대응할 수 있는 지혜가 더 중요하다. _ p.51

우리의 삶은 크고 작은 선택의 연속이다. 우리는 선택을 할 때 무작위로 결정하기보다는 다수가 선택한 것을 따른다. 서점에서는 베스트셀러 목록을 참고해 책을 고르고, 관객 수가 많은 영화를 선택하며, 평점이 높은 맛집을 방문하고, 시청률이 높은 드라마를 시청한다. 이는 다수의 선택을 따르는 것이 성공 확률을 높일 것이라는 기대 때문이다. 이런 선택 방식은 단순한 습관이 아니다. 이는 불확실성을 다루기 위한 인간의 근본적인 메커니즘이며, 그 기저에는 확률적 사고가 자리잡고 있다. 우리는 이미 가지고 있는 믿음과 지식에 새로운 정보와 경험을 더해 가장 가능성 큰 선택을 하려 한다. 통계적 추정도 이와 다르지 않다. 통계적으로 생각하는 것은 불확실성 속에서 가능한 선택지들 중 가장 가능성 큰 결정을 내리는 것이다. 이는 통계적 사고의 첫 번째 원리이자 우리가 일상에서 선택할 때 따르는 판단의 틀이다. _ p.66

우리는 매일같이 수많은 데이터와 마주한다. 주식시장의 지표, 뉴스 속 통계, 보고서에 나열된 수치들. 그러나 그 숫자들이 의미하는 바를 단번에 파악하기란 쉽지 않다. 데이터는 어디에나 있지만, 그것을 이해한다는 것은 전혀 다른 문제다. 그래서 필요한 것이 있다. 바로 데이터를 ‘보는 힘’, 즉 데이터 시각화다. 데이터 시각화는 복잡하고 방대한 정보를 눈에 보이는 형태로 바꿔 우리가 직관적으로 이해할 수 있도록 한다. _ p.162

데이터지능은 21세기형 문해력이다! 불확실성의 시대, 어떻게 해야 올바른 결정을 내릴 수 있을까? 우리는 수많은 갈림길에서 그중 하나를 선택한다. 고민하고 추측하고 결정한다. 이때 중요한 것은 직감이 아니라 데이터를 바탕으로 한 검증된 판단이다. 신용평가 정보를 기반으로 대출 여부를 결정하고, 환자의 검사 수치로 진단과 처방을 내리며, 다양한 경제지표를 토대로 통화 정책을 조정한다. 이를 비롯한 모든 과정에는 불확실성을 측정하고 추론하는 능력, 데이터를 읽고 의심하고 분석하는 데이터지능이 작동한다. 데이터를 반복적으로 보고 질문하며 규칙을 찾아야 한다. 데이터지능의 중심에는 통계적 사고가 있다. 눈에 보이지 않는 질서의 의미를 해석하고, 데이터를 모아 흐름을 관찰하고, 그 속에서 일정한 패턴을 찾으며, 검증된 패턴 결과를 바탕으로 예측하고 결정할 때 직관과 규칙을 넘어서는 새로운 전략과 해석을 도출해낼 수 있다. 분석을 넘어 세상을 이해하고 변화시키는 힘 Data Intelligence 우리는 매일 수많은 선택의 갈림길에 선다. 아침에 어떤 커피를 마실지, 어떤 옷을 입을지 같은 사소한 결정부터 진로를 바꾸거나 인생의 반려자를 선택하는 중대한 결정까지. 이 모든 선택은 삶의 궤적을 형성하고, 미래를 조금씩 바꿔 나간다. 하지만 중요한 선택일수록 우리는 늘 불확실성의 벽과 마주하게 된다. “이게 과연 옳은 선택일까?”, “나중에 후회하지는 않을까?”, “다른 선택을 했다면 어땠을까?” 우리는 이 질문들 앞에서 고민하고, 망설이며, 결국 확실하지 않은 것을 추측하며 결정을 내린다. 이런 추측은 단순한 직감만으로 이루어지는 것이 아니다. 우리는 흔히 데이터를 바탕으로 판단한다. 우리는 눈에 보이지 않는 질서와 패턴을 발견하고, 그 의미를 해석하려는 본능을 지니고 있다. 이런 패턴 인식은 자연현상에만 국한되지 않는다. 인간의 삶, 건강, 사회현상에도 동일하게 적용된다. 예컨대 어떤 질병의 근원을 완전히 알지 못하더라도 우리는 누가 병에 걸리고 누가 그렇지 않은지를 비교해 차이를 측정하고, 그 속에서 원인을 유추해낸다. 오늘날의 인공지능 역시 데이터를 기반으로 패턴을 발견하고 예측하는 과정을 자동화한 것이다. 신경망 모형의 작동 방식은 통계적 사고와 닮아 있다. 우리는 데이터를 보고, 의심하고, 반복적으로 검토하면서 판단한다. 인공지능도 그런 과정을 반복 학습을 통해 수행한다. 결국 데이터지능은 인간과 기계가 공유하게 된 새로운 사고의 기반이기도 하다. 데이터를 읽고, 분석하고, 예측하는 힘 데이터지능이 세상을 변화시킨다 필자는 통계학을 배운 후 40여 년 동안 데이터를 통해 세상을 이해하고 예측해왔다. 1980년대 후반 한국은행에 들어간 뒤, 통계 패키지인 SAS를 활용해 국가통계를 전산화했고, 거시경제 예측모형을 개발해서 정책 분석에 활용했다. 또한 국민소득통계를 작성했고, 우리나라의 실정에 맞는 계절조정 방법을 개발해 다양한 통계에 적용했다. 이후 대학으로 자리를 옮겨서는 빅데이터와 인공지능 시대에 맞는 교육과 연구에 힘써 왔다. 통계학의 모든 영역을 경험하며 데이터와 함께 사고하고 성장해왔으며, 《데이터지능》은 그런 경험을 바탕으로 데이터를 통해 세상을 해석하는 방법, 다시 말해 데이터지능에 대한 생각들을 정리한 결과물이다. 이 책은 데이터를 읽고, 분석하고, 예측하는 힘, 즉 데이터지능을 키우는 방법을 다룬다. 그 중심에는 통계학과 통계가 있다. 통계는 세상을 데이터로 측정해서 요약한 결과다. 1장부터 6장까지는 추측통계학을 중심으로 확률, 표본, 추정, 검정, 인과관계, 모형 등 불확실성을 다루는 사고의 기본 원리를 설명한다. 7장과 8장은 통계와 기술통계학을 중심으로 데이터를 요약하고 시각화해서 정보를 정리하고, 세상을 설득하고 변화시키는 방법을 보여준다. 불확실성이 일상이 된 시대, 데이터를 나침반 삼아 분석하고, 이를 넘어 세상을 이해하고 변화시키는 힘 데이터지능이 절실하다. 이 책이 그 길에 동반자이자 길잡이가 되기를 기대한다.