Explaining Artificial Intelligence with Python 알고리즘의 설명 가능성은 최초로 1940년대에 복잡한 기계들로 시작되었으며, 그 첫 번째는 튜링머신(Turing machine)이었다. 앨런 튜링(Alan Turing)은 자신의 기계의 지능이 암호화 문제를 어떻게 풀었는지 설명하는데 어려움을 겪었다. 기계가 계산을 하고 결정을 내릴 수 있게 된 이후로, 설명가능성은 사용자 인터페이스, 차트, 비즈니스 인텔리전스(business intelligence) 및 기타 도구들을 통해 모든 구현 과정의 일부분으로서 구현되어 왔다. 그러나 규칙 기반 전문가 시스템, 머신러닝 알고리즘 및 딥러닝과 같은 인공지능(AI)의 기하 급수적인 발전으로, 역사상 가장 복잡한 알고리즘이 등장하면서, AI를 설명하는 것에 대한 어려움은 AI의 발전과 함께 더 커져가고 있다. AI가 모든 분야로 확장됨에 따라, 결과가 부정확했을 때, 그 이유에 대한 설명을 제공하는 것이 중요해졌다. 또한 정확한 결과를 얻었을 때도, 사용자가 머신러닝 알고리즘에 대해 신뢰하도록 설명하는 것이 필요하다. 경우에 따라 AI는 명확하고 빠른 설명이 필요한, 생사를 가르는 상황에 직면할 수 있다. 예를 들어 이번 단원에서는 자신도 모르는 사이에 웨스트 나일 바이러스(West Nile virus)에 감염된 환자에 대한 조기 진단이 필요한 사례를 알아보게 될 것이다. 설명가능한 AI(explainable artificial intelligence) 또는 인공지능 설명가능성(artificial intelligence explainability)이라는 용어는 설명하는 과정을 말하는 것이다. 설명가능한 AI를 XAI라고 하기도 한다. 이번 단원의 목표는 XAI의 핵심이 되는 특징에 대해 이해하고 이해한 것을 파이썬으로 적용해 보는 것이다. 먼저 설명가능한 AI(XAI)와 설명을 구현할 때 직면하게 될 문제들에 대해 정의할 것이다. 각각의 요구에 맞게 서로 다른 AI 설명이 필요하다. 예를 들어 AI 전문가는 최종 사용자와는 다른 관점의 설명을 기대할 것이다. 다음으로 미국 일리노이 주에 있는 시카고에서 발생한 웨스트 나일 바이러스(West Nile virus) 전파에 대해, AI와 XAI가 중요한 의료 진단 도구를 구성하는 생사와 관련된 연구를 살펴볼 것이다. 이번 단원에서 XAI의 목적은 개발자에게 AI를 설명하는 것이 아니라, 일반 실무자들에게 ML이 결정한 것을 신뢰할 수 있도록 ML 시스템의 예측에 대해 설명하는 것이다.

저자 : Denis Rothman Denis Rothman graduated from Sorbonne University and Paris-Diderot University, writing one of the very first word2vector embedding solutions. He began his career authoring one of the first AI cognitive natural language processing (NLP) chatbots applied as a language teacher for Mo?t et Chandon and other companies. He has also authored an AI resource optimizer for IBM and apparel producers. He then authored an advanced planning and scheduling (APS) solution that is used worldwide 역자 : 고병철 ㆍ 2004.02 연세대학교 컴퓨터과학과 박사 ㆍ 2004.03부터 2005.08까지 삼성전자 통신연구소 책임연구원 ㆍ 현 계명대학교 컴퓨터공학과 교수/ 계명대학교 AI융합연구소 소장 ㆍ 관심분야 : 머신러닝 기반의 컴퓨터비전에 대한 다양한 연구, 설명 가능한 인공지능, 경량(Tiny) 인공지능, 자기-지도 학습법 컴퓨터 비전에 적용되는 인공지능 모델이 지금의 심층신경망 구조를 벗어 날 것을 확신하며 연구에 매진 ㆍ 저서 : -의료영상처리프로그래밍 -영상처리기반의 인공지능 입문 -텐서플로우 2.x기반의 인공지능 이론과 실습 -파이썬과 코랩기반의 -OpenCV로 배우는 영상처리 ㆍ 역서: -머신러닝 알고리즘 마스터 역자 : 방영규 ㆍ 강원대학교 전자공학과 석사 ㆍ 현재 음성인식 관련 업체에서 스마트 tv, 가상 비서 및 다수의 프로 젝트 참여 중 ㆍ 역서: -텐서플로우2와 케라스를 이용한 고급딥러닝 -새롭게 배우는 텐서플로우 2.0 -파이토치 1.X로 시작하는 딥러닝

목차 XVII 역자의 말 Ⅴ 머리말 Ⅶ 1장 파이썬으로 설명하는 AI 1.1 설명가능한 AI 정의 5 1.1.1 블랙박스 모델에서 XAI 화이트 박스 모델로의 전환 7 1.1.2 설명 및 해석 8 1.2 설계 및 추출 9 1.2.1 XAI 집행 기능 9 1.3 XAI 의료 진단 일정 13 1.3.1 일반적인 의사가 사용하는 표준 AI 프로그램 14 1.3.2 웨스트 나일 바이러스 - 생사와 관련된 사례 23 1.3.3 구글 위치 기록을 이용하여 XAI가 생명을 구할 수 있다 31 1.3.4 구글 위치 기록 내려받기 31 1.3.4 구글 위치 기록 데이터를 읽고 표시하기 37 1.4 요약 58 1.5 질문 59 2장 AI의 편향 및 윤리를 위한 화이트 박스 XAI 2.1 자율 주행 자동차의 AI 편향에 대한 도덕성 65 2.1.1 생사가 걸린 자동조종 장치의 의사결정 65 2.1.2 트롤리 문제 66 2.1.3 MIT Moral Machine 실험 67 2.2.4 생사가 걸린 실제 상황 68 2.2.5 윤리적 AI의 도덕적 한계 70 2.2 자동조종 장치의 의사결정 트리에 대한 표준 설명 73 목차 XVIII 2.2.1 SDC 자동조종 장치의 딜레마 73 2.1.2 모듈 가져오기 74 2.1.3 데이터 셋 가져오기 75 2.1.4 데이터를 읽고 분할하기 76 2.1.5 의사결정 트리 분류기에 대한 이론적인 설명 78 2.1.6 내정된 값을 이용한 의사결정 트리 분류기 생성하기 80 2.1.7 모델 훈련, 측정 및 저장하기 82 2.1.8 의사결정 트리 출력하기 84 2.3 자동조종 장치의 의사결정 트리에 적용된 XAI 88 2.3.1 의사결정 트리의 구조 88 2.4 XAI와 윤리성을 이용하여 의사결정 트리 제어하기 95 2.4.1 모델 불러오기 96 2.4.2 정확도 측정 96 2.4.3 실시간 사례 시뮬레이션하기 97 2.4.4 노이즈로 인한 ML 편향 반영해 보기 97 2.4.5 ML 윤리 및 법 적용하기 100 2.5 요약 104 2.6 질문 104 3장 패싯(Facet)을 이용한 머신러닝 설명하기 3.1 패싯 시작하기 110 3.1.1 Google Colaboratory의 패싯 설치하기 111 3.1.2 데이터 셋 검색 111 3.1.3 데이터 파일 읽어 오기 112 3.2 Facets Overview 113 3.2.1 데이터 셋의 특징 통계 생성하기 113 3.3 패싯 통계 결과 정렬하기 116 3.3.1 특징 순서대로 데이터 정렬하기 116 3.3.2 불균일도로 정렬하기 117 3.3.3 알파벳 순으로 정렬하기 122 3.3.4 missing/zero의 양으로 정렬하기 123 목차 XIX 3.3.5 분포간 거리로 정렬하기 123 3.4 Facets Dive 125 3.4.1 Facets Dive 출력 코드 작성하기 126 3.4.2 데이터 포인트의 레이블 정의하기 128 3.4.3 데이터 포인트의 색상 정의하기 129 3.4.4 x 축과 y 축의 비닝 정의하기 130 3.4.5 x 축과 y 축의 산점도 정의하기 132 3.5 요약 134 3.6 질문 135 4장 SHAP을 이용한 Microsoft Azure Machine Learning Model Interpretability 4.1 SHAP 소개 140 4.1.1 SHAP 원칙의 핵심 141 4.1.2 Shapley 값의 수학적 표현 144 4.1.3 감정 분석 예제 147 4.2 SHAP 시작하기 153 4.2.1 SHAP 설치하기 153 4.2.2 데이터 가져오기 154 4.2.3 데이터 셋 추출하기 155 4.2.4 데이터 셋 벡터화 하기 162 4.3 선형 모델 및 로지스틱 회귀 164 4.3.1 선형 모델 생성, 훈련 및 출력의 시각화 164 4.3.2 선형 모델 정의하기 167 4.3.3 SHAP을 이용하여 설명하는 불가지론적 모델 170 4.3.4 선형 모델 설명자 생성하기 170 4.3.5 그래프 함수 생성하기 170 4.3.6 모델의 예측 결과 설명하기 173 4.4 요약 183 4.5 질문 184 5장 설명가능한 AI 솔루션 처음부터 구축하기 5.1 도덕적, 윤리적 및 법률적 관점 190 5.2 미국 인구조사 데이터 문제 191 5.2.1 pandas를 이용하여 데이터 표시하기 192 5.2.2 도덕적 윤리적 관점 195 5.3 머신러닝 관점 202 5.3.1 Facets Dive로 훈련 데이터 출력하기 202 5.3.2 패싯으로 훈련 데이터 분석하기 205 5.3.3 예상 결과 확인 209 5.3.4 입력 데이터 변환 217 5.4 변경된 데이터 셋을 적용한 WIT 220 5.5 요약 228 5.6 질문 229 6장 구글의 What-If Tool(WIT)을 이용한 AI 공정성 평가 6.1 윤리적 AI 관점에서의 해석가능성 및 설명가능성 234 6.1.1 윤리적 관점 235 6.1.2 법률적 관점 236 6.1.3 설명하기 및 해석하기 236 6.1.4 윤리적인 데이터 셋 준비하기 237 6.2 WIT 시작하기 240 6.2.1 데이터 셋 가져오기 242 6.2.2 데이터 전처리하기 243 6.2.3 모델 훈련 및 테스트를 위한 데이터 스트럭쳐 생성하기 245 6.3 DNN 모델 생성 246 모델 훈련하기 249 6.4 SHAP 해설자 생성하기 249 Shapley 값의 그래프 250 6.5 모델 출력 및 SHAP 값 250 6.6 WIT 데이터 포인트 탐색기 및 편집기 254 목차 XX 6.6.1 WIT 생성하기 254 6.6.2 데이터 포인트 편집기 256 6.6.3 특징 259 6.6.4 성능 및 공정성 260 6.7 요약 268 6.8 질문 269 7장 설명가능한 AI 챗봇을 위한 파이썬 클라이언트 7.1 Dialogflow를 위한 파이썬 클라이언트 275 7.1.1 구글 Dialogflow를 위한 파이썬 클라이언트 설치하기 276 7.1.2 구글 Dialogflow 에이전트 생성하기 276 7.1.3 API 및 서비스 활성화하기 279 7.1.4 구글 Dialogflow 파이썬 클라이언트 283 7.2 구글 Dialogflow 파이썬 클라이언트 개선하기 286 7.2.1 대화 함수 생성하기 287 7.2.1 Dialogflow에서 XAI 구현과 관련된 보안 사항 288 7.2.3 Dialogflow에서 인텐트 생성하기 288 7.2.4 XAI 파이썬 클라이언트 296 7.3 구글 Dialogflow를 이용한 CUI XAI 대화 302 7.3.1 웹사이트를 위한 Dialogflow 통합 303 7.3.2 주피터 노트북 XAI 에이전트 관리자 307 7.3.3 구글 어시스턴트 307 7.4 요약 310 7.5 질문 311 8장 LIME(Local Interpretable Model- Agnostic Explanations) 8.1 LIME 소개 316 LIME의 수학적 표현 318 8.2 LIME 시작하기 321 8.2.1 구글 Colaboratory에 LIME 설치하기 322 목차 XXI 8.2.2 데이터 셋 검색 및 벡터화 하기 322 8.3 실험적 AutoML 모듈 324 8.3.1 불가지론적 AutoML 템플릿 생성하기 325 8.3.2 배깅 분류기(Bagging classifier) 327 8.3.3 그라디언트 부스팅 분류기 328 8.3.4 의사결정 트리 분류기 329 8.3.5 엑스트라 트리 분류기 330 8.4 점수 해석하기 331 8.5 모델 훈련하기 및 예측 수행하기 332 8.5.1 분류기와 상호적인 선택 332 8.5.2 예측 과정 마무리하기 333 8.6 LIME 설명자 335 8.6.1 LIME 설명자 만들기 337 8.6.2 LIME 설명 해석하기 339 8.7 요약 346 8.8 질문 347 9장 반사실적 설명 방법 9.1 반사실적 설명 방법 353 9.1.1 데이터 셋 및 동기 353 9.1.2 WIT로 반사실적 거리 시각화하기 354 9.1.3 기본 뷰로 데이터 포인트 거리 분석하기 356 9.1.3 반사실적 설명의 논리 364 9.2 거리 함수 선택 370 9.2.1 L1 norm 371 9.2.2 L2 norm 373 9.2.3 맞춤형 거리 함수 374 9.3 딥러닝 모델의 아키텍쳐 374 9.3.1 WIT 호출 375 9.3.2 WIT를 위한 맞춤형 예측 함수 376 9.3.3 케라스 모델 로딩하기 378 9.3.4 데이터 셋 및 모델 검색하기 379 목차 XXII 9.4 요약 380 9.5 질문 381 10장 대조적 XAI 10.1 대조적 설명 방법 386 10.2 MNIST를 이용하여 CEM 배우기 389 10.2.1 Alibi 설치하기 및 모듈 가져오기 389 10.2.2 모듈 및 데이터 셋 가져오기 389 10.3 CNN 모델 정의하기 및 훈련하기 394 10.3.1 CNN 모델 생성하기 395 10.3.2 CNN 모델 훈련하기 396 10.3.3 모델 로딩하기 및 정확도 테스트하기 398 10.4 오토인코더 정의하기 및 훈련하기 399 10.4.1 오토인코더 생성하기 400 10.4.2 오토인코더 훈련 및 저장하기 400 10.4.3 원본 이미지와 디코딩된 이미지 비교하기 401 10.5 Pertinent negative 403 10.5.1 CEM 파라메터 405 10.5.2 CEM 설명자 초기화하기 406 10.5.3 pertinent negative 설명 406 10.6 요약 409 10.7 질문 409 11장 앵커(Anchor) XAI 11.1 앵커 AI 설명 415 11.1.1 소득 예측하기 415 11.1.2 뉴스그룹 설명 분류하기 418 11.2 ImageNet에 대한 앵커 설명 420 11.2.1 Alibi 설치하기 및 모듈 가져오기 421 11.2.2 InceptionV3 모델 로딩하기 422 목차 XXIII 11.2.3 이미지 다운로드하기 422 11.2.4 이미지 처리하기 및 예측 수행하기 424 11.2.5 앵커 이미지 설명자 구축하기 424 11.2.6 다른 범주 설명하기 428 11.2.7 다른 이미지들과 문제점 431 11.3 요약 432 11.4 질문 433 12장 인지적 XAI 12.1 인지적 규칙 기반 설명 439 12.1.1 XAI 도구에서 XAI 개념으로 439 12.1.2 인지적 XAI 설명 정의하기 440 12.1.3 인지적 XAI 방법 442 10.1.4 특징의 한계 기여도 449 12.2 vectorizers에 대한 인지적 접근방법 454 12.2.1 LIME을 위한 vectorizer 설명 454 12.2.2 SHAP를 위한 IMDb vectorizer 설명하기 457 12.3 CEM을 위한 인간의 인지적 입력 460 12.4 요약 466 12.5 질문 467 부록 질문에 대한 답 469 INDEX 48

최근 지난 10여년간 딥러닝을 필두로 하는 인공지능 연구는 지속적으로 깊고 넓은 구조로 확장되어 분류와 예측의 정확성을 높이는데 초점을 맞춰 왔습니다. 하지만 몇 년 전부터 연구자들은 이러한 인공지능의 예측성능에 의심을 품기 시작했습니다. ‘인공지능이 왜 이런 결정을 했을까? 무슨 근거로 이렇게 판단했을까? 혹시 판단에 오류는 없을까?’하는 필연적 인 질문들을 하기 시작했습니다. 단순하게 ‘개’와 ‘고양이’를 구분하는 것이라면 문제가 없겠지만 질병을 예측하거나 신용도 평가 문제, 심지어는 군인들에게 명령을 내리는 문제라면 더욱더 인공지능의 판단 결과에 대한 설명이 필요합니다. 지금까지의 인공지능 알고리즘들은 불친절하게 예측 결과만 알려주었지 결과에 대한 이유를 설명해주지 않았습니다. 인공지능에 설명을 부여하기 위한 ‘설명가능한 인공지능(eXplainable AI, XAI)’의 본격적인 연구는 2017년 미국방연구원(Defense Advanced Research Projects Agency, DARPA)에서 시작한 프로젝트로 볼 수 있습니다. DARPA에서는 설명가능한 인공지능의 요건으로 ‘높은 학습 성능을 유지하면서도 모델 자체가 설명 가능해야 하고, 인간이 쉽게 이해하고 신뢰하며 효과적으로 시스템을 관리할 수 있도록 지원해야 한다’라고 규정하고 있습니다. 전통적으로 머신러닝을 연구했던 연구자(fatml.org)들은 XAI라는 용어보다는 ‘해석가능한 머신러닝(Interpretable Machine Learning)’이라는 용어를 더 선호하며 ‘인공지능 알고리즘 결정과 이러한 결정을 주도하는 모든 데이터가 비기술적 용어로 최종 사용자 및 기타 이해 관계자에게 설명될 수 있어야 한다.’라고 정의하고 있습니다. 설명가능한 인공지능은 인공지능기술의 발전 방향을 새롭게 제시하고 있습니다. 공정과 정 의라는 키워드가 가장 중요한 가치관인 MZ 세대에게는 정답만 알려주는 현재의 인공지능 기술은 오히려 또 다른 불공정 이슈가 될 수 있습니다. 따라서 설명가능한 인공지능에는 데이터 분석을 통한 예측의 정확성 뿐만 아니라, 사용된 데이터와 모델의 투명성, 윤리성, 결과에 대한 신뢰성, 프라이버시, 공정성이라는 다양한 항목이 고려되어야 합니다. 이러한 필요에 따라 최근 설명가능한 인공지능에 관한 연구들이 점차 늘어나고 있습니다. 하지만 일반 학습자들이 설명가능한 인공지능을 기초부터 중급 수준까지 공부할 수 있는 도서는 많지 않습니다. 본 도서는 설명가능한 인공지능을 공부하고 싶었던 학생 또는 연구자들이 어떻게 딥러닝과 머신러닝에 XAI를 접목할 수 있을지 가이드 해 주는 입문서이자 이 분야의 전문가가 되기 위한 디딤돌이 될 수 있습니다. 본인이 인공지능을 처음 접한다고 해서 겁낼 필요는 없습니다. 본 도서의 저자는 매 장을 소설을 읽는 것처럼 사례를 들어 쉽게 설명하고 있고, 그 내용을 오픈 소스를 통해 구현하도록 하여 독자가 충분히 이론과 프로그램 코딩 능력을 높일 수 있도록 배려하고 있기 때문이죠. 이 책은 내용이 많으므로 독자들이 중간에 포기할 수도 있습니다. 하지만 인내심을 갖고 맨 처음 책장을 폈을 때의 결심으로 다시 도전해 보십시오. 매 장을 끝낼 때마다 ‘설명가능한 본인만의 지식’을 체감할 수 있을 겁니다. 만약 여러분이 딥러닝이나 머신러닝에 대한 어느 정도 이해가 있다고 한다면 처음부터 모든 장들을 볼 필요는 없습니다. 필요할 때마다 해당하는 장의 내용을 참조하는 것도 좋은 방법입니다. 이 책은 주로 데이터사이언스, 빅데이터 측면에서 설명가능한 인공지능의 이론과 실습을 진행하고 있습니다. 만약 영상이나 음성에도 설명가능한 인공지능을 접목하고 싶다면 arxiv 에 키워드로 ‘XAI’를 입력해 보십시오. 수많은 논문이 검색되겠지만 논문을 겁내할 필요가 없습니다. 이 책을 마스터한 당신은 이미 ‘설명가능한 인공지능’을 설명할 준비가 되어있기 때문이죠. ■ 저자 머리말 오늘날의 AI 시대에서, AI 결과를 정확하게 해석하고 전달하는 것이 중요한 기술이 되고 있기에 반드시 숙달해야 할 필요성이 있다. 인공지능은 종종 인간의 이해를 넘어선다. 따라 서, 머신러닝 모델의 결과는 종종 입증하기 어렵고 때로는 설명하는 것이 불가능하다. AI에 의해 내려진 결정에 대한 이유와 방법을 설명하라는 요청을 받으면, 운영자와 개발자 모두 어려움에 직면하게 된다. AI 설계자가 수백 개의 머신러닝 및 딥러닝 모델을 위한 하나의 설명가능한 AI 솔루션을 설계하는 것은 불가능한다. AI 통찰력을 비즈니스 관계자에게 효 과적으로 전달하려면 개별적인 계획, 설계 및 시각화 선택이 필요하다. 유럽 및 미국 법률 은 결과를 설명할 수 없을 때, 소송할 수 있도록 문을 열어 두었지만, 개발자들은 직면한 엄청난 양의 데이터를 가지고 실제 구현으로 이어지기 때문에, 적절한 도구없이 설명을 찾기는 거의 불가능한다. 이 책에서 신뢰할 만한 AI 결과를 시각화, 설명 및 통합을 통해 비즈니스 가치를 제공하는 파이썬의 도구와 기술을 배우는 동시에, AI 편향 및 윤리와 관련된 일반적인 문제들을 피하는 방법에 대해 학습하게 될 것이다. 이 책 전반에 걸쳐, 파이썬 및 텐서플로우 2.x에 있는 파이썬 머신러닝 실습 프로젝트 통해 작업하게 될 것이다. WIT, SHAP, LIME, CEM 및 기타 핵심 설명가능한 AI 도구들을 사용하는 방법에 대해 배우게 될 것이다. IBM, Google, Microsoft 및 기타 앞선 기술을 가진 AI 연구소에서 설계한 도구들을 살펴볼 것이다. 머신러닝 프로젝트 전체 과정에서 사용할 수 있는 오픈 소스로 구현된 파이썬을 이용한 설 명가능한 AI 도구들에 대해 소개할 것이다. 이제부터 머신러닝 모델 결과의 분석, 영향을 주는 주요 변수 및 변수 관계의 검토, 편향 및 윤리 문제를 일으킬 수 있는 여지의 감지, 파이썬을 이용하여 설명가능한 사용자 인터페이스에서 머신러닝 모델 시각화를 예측과 통합하여 지원하는 방법에 대해 배우게 될 것이다. 파이썬 및 텐서플로우 2.x를 이용하여 XAI 솔루션을 구축해볼 것이고, 구글 클라우드의 XAI 플랫폼 및 구글 Colaboratory를 사용할 것이다.