『단단한 머신러닝』은 인공지능 분야의 명예의 전당이라는 AAAI의 펠로우로 선정된 저자가 머신러닝을 처음 접하는 독자를 위해 2년간 정성을 다해 집필한 책입니다. 이공계 고학년과 대학원의 16주 머신러닝 강의에 맞춰 각 장이 30페이지가 넘지 않는 16개의 장과 수준 있는 연습문제로 구성하였으며, 최대한 다양한 독자에게 머신러닝을 소개하기 위해 최소한의 수학적 지식만을 사용하였습니다.

저자 : 조우쯔화 ㆍ 난징대학교 컴퓨터과학과 교수 ㆍ 미국 컴퓨터학회(ACM) 선정 우수과학자 ㆍ AAAI, IEEE, IAPR, IET/IEE 펠로우 ㆍ 국가 우수청년장학금 수상자 ㆍ Chang Jiang Scholars 특별 초청 교수 ㆍ 현) 중국 인공지능학회 머신러닝 전문위원회 회장, 중국 컴퓨터학회 인공지능 및 패턴인식 전문위원회 부회장, IEEE 컴퓨터학회 난징지부 의장 역자 : 김태헌 하나금융융합기술원에서 데이터 과학자로 일하면서 로보어드바이저, 신용평가 시스템 개발 등의 프로젝트에 참여하고 있다. 중학생 시절부터 10여년간을 중국에서 보냈으며, 베이징 대학교를 졸업하고 미국 캘리포니아 대학교 샌디에이고 캠퍼스에서 국제경제 석사 학위를 받았다.

CHAPTER 01 서론 1 1.1 들어가며 1 1.2 머신러닝의 기본 용어 2 1.3 가설 공간 5 1.4 귀납적 편향 8 1.5 발전 과정 13 1.6 응용 현황 18 1.7 더 읽을거리 22 연습문제 25 참고문헌 26 머신러닝 쉼터 28 CHAPTER 02 모델 평가 및 선택 29 2.1 경험 오차 및 과적합 29 2.2 평가 방법 31 2.3 모델 성능 측정 37 2.4 비교 검증 47 2.5 편향과 분산 57 2.6 더 읽을거리 59 연습문제 61 참고문헌 62 머신러닝 쉼터 64 CHAPTER 03 선형 모델 65 3.1 기본 형식 65 3.2 선형 회귀 66 3.3 로지스틱 회귀 70 3.4 선형 판별분석 73 3.5 다중 분류 학습 77 3.6 클래스 불균형 문제 80 3.7 더 읽을거리 83 연습문제 85 참고문헌 86 머신러닝 쉼터 88 CHAPTER 04 의사결정 트리 89 4.1 기본 프로세스 89 4.2 분할 선택 92 4.3 가지치기 98 4.4 연속값과 결측값 103 4.5 다변량 의사결정 트리 110 4.6 더 읽을거리 113 연습문제 115 참고문헌 117 머신러닝 쉼터 118 CHAPTER 05 신경망 119 5.1 뉴런 모델 119 5.2 퍼셉트론과 다층 네트워크 121 5.3 오차 역전파 알고리즘 124 5.4 글로벌 미니멈과 로컬 미니멈 130 5.5 기타 신경망 133 5.6 딥러닝 139 5.7 더 읽을거리 142 연습문제 144 참고문헌 145 머신러닝 쉼터 148 CHAPTER 06 서포트 벡터 머신 149 6.1 마진과 서포트 벡터 149 6.2 쌍대문제 151 6.3 커널 함수 155 6.4 소프트 마진과 정규화 158 6.5 서포터 벡터 회귀 163 6.6 커널 기법 167 6.7 더 읽을거리 170 연습문제 172 참고문헌 173 머신러닝 쉼터 175 CHAPTER 07 베이지안 분류기 177 7.1 베이지안 결정 이론 177 7.2 최대 우도 추정 179 7.3 나이브 베이즈 분류기 181 7.4 세미 나이브 베이즈 분류기 186 7.5 베이지안 네트워크 188 7.6 EM 알고리즘 195 7.7 더 읽을거리 197 연습문제 199 참고문헌 200 머신러닝 쉼터 202 CHAPTER 08 앙상블 학습 203 8.1 객체와 앙상블 203 8.2 부스팅 206 8.3 배깅과 랜덤 포레스트 211 8.4 결합 전략 215 8.5 다양성 221 8.6 더 읽을거리 227 연습문제 229 참고문헌 231 머신러닝 쉼터 234 CHAPTER 09 클러스터링 235 9.1 클러스터링 학습 문제 235 9.2 성능 척도 236 9.3 거리 계산법 238 9.4 프로토타입 클러스터링 241 9.5 밀도 클러스터링 252 9.6 계층 클러스터링 255 9.7 더 읽을거리 259 연습문제 262 참고문헌 264 머신러닝 쉼터 266 CHAPTER 10 차원 축소와 척도 학습 267 10.1 k-최근접 이웃 기법 267 10.2 임베딩 269 10.3 주성분 분석 273 10.4 커널 선형 차원 축소 275 10.5 매니폴드 학습 278 10.6 척도 학습 282 10.7 더 읽을거리 285 연습문제 287 참고문헌 288 머신러닝 쉼터 290 CHAPTER 11 특성 선택과 희소 학습 291 11.1 부분집합 탐색과 평가 291 11.2 필터식 선택 294 11.3 포괄식 선택 296 11.4 임베딩식 선택과 L1 정규화 298 11.5 희소 표현과 사전 학습 301 11.6 압축 센싱 304 11.7 더 읽을거리 308 연습문제 310 참고문헌 311 머신러닝 쉼터 314 CHAPTER 12 계산 학습 이론 315 12.1 기초 지식 315 12.2 PAC 학습 317 12.3 유한 가설 공간 319 12.4 VC 차원 323 12.5 라데마허 복잡도 329 12.6 안정성 335 12.7 더 읽을거리 339 연습문제 341 참고문헌 342 머신러닝 쉼터 343 CHAPTER 13 준지도 학습 345 13.1 언레이블된 데이터 345 13.2 생성적 방법 348 13.3 준지도 SVM 352 13.4 그래프 준지도 학습 355 13.5 불일치에 기반한 방법 359 13.6 준지도 클러스터링 363 13.7 더 읽을거리 368 연습문제 370 참고문헌 372 머신러닝 쉼터 374 CHAPTER 14 확률 그래피컬 모델 375 14.1 은닉 마르코프 모델 375 14.2 마르코프 랜덤 필드 379 14.3 조건 랜덤 필드 383 14.4 학습과 추론 386 14.5 근사추론 390 14.6 토픽 모델 397 14.7 더 읽을거리 400 연습문제 403 참고문헌 404 머신러닝 쉼터 406 CHAPTER 15 규칙 학습 407 15.1 기본 개념 407 15.2 순차적 커버링 410 15.3 가지치기 최적화 414 15.4 일차 규칙 학습 416 15.5 귀납 논리 프로그래밍 420 15.6 더 읽을거리 428 연습문제 431 참고문헌 432 머신러닝 쉼터 434 CHAPTER 16 강화 학습 435 16.1 과업과 보상 435 16.2 K-암드 밴딧 438 16.3 모델 기반 학습 443 16.4 모델-프리 학습 450 16.5 가치 함수 근사 457 16.6 이미테이션 러닝 460 16.7 더 읽을거리 462 연습문제 464 참고문헌 465 머신러닝 쉼터 467 APPENDIX A 행렬 469 A.1 기본 연산 469 A.2 도함수 470 A.3 특잇값 분해 472 APPENDIX B 최적화 474 B.1 라그랑주 승수법 474 B.2 이차 프로그래밍 477 B.3 반정형 프로그래밍 478 B.4 경사하강법 479 B.5 좌표하강법 480 APPENDIX C 확률 분포 482 C.1 자주 사용하는 확률 분포 482 C.2 켤레 분포 487 C.3 KL 발산 488 에필로그 489 찾아보기 494

이 책은 머신러닝 교과서입니다. 최대한 많은 독자에게 머신러닝을 소개하고 싶은 마음에 수학적 지식의 사용은 최대한 배제하려 노력했습니다. 하지만 최소한의 확률, 통계, 대수, 최적화, 논리 관련 수학 이론은 포함되어 있습니다. 따라서 대학교 4학년 이상의 이공계열 학생이나 대학원생, 그리고 비슷한 배경을 가진 머신러닝에 관심 있는 독자들께 적합할 것 같습니다. 독자들의 편의를 위해 책 말미에는 수학 기초 지식에 관한 간략한 소개도 함께 다루고 있습니다.
_xvii페이지(머리말 중에서)

과적합을 일으키는 원인은 다양합니다. 그중에서도 학습능력이 너무 뛰어나 훈련 데이터들이 가진 일반적이지 않은 특성까지 학습하는 경우가 가장 흔한 원인입니다. 반대로, 과소적합은 일반적으로 학습능력이 좋지 못해서인 경우가 많습니다. 과소적합은 극복하기 쉽습니다.
_30페이지

실질적으로 정보 이득 규칙은 취할 수 있는 값의 수가 비교적 많은 속성에 유리하게 작용합니다. 이런 편향은 모델에 좋지 못한 영향을 끼칠 수 있습니다. 그래서 유명한 C4.5 의사결정 트리 방법[Quinlan, 1993]은 정보 이득을 사용하는 대신 이득율(gain ratio)이라는 방법을 사용하여 최적의 분할 속성을 선택했습니다. 식 4.2와 동일한 부호로 나타낸다면, 이득율은 다음과 같이 정의할 수 있습니다.
_96페이지

커널 함수는 직접적으로 서포트 벡터 머신과 커널 기법의 최종 성능을 결정합니다. 한 가지 안타까운 것은 커널 함수의 선택 문제는 여전히 해결해야 할 어려운 문제입니다. 다중 커널 학습(multiple kernel learning)은 다수의 커널 함수를 사용하고 학습을 통해 얻은 최적의 컨벡스 조합을 최종 커널 함수로 설정합니다[Lanckriet et al., 2004; Bach et al., 2004]. 이는 사실상 앙상블 학습 메커니즘을 빌려온 것입니다.
_171페이지

클러스터링은 일종의 전형적인 비지도 학습법입니다. 그러나 현실에서 우리는 클러스터링을 진행하며 지도 학습 정보를 획득할 때가 많습니다. 따라서 준지도 클러스터링(semi-supervised clustering) 방법으로 지도 정보를 활용해 더 좋은 클러스터링 결과를 얻을 수 있습니다.
_363페이지

간결한 설명과 최소한의 수학적 지식을 통해 체계적으로 정리한 머신러닝 입문서! 이 책의 주요 목적은 독자들에게 나무와 숲을 함께 볼 수 있는 ‘초급 지도’를 제공해 머신러닝 입문자들이 올바른 방향으로 나갈 수 있도록 도와주는 것입니다. 다양한 머신러닝 알고리즘을 이해하기 쉽도록 이론뿐만 아니라 내부 처리 로직까지 설명하고 있어서 실제 머신러닝 기법의 개념과 원리를 탄탄하게 배울 수 있습니다. 아울러 체계적이고 간결한 내용 전개는 학부나 대학원의 교재뿐만 아니라 독학을 위한 자습서나 연구 참고용 도서로도 좋습니다.