2025년 02월 28일 출간 | ISBN : 1189909820 | 480쪽 | 규격外

저자 : 미카엘 메종 (Mickael Maison) 아파치 카프카 프로젝트 관리 위원회(PMC)의 커미터이자 의장이다. 2015년부터 아파치 카프카와 카프카의 생태계 전반에 기여해 왔다. 현재는 레드햇의 카프카 팀에서 수석 소프트웨어 엔지니어로 근무하며, 10년 이상의 소프트웨어 개발 경력을 보유하고 있다. 이전에는 고객을 위해 수백 개의 카프카 클러스터를 운영하는 IBM의 이벤트 스트림즈 팀에서 근무했다. 저자 : 케이트 스탠리 (Kate Stanley) 소프트웨어 엔지니어이자 기술 연사이며 자바 챔피언이다. 쿠버네티스에서 아파치 카프카를 운영하고, 엔터프라이즈 카프카 애플리케이션을 개발하며, 카프카 커넥트용 커넥터를 작성한 경험이 있다. 현재는 레드햇의 카프카 팀에서 수석 소프트웨어 엔지니어로 일하며, 오픈소스 카프카 오퍼레이터인 스트림지를 비롯해 카프카 생태계의 여러 프로젝트에 기여하고 있다. 역자 : 고승범 현재 국내 통신사에서 데이터 엔지니어 업무를 담당하고 있으며, 이전에는 카카오에서 전사 공용 카프카와 래빗MQ를 운영했다. 『카프카, 데이터 플랫폼의 최강자』(책만, 2018), 『실전 카프카 개발부터 운영까지』(책만, 2021)를 집필하고, 카프카 한국 사용자 모임(https://facebook.com/groups/kafka.kru)을 창설하여 기술 공유와 세미나를 리딩해 왔다. 국내 최초이자 유일한 ‘컨플루언트 공인 아파치 카프카 강사(Confluent Certified Trainer for Apache Kafka)’와 ‘컨플루언트 공인 아파치 카프카 관리자(Confluent Certified Administrator for Apache Kafka)’ 자격을 보유하고 있다. 역자 : 이상헌 삼성전자에서 데이터 레이크 서비스 개발 및 운영 업무를 맡고 있다. 실시간 CDC(Change Data Capture) 데이터 파이프라인 개발을 비롯하여 카프카 기반 서비스에 관심이 많다. 현재 카프카 한국 사용자 모임 운영진으로 활동하고 있다. 역자 : 황한희 스타트업에서 데이터 엔지니어로 재직 중이며, 카프카 커넥터 중심의 데이터 파이프라인 설계 및 운영을 담당하고 있다. 이 과정에서 직접 개발한 커스텀 카프카 커넥터를 사내에 배포하여 활용하고 있으며, 데이터 분야 종사자들과의 교류를 좋아한다. 카프카 한국 사용자 모임에서 운영진으로 활동하고 있다.

1부 l 카프카 커넥트란 1장 카프카 커넥트 입문 카프카 커넥트 기능 __플러그형 아키텍처 __확장성과 신뢰성 __선언적 파이프라인 정의 __카프카 커넥트도 아파치 카프카의 일부 사용 사례 __데이터베이스 변경사항 캡처 __카프카 클러스터 미러링 __데이터 레이크 구축 __로그 집계 __레거시 시스템 현대화 카프카 커넥트의 대안 정리 2장 아파치 카프카란 분산 이벤트 스트리밍 플랫폼 __오픈소스 __분산 시스템 __이벤트 스트리밍 __플랫폼 카프카 주요 개념 __발행-구독 __브로커와 레코드 __토픽과 파티션 __리플리케이션 __보관 주기와 컴팩션 __크래프트와 주키퍼 카프카와 상호작용하기 __프로듀서 __컨슈머 __카프카 스트림즈 카프카 시작하기 __카프카 실행 __레코드 주고받기 __카프카 스트림즈 애플리케이션 실행 정리 2부 l 카프카 커넥트로 데이터 파이프라인 구축하기 3장 카프카 커넥트 데이터 파이프라인의 구성요소 카프카 커넥트 런타임 __카프카 커넥트 실행하기 __카프카 커넥트 REST API __플러그인 설치하기 __배포 모드 소스 커넥터와 싱크 커넥터 __커넥터와 태스크 __커넥터 구성하기 __커넥터 실행하기 컨버터 __데이터 형식과 스키마 __컨버터 구성하기 __컨버터 사용하기 트랜스포메이션과 프레디케이트 __트랜스포메이션 사용 사례 __프레디케이트 __트랜스포메이션과 프레디케이트 구성하기 __트랜스포메이션과 프레디케이트 사용하기 정리 4장 효과적인 데이터 파이프라인 설계하기 커넥터 선택하기 __파이프라인 방향 __라이선싱과 지원 __커넥터의 기능 데이터 모델 정의하기 __데이터 변환 __시스템 간 데이터 매핑하기 데이터 포매팅 __데이터 포맷 __스키마 카프카 커넥트 내부 살펴보기 __내부 토픽 __그룹 멤버십 __리밸런스 프로토콜 카프카 커넥트에서 장애 상황 다루기 __워커 장애 __커넥터/태스크 장애 __카프카/외부 시스템 장애 __데드 레터 큐 처리 시맨틱 이해하기 __싱크 커넥터 __소스 커넥터 정리 5장 커넥터 인 액션 컨플루언트 S3 싱크 커넥터 __커넥터 구성하기 __정확히 한 번 시맨틱 __커넥터 실행하기 컨플루언트 JDBC 소스 커넥터 __커넥터 구성하기 __커넥터 실행하기 데비지움 MySQL 소스 커넥터 __커넥터 구성하기 __이벤트 형식 __커넥터 실행하기 정리 6장 미러메이커로 클러스터 미러링하기 미러링이란 __미러링 사용 사례 살펴보기 __미러링 실전 활용 미러메이커 소개 __공통 개념 __배포 모드 미러메이커 커넥터 __MirrorSourceConnector __MirrorCheckpointConnector __MirrorHeartbeatConnector 미러메이커 실행하기 __재해 복구 예제 __지역 간 복제 예제 정리 3부 l 상용 환경에서 카프카 커넥트 실행하기 7장 카프카 커넥트 클러스터 배포 및 운영 카프카 커넥트 환경 준비 __카프카 커넥트 환경 구축 __플러그인 설치 __네트워킹 및 권한 워커 플러그인 __구성 공급자 __REST 확장 기능 __커넥터 클라이언트 구성 오버라이드 정책 규모 산정 및 처리 능력 계획하기 __카프카 커넥트 리소스 활용 이해하기 __적절한 워커와 태스크 수 선정하기 카프카 커넥트 클러스터 운영하기 __워커 추가하기 __워커 제거하기 __워커 업그레이드 및 유지보수하기 __장애 상태인 태스크와 커넥터 재시작하기 __커넥터 오프셋 재설정하기 REST API를 사용해 카프카 커넥트 관리하기 __커넥터 생성 및 삭제하기 __커넥터와 태스크 구성 __커넥터 수명주기 제어하기 __커넥터 오프셋 나열하기 __이슈 디버깅 정리 8장 카프카 커넥트 구성하기 런타임 구성하기 __상용 환경을 위한 구성 __파인 튜닝 구성 커넥터 구성하기 __토픽 구성 __클라이언트 오버라이드 __정확히 한 번을 위한 구성 __오류 처리를 위한 구성 보안을 위한 카프카 커넥트 클러스터 구성하기 __카프카에 대한 연결에 보안 설정하기 __권한 구성하기 __REST API 보안 구성하기 정리 9장 카프카 커넥트 모니터링하기 로그 모니터링 __로깅 구성 __시작 로그 이해하기 __로그 분석하기 지표 모니터링하기 __지표 리포터 __지표 분석하기 __지표 탐색 주요 지표 __카프카 커넥트 런타임 지표들 __그 밖의 시스템 지표 정리 10장 쿠버네티스에서 카프카 커넥트 관리하기 쿠버네티스 소개 __가상화 기술 __쿠버네티스 기본 쿠버네티스에서 카프카 커넥트 실행하기 __컨테이너 이미지 __워커 배포 __네트워킹과 모니터링 __구성 쿠버네티스 오퍼레이터를 사용해 카프카 커넥트 배포하기 __쿠버네티스 오퍼레이터 소개 __카프카 커넥트용 쿠버네티스 오퍼레이터 스트림지 __쿠버네티스 환경 구성하기 __오퍼레이터 시작하기 __카프카 커넥트 CRD 알아보기 __카프카 커넥트 클러스터와 커넥터 배포하기 __미러메이커 CRD 정리 4부 l 커스텀 커넥터와 플러그인 구축하기 11장 소스 커넥터와 싱크 커넥터 구축하기 공통 개념과 API __커스텀 커넥터 구축하기 __Connector API __구성 __Task API __카프카 커넥트 레코드 __ConnectorContext API 소스 커넥터 구현하기 __SourceTask API __소스 레코드 __SourceConnectorContext와 SourceTaskContext API __정확히 한 번 시맨틱 지원 싱크 커넥터 구현하기 __SinkTask API __싱크 레코드 __SinkConnectorContext와 SinkTaskContext API 정리 12장 커넥터와 워커 플러그인으로 카프카 커넥트 확장하기 커넥터 플러그인 구현하기 __Transformation API __Predicate API __Converter API와 HeaderConverter API 워커 플러그인 구현하기 __ConfigProvider API __ConnectorClientConfigOverridePolicy API __ConnectRestExtension API 정리

| 이 책의 독자 대상 | 카프카 커넥트 환경과 상호작용하는 데이터 엔지니어, 사이트 신뢰성 엔지니어, 개발자 | 이 책의 구성 | 1부는 카프카와 카프카 커넥트 전반에 대한 소개 내용을 다루며, 주로 카프카 커넥트를 처음 접하거나 막 시작하는 엔지니어를 대상으로 한다. 2부는 카프카 커넥트를 사용해 데이터 파이프라인을 구축하는 방법을 설명하며, 특히 데이터 엔지니어와 관련이 있다. 3장과 4장에서는 핵심 카프카 커넥트 구성요소를 논의하고, 이들을 결합해 견고하고 효율적인 데이터 파이프라인을 설계하는 방법을 설명한다. 2부의 나머지 장에서는 가장 인기 있는 커넥터들을 자세히 살펴본다. 5장에서는 커뮤니티에서 제공하는 세 가지 커넥터인 컨플루언트 S3(Confluent S3) 싱크, 컨플루언트 JDBC(Confluent JDBC) 소스, 데비지움(Debezium) MySQL 소스를 다룬다. 6장에서는 카프카의 미러링 도구인 미러메이커(MirrorMaker)가 어떻게 작동하는지 자세히 설명한다. 여기에는 소스, 체크포인트, 하트비트 커넥터의 기능과 구성에 대한 내용이 포함된다. 3부는 카프카 커넥트 운영 측면에 초점을 맞추며, 사이트 신뢰성 엔지니어를 대상으로 한다. 7장에서는 상용 환경에서 카프카 커넥트 클러스터를 배포하고 운영하는 방법을 보여준다. 8장에서는 카프카 커넥트가 제공하는 모든 구성 설정을 다루고, 이를 조정하는 방법과 시점을 결정하는 데 도움이 되는 배경과 맥락을 제공한다. 9장은 로그와 지표를 사용해 카프카 커넥트 클러스터를 지속적으로 모니터링하는 방법을 설명한다. 마지막으로 10장에서는 쿠버네티스(Kubernetes)에서 카프카 커넥트 클러스터를 실행하기 위해 필요한 핵심 고려사항을 논의한다. 여기에는 쿠버네티스에 대한 전반적인 소개와 이러한 유형의 인프라에 카프카 커넥트를 배포하는 데 사용할 수 있는 옵션에 대한 설명이 포함된다. 4부는 카프카 커넥트를 위한 커스텀 커넥터와 플러그인을 구현하는 방법을 설명하며, API에 대해 자세히 다루므로, 자신의 사용 사례에 맞게 카프카 커넥트를 커스터마이즈하려는 개발자를 대상으로 한다. [옮긴이의 말] 카프카 커넥트는 단순한 데이터 애플리케이션이 아니라, 엔터프라이즈 환경에서 데이터 파이프라인을 효율적으로 구축하고 확장할 수 있도록 설계된 강력한 분산 시스템입니다. 기존의 개별적인 데이터 통합 방식이 가진 복잡성과 신뢰성 문제를 해결하며, 실시간 스트리밍 환경에서 안정적인 데이터 흐름을 보장하는 핵심 기술입니다. 이 책을 번역하면서 카프카 커넥트의 내부 동작 원리와 다양한 운영 기법을 깊이 있게 다루고 있음을 느꼈습니다. 특히 이 책은 실무에서 자주 접하는 문제와 이를 해결하는 방안을 상세히 설명하고 있어 독자들에게 실질적인 도움이 될 것이라 확신합니다. - 고승범 데이터 레이크를 운영하다 보면 다양한 데이터 파이프라인을 설계하고 개발할 일이 많아집니다. 더욱이 원천 시스템의 종류가 다양하고 실시간 데이터가 요구될 때는 특히 더 카프카 커넥트 사용을 고려하는 편이 좋습니다. 이 책은 카프카 커넥트 구성요소들에 대한 자세한 설명과 클러스터 관리와 운영 측면에서의 팁들을 담고 있습니다. 카프카를 사용해 봤던 대다수의 개발자라면 큰 무리 없이 카프카 커넥트를 사용할 수 있을 테지만, 이 책을 완독한 독자들은 카프카와 카프카 커넥트에 대한 역할의 차이를 명확히 구분하게 될 것입니다. 따라서 레거시 ETL 시스템을 카프카 생태계 속에서 확장성을 고려한 실시간 ETL 시스템으로 변경/구축하고 싶으신 분은 꼭 읽어보시기를 권장하고 싶습니다. - 이상헌 스타트업에서 데이터 엔지니어로 일하다 보면, 종종 혼자서 전체 데이터 파이프라인을 책임져야 할 때가 많습니다. 게다가 수행해야 할 업무가 무수히 많기에, 애플리케이션을 처음부터 직접 개발하는 일은 큰 부담으로 다가옵니다. 이러한 상황에서 카프카 커넥트를 활용하면, 데이터 파이프라인을 좀 더 빠르고 효율적으로 구축할 수 있습니다. 그러나 처음 카프카 커넥트를 접하면 오히려 복잡해 보일 수도 있습니다. 이 책은 운영에 필요한 핵심 요소들을 체계적으로 설명하여, 초심자라 해도 많은 시행착오를 줄이고 카프카 커넥트를 안정적으로 다룰 수 있게 도와줍니다. 물론 단순한 사용법은 여러 자료를 통해 접할 수 있지만, 카프카 커넥트의 수명주기를 깊이 이해한다면 더욱 복잡한 문제도 해결할 수 있습니다. 오픈소스로 제공되는 다양한 커넥터들이 존재하지만, 모든 상황에 완벽히 부합하는 것은 아니기에 때로는 직접 커스텀 카프카 커넥터 구축에 대한 필요성을 느낄 때가 있습니다. 이 책은 카프카 커넥트 수명주기 이해에 대한 부담감을 덜어주고, 커스텀 커넥터를 개발하고 운영하는 데 필요한 실질적인 가이드를 제공합니다. 저 역시 새로운 요구사항에 맞춰 커스텀 카프카 커넥터를 구축해야 했고, 이 책을 번역하는 과정에서 얻은 지식을 바탕으로 직접 개발과 운영을 진행할 수 있었습니다. 카프카 커넥트가 모든 상황에 적합한 은탄환이 될 수는 없지만, 데이터 엔지니어링에서 광범위하게 활용될 수 있다는 점에는 의심의 여지가 없습니다. 저와 같은 현업 사용자에게 이 책이 문제 해결을 위한 실마리를 찾는 데 든든한 길잡이가 되기를 바랍니다. - 황한희