Apache Kafka 대용량, 대규모 메시지 데이터를 빠르게 처리하도록 개발된 메시징 플랫폼 Netflix, Airbnb, 카카오, 네이버 등의 주요 기업들에서 사용하는 대규모 데이터 처리 플랫폼 카프카의 탄생 배경 처음 링크드인이 급성장을 이루며 데이터 처리 시스템의 문제점을 개선시키고자 탄생했다. 통합된 데이터 전송 영역이 없었기 없었고, 데이터 파이프라인의 관리가 어려웠다. 데이터 분석을 위하여 파이프라인이 서로 연결되어야 했는데, 파이프라인별로 데이터 포맷과 처리하는 방법들이 달라 확장에 어려움이 있었다. 따라서 다음과 같은 시스템을 만들게 되었다. 프로듀서와 컨슈머의 분리 메시징 시스템과 같이 영구 메시지 데이터를 여러 컨슈머에 허용 높은 처리량을 위한 메시지 최적화 데이터 증가에 따른 스케일..
