카프카, Apache Kafka

카프카 Apache Kafka

 

- 대용량 데이터를 처리하기 위한 고성능 큐queue 시스템.

- 링크인社에서 개발하고, 2011년 오픈소스화되어 아파치 재단에서 관리중.

- 스칼라로 개발되었고, 자바로 구동됨.

- 고성능의 데이터 파이프라인, 스트리밍 분석, 데이터 통합 등에사용되는 분산 이벤트 스트리밍 플랫폼

 

 

kafka는 Source와 Target Application간의 결합도를 낮추기 위해 사용.

 

          [Source]  →  Kafka  →  [Target]

 

- Source = Producer : 데이터를 큐queue에 넣는 역할( 데이터를 kafka topic에 생성 )

   ex) producer.send( new ProducerRecord<String, String>( {kafka_quere}, {value} ) );

- Target  = Consumer : 큐에서 데이터를 가져가는 역할

 

 

Kafka Topic

- DB의 테이블이나 파일시스템처럼 데이터를 보관하는 객체.

- Producer가 데이터를 넣고, Consumer가 데이터를 가져감.

- Consumer가 데이터를 가져가도 데이터가 사리지지 않고, 새로운 Consumer가 다시 데이터를 가져갈 수 있음.

- 각 Topic은 이름을 붙일수 있음.

 

 

The End.