Be a developer

Consumer - Kafka Consumer들은 Consumer Group에 속한다. - Consumer Group에 속한 consumer들은 같은 topic을 소비하고, 해당 topic의 서로 다른 partition을 분담해서 message를 소비한다. - 4개의 partition을 소비하는 Consumer Group - 한 Consumer Group의 두 Consumer가 분담하는 4개의 partition - 각각 한 partition을 담당하는 4개의 Consumer - partition 개수보다 더 많은 Consumer - 새로운 Consumer Group 추가 Rebalancing - 한 Consumer로부터 다른 Consumer로 partition 소유권을 이전하는 것. - rebalanci..

kafka에 message를 producing할 때 요구 조건은 다양하다. - 신용카드 트랜잭션 온라인 상점 등에서 대금 결제가 되는 즉시 kafka에 transaction 데이터를 전송한다. 이 때 하나의 message도 유실되지 않아야 하고, message가 복제되어도 안된다. 또한 처리 대기 시간은 짧아야 하고, 처리량은 매우 많아야 한다. - 웹 사이트의 클릭 정보 일부 message의 유실이나 복제가 허용될 수 있다. 사용자 경험에 영향을 주지 않는 범위에서 대기 시간이 길어도 된다. 즉, 사용자가 웹 페이지의 링크를 클릭할 때 다음 페이지가 로드만 될 수 있다면, message가 kafka에 전달되는 데는 수 초가 걸려도 괜찮다. 처리량은 웹 사이트의 접속량에 따라 다를 수 있다. Produc..

zookeeper 카프카와 연결하기 전 아래 명령어를 쳐보면 zookeeper 노드만 존재 # bin 디렉토리로 이동 $ ./zkCli.sh # zookeeper cli가 실행된 후 > ls / 카프카와 연결한 후 다시 ls / 명령어를 실행하면 여러 노드가 생성된 것이 보인다. 디렉토리들을 살펴본다.(아직은 아래 디렉토리에만 데이터가 존재한다.) kafka-manager cluster를 추가해준다. cluster 추가 후 다시 zookeeper에 접속해서 노드를 찾아본다. __consumer_offsets라는 토픽이 추가되어 있다. consumer group이 consume하는 topic partition에 대하여 어디까지 consume했는지를 해당 토픽에 저장한다고함. 카프카 매니저를 통해 clust..

카프카를 설치하면 주키퍼를 실행하기 위한 설정 파일과 카프카를 설정하기 위한 설정 파일이 모두 존재하고 있어서 하나의 서버에서 카프카와 주키퍼를 모두 띄워서 사용할 수 있다. 하지만 주키퍼 전용 서버를 따로, 카프카 전용 서버를 따로 구성한다.(모든 서버는 centos 76) 아래와 같이 zookeeper 서버 3대, kafka 서버 3대로 구성한다. zookeeper는 클러스터로 구성할 경우 과반수 이상의 서버가 정상일 때만 지속적인 서비스가 가능하기 때문에 홀수로 구성해야 한다. 따라서 3대를 설치한다.(from. twofootdog.tistory.com/89, judo0179.tistory.com/112) 카프카는 굳이 홀수로 구성할 필요는 없다.(from. gunju-ko.github.io/kaf..