카프카의 고급 기능

• Kafka Streams
  • 실시간 데이터 처리를 위한 클라이언트 라이브러리
  • 분산 환경에서 고성능 유지
  • 상태 저장 및 비저장 처리 지원
  • 정확히 한 번 처리 보장
  • Stateful processing : 윈도우 연산, 조인 연산, 집계 가능
  • KTable, KStream
    • KTable : 단순한 데이터 스트림 흐름
    • KStream : 상태 기반의 데이터 구조, 최신 상태만 유지하며 업데이터가 일어날 때마다 데이터가 덮어 쓰여짐
• Kafka Connect
  • 데이터 통합을 위한 분산 프레임워크
  • 데이터 데이터 소스/싱크 연결
  • 확장 가능한 플러그인 아키텍쳐
  • 내장 및 커스텀 커넥터 지원
  • 활용 사례
    • 데이터베이스CDC (Change Data Capture)
    • 로그 파일 스트리밍
    • 클라우드 스토리지 연동
• Broker 설정 및 튜닝
  • 리텐션 정책 설정
    • 리텐션 기간 설정 
    • 세그먼트 크기 최적화
    • 고려사항 : 스토리지 용량 vs 데이터 보존 기간
  • 리더와 팔로워 관리
    • Replication Factor 설정
    • ISR(In-Sync Replicas) 관리
    • 리더 선출 전략
• Producer 설정
  • Idempotent Producer
    • 중복 메시지 방지
  • Transactional Producer : 원자적 메시지 전송
  • 압축 설정
• Consumer 리밸런싱 전략
  • 컨슈머 그룹 관리 : 파티션 재배치 최적화
  • 리밸런싱 정략 : 
    • Sticky Assignor
    • Cooperative Sticky Assignor
    • 커스텀 파티션 할당 전략
    • 정적 멤버십
    • 증분식 리밸런싱
• Consumer Offset 관리
  • 자동 offset 커밋
    • 주기적 자동 커밋
    • 장점 : 간단한 구현과 관리
    • 단점 : 중복 처리 가능성
  • 수동 Offset 관리
    • 관리자가 직접 커밋
    • 장점 : 정확한 처리 보장
    • 단점 : 복잡한 구현
• Replication Factor 및 파티셔닝 전략
  • Replication Factor 조정 : 데이터 내구성과 장애 복구 능력 향상
  • 커스터 파티셔닝 전략 : 데이터 로컬리티 향상
• SSL/TLS 구성
  • SSL 구성 : 데이터 암호화 및 보안 통신
  • SASL을 통한 인증 : 다양한 인증 매커니즘 지원, Kerberos, SCRAM
• ACL 보안 관리
  • 세밀한 접근 제어 : 특정 사용자나 애플리케이션이 특정 토픽에 접근할 수 있도록 설정
  • 보안 정책 적용 및 모니터링 : 보안 로그를 통해 모든 보안 이벤트를 기록, 이상행동 탐지, 칩입 방지