Research Notes (개인)
기술 연구 노트
개인적으로 정리한 연구 노트와 실전 학습 가이드를 확인할 수 있습니다.
Research
Kafka는 결국 At-Least-Once다: 멱등성(idempotency) + processed_event + dedupe로 “운영 가능한 정확성” 만들기
Kafka 운영의 현실을 At-Least-Once로 정의하고, 멱등 키(dedup_key), processed_event, DB 트랜잭션 기반 dedupe로 중복에 안전한 파이프라인을 설계하는 전략을 정리.
Deep diveKafkaReliability
View note →Research
Kafka 스키마 전략: 호환성 규칙으로 “배포 사고”를 막고, DLQ/Replay로 “복구 가능”하게 만들기
Avro와 Protobuf 중 하나를 선택해 표준화하고, 호환성 규칙을 강제하며, 실패 메시지를 DLQ로 격리하고 Replay로 복구할 수 있는 운영 체계를 정리.
NotesKafkaSchema
View note →Research
Kafka 트랜잭션(EOS) 이해
transactional.id, commit과 abort, consume→produce EOS, LEO·HW·LSO 관점으로 Kafka 메시지 가시성과 트랜잭션 동작을 정리.
PlaybookKafkaTransactionEOS
View note →