위지원의 데이터 일기 🐈
Home
  • 분류 전체보기 (563)
    • ✎ 2025년 (4)
    • 2024년 (16)
    • 2023년 (6)
    • 2022년 (35)
      • Developement (22)
      • Error (9)
    • 2021년 (68)
      • ERROR (9)
      • 알고리즘 (11)
      • 개발공부 (21)
      • Data (15)
      • 21.下 (12)
    • 2020년 (164)
      • 코테 (84)
      • Development (29)
      • 정처기 (41)
    • 2019년 (27)
    • 2018년 (89)
      • English Speaking (8)
      • Error (12)
      • C, Java, FileSystem (13)
      • DataBase (15)
      • Java (2)
      • 지식 (16)
      • Go (3)
      • spark (9)
      • 영어 (5)
      • 알고리즘 (6)
    • 2017년 (143)
      • Error (17)
      • machine learning (16)
      • Spark (20)
      • Database (19)
      • Python (17)
      • Spring (9)
      • etc. (10)
      • 백준 (5)
      • Google Platform (12)
      • web Development (7)
      • Docker (3)
      • Linux (8)
Home
  • 분류 전체보기 (563)
    • ✎ 2025년 (4)
    • 2024년 (16)
    • 2023년 (6)
    • 2022년 (35)
      • Developement (22)
      • Error (9)
    • 2021년 (68)
      • ERROR (9)
      • 알고리즘 (11)
      • 개발공부 (21)
      • Data (15)
      • 21.下 (12)
    • 2020년 (164)
      • 코테 (84)
      • Development (29)
      • 정처기 (41)
    • 2019년 (27)
    • 2018년 (89)
      • English Speaking (8)
      • Error (12)
      • C, Java, FileSystem (13)
      • DataBase (15)
      • Java (2)
      • 지식 (16)
      • Go (3)
      • spark (9)
      • 영어 (5)
      • 알고리즘 (6)
    • 2017년 (143)
      • Error (17)
      • machine learning (16)
      • Spark (20)
      • Database (19)
      • Python (17)
      • Spring (9)
      • etc. (10)
      • 백준 (5)
      • Google Platform (12)
      • web Development (7)
      • Docker (3)
      • Linux (8)
블로그 내 검색
포트폴리오

위지원의 데이터 일기 🐈

데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Girl이 되는 그날까지🏃‍♀️ 화이팅!

  • 🖥 깃블로그
  • 🌍 위키원
  • 📑 내맘대로 스크랩
  • 💌 메일
  • 2020년/Development

    [Kafka] #1 카프카를 알아보자

    2020. 10. 6. 17:20

    by. 위지원

    1. Kafka의 Three key capabilities.
    2. kafka의 작동
    3. Main Concepts과 Terminology

    kafka.apache.org/documentation/#gettingStarted

     

    Apache Kafka

    Apache Kafka: A Distributed Streaming Platform.

    kafka.apache.org

     

    Kafka의 Three key capabilities.

    1. To publish (write) and subscribe to (read) streams of events, including continuous import/export of your data from other systems.
    2. To store streams of events durably and reliably for as long as you want.
    3. To process streams of events as they occur or retrospectively.

    kafka의 작동

     

    Kafka is a distributed system consisting of servers and clients that communicate via a high-performance TCP network protocol. 

     

    Apache Kafka

    Apache Kafka: A Distributed Streaming Platform.

    kafka.apache.org

    Servers: Kafka is run as a cluster of one or more servers that can span multiple datacenters or cloud regions. Some of these servers form the storage layer, called the brokers. Other servers run Kafka Connect to continuously import and export data as event streams to integrate Kafka with your existing systems such as relational databases as well as other Kafka clusters. 

     

    Main Concepts과 Terminology

    • event : something happened, events are not deleted after consumption.Instead, define for how long Kafka should retain. (Event key: "Alice Event value: "Made a payment of $200 to Bob", Event timestamp: "Jun. 25, 2020 at 2:06 p.m.")
    • Producers: Client applications that publish(write) events to Kafka
    • Consumers: Subscribe to(read and process) these events
    • Topic: similar to a folder in a filesystem. Topic always multi-producer and multi-subscriber(0~)
    • Partitioned: Topics are partitioned. A topic is spread over a number of "buckets" located on different Kafka brokers.
    • Replicated: to make data fault-tolerant and highly-available.

    https://kafka.apache.org/documentation/#intro_concepts_and_terms

    profile
    위지원

    데이터 엔지니어로 근무 중에 있으며 데이터와 관련된 일을 모두 좋아합니다!. 특히 ETL 부분에 관심이 가장 크며 데이터를 빛이나게 가공하는 일을 좋아한답니다 ✨

    저작자표시 (새창열림)

    '2020년 > Development' 카테고리의 다른 글

    [PyTorch] 파이토치 써보기  (0) 2020.10.21
    [Kafka] #2 카프카를 써보자  (0) 2020.10.06
    신경망 학습 #3  (0) 2020.07.19
    신경망 학습 #2  (1) 2020.07.17
    신경망 학습 # 1  (0) 2020.07.15

    잠깐만요~! 읽으신김에 이런 글들은 어떠세요? 👀

    • [PyTorch] 파이토치 써보기 2020.10.21
    • [Kafka] #2 카프카를 써보자 2020.10.06
    • 신경망 학습 #3 2020.07.19
    • 신경망 학습 #2 2020.07.17
    맨 위로
전체 글 보기
Tistory 로그인
Tistory 로그아웃
로그아웃 글쓰기 관리

열정! 열정! 열정! 🔥

Designed by Nana
블로그 이미지
위지원
데이터 엔지니어로 근무 중에 있으며 데이터와 관련된 일을 모두 좋아합니다!. 특히 ETL 부분에 관심이 가장 크며 데이터를 빛이나게 가공하는 일을 좋아한답니다 ✨

티스토리툴바

개인정보

  • 티스토리 홈
  • 포럼
  • 로그인

티스토리툴바

개인정보

  • 티스토리 홈
  • 포럼
  • 로그인

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.