위지원의 데이터 일기 🐈
Home
  • 분류 전체보기 (563)
    • ✎ 2025년 (4)
    • 2024년 (16)
    • 2023년 (6)
    • 2022년 (35)
      • Developement (22)
      • Error (9)
    • 2021년 (68)
      • ERROR (9)
      • 알고리즘 (11)
      • 개발공부 (21)
      • Data (15)
      • 21.下 (12)
    • 2020년 (164)
      • 코테 (84)
      • Development (29)
      • 정처기 (41)
    • 2019년 (27)
    • 2018년 (89)
      • English Speaking (8)
      • Error (12)
      • C, Java, FileSystem (13)
      • DataBase (15)
      • Java (2)
      • 지식 (16)
      • Go (3)
      • spark (9)
      • 영어 (5)
      • 알고리즘 (6)
    • 2017년 (143)
      • Error (17)
      • machine learning (16)
      • Spark (20)
      • Database (19)
      • Python (17)
      • Spring (9)
      • etc. (10)
      • 백준 (5)
      • Google Platform (12)
      • web Development (7)
      • Docker (3)
      • Linux (8)
Home
  • 분류 전체보기 (563)
    • ✎ 2025년 (4)
    • 2024년 (16)
    • 2023년 (6)
    • 2022년 (35)
      • Developement (22)
      • Error (9)
    • 2021년 (68)
      • ERROR (9)
      • 알고리즘 (11)
      • 개발공부 (21)
      • Data (15)
      • 21.下 (12)
    • 2020년 (164)
      • 코테 (84)
      • Development (29)
      • 정처기 (41)
    • 2019년 (27)
    • 2018년 (89)
      • English Speaking (8)
      • Error (12)
      • C, Java, FileSystem (13)
      • DataBase (15)
      • Java (2)
      • 지식 (16)
      • Go (3)
      • spark (9)
      • 영어 (5)
      • 알고리즘 (6)
    • 2017년 (143)
      • Error (17)
      • machine learning (16)
      • Spark (20)
      • Database (19)
      • Python (17)
      • Spring (9)
      • etc. (10)
      • 백준 (5)
      • Google Platform (12)
      • web Development (7)
      • Docker (3)
      • Linux (8)
블로그 내 검색
포트폴리오

위지원의 데이터 일기 🐈

데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Girl이 되는 그날까지🏃‍♀️ 화이팅!

  • 🖥 깃블로그
  • 🌍 위키원
  • 📑 내맘대로 스크랩
  • 💌 메일
  • 2022년/Developement

    로그 데이터의 중요성

    2022. 4. 11. 11:53

    by. 위지원

    로그는 서비스나 시스템 가동 시 발생되는 이벤트의 기록이다. 많은 사람들이 알고있겠지만, 경험적으로도 로그는 매우 중요하다. 로그를 어떻게 쌓아야하고 어떻게 관리하는지 알아보자.

     

    위에서 이벤트의 기록이라고 했는데, 이 외에 사용자 로그 데이터와 이벤트 로그 로도 불리운다고 한다. 

    과거에 선박 속도 측정을 위해 칩 로그라는 것을 썼다고 한다. 배의 앞에서 통나무를 띄어서 배의 선미까지도 도달하는 시간을 재는 방식에 로그를 사용했다. 위에 짤도 그래서 나온 것 같당.

     

    일반적인 로그의 형태는 ket-value 이다. 로그가 중요한 이유는 가장 기본적인 시각정보이기때문이다. 개발자들 입장에서도 시스템이 다운되었을 때 이 로그를 보고 이슈해결이 가능하다. 

     

    로그 데이터는 어떻게 관리해야할까?  해커들은 이 로그를 변조하는 경우가 많다고한다. 그러므로 로그데이터의 안정성을 확보하기 위한 위조방지가 필수적이다.

     

    로그 관리는 다음 순서로 이루어진다.

    수집 -> 중앙 처리와 인덱싱 -> 검색과 분석 -> 모니터링과 경고 -> 리포트와 대시보드

     

    이벤트 로그에는 다음이 포함된다.

     언제 어떤 이벤트가 무슨 상태로 발생했는가?

    로그는 자세할 수록 좋지만 우선 순위를 정하는게 좋다. 필요한 데이터를 적재 적소에 남기는 것이 중요한 것이다. 모든 데이터를 기록할수도, 필요도 없고 시간이 아깝다.

     

    좋은 로그란 무엇인가를 아래 자료를 통해 보면 좋다. 왕 좋다 ㅎㅎ

    좋은 로그를 얻기 위해 고려해야 할 것들은 다음과 같다. 이를 위한 다른 많은 설명들을 해주신다. 짱 ! 

    필요한 정보가 의미를 명확하게 가지고 있으며 편리하게 데이터를 얻을 수 있는가? 
     

    (자막)[NDC19] 좋은 로그란 무엇인가?: 좋은 로그를 위해 고려해야 할 것들

    NDC19에서 발표하였습니다. 자막없이 보기 -> https://hyojun.me/~ndc19-slide

    speakerdeck.com

     

    References

    https://zzsza.github.io/data/2021/06/13/data-event-log-definition/

    https://m.blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=futuremain&logNo=221276340492

    https://brunch.co.kr/@sangjinkang/22

    저작자표시

    '2022년 > Developement' 카테고리의 다른 글

    yolov5 하이퍼파라미터  (3) 2022.04.12
    소프트웨어 장인  (0) 2022.04.12
    logstash + aws + twitter 데이터 수집 # 1  (0) 2022.03.15
    TIL(Today I Learned)  (0) 2022.03.14
    요즘 내가 즐겨 보는 것들  (0) 2022.03.08

    잠깐만요~! 읽으신김에 이런 글들은 어떠세요? 👀

    • yolov5 하이퍼파라미터 2022.04.12
    • 소프트웨어 장인 2022.04.12
    • logstash + aws + twitter 데이터 수집 # 1 2022.03.15
    • TIL(Today I Learned) 2022.03.14
    맨 위로
전체 글 보기
Tistory 로그인
Tistory 로그아웃
로그아웃 글쓰기 관리

열정! 열정! 열정! 🔥

Designed by Nana
블로그 이미지
위지원
데이터 엔지니어로 근무 중에 있으며 데이터와 관련된 일을 모두 좋아합니다!. 특히 ETL 부분에 관심이 가장 크며 데이터를 빛이나게 가공하는 일을 좋아한답니다 ✨

티스토리툴바

티스토리툴바