데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2022년/Developement

벌써 2022년도의 마지막 주이고 나는 이번주를 끝으로 프로젝트에서 철수한다. 서론 이번에 데이터 이행 프로젝트를 진행하게 되었다. 프로젝트를 진행하면서 꽤나 많은 기술을 접할 수 있었는데, 프로젝트가 종료되어가는 이 시점에서 각 기술들을 정리하면서 머릿속에 남겨보고자 한다. 아, 당연히 기술을 플젝에서 어떻게 썼는지에 대한 자세한 내용은 기술하지 않을 것이다. 나는 이번 프로젝트에서 초반에는 데이터 이행을 도와주다가 후반 부에는 검증을 도맡아 했다. 검증 해야하는 테이블의 양이 약 4000개로 매우 많았고, 테이블의 크기가 커 어려움이 많았다. 무엇을 배웠는가? 우선 프로젝트에서 접한 것들을 나열하자면 1. Linux Bash shell 2. Sqoop 3. Impala 4. Kudu 5. Hive 6..

2022. 12. 26. 16:57

2022년/Developement

로그는 서비스나 시스템 가동 시 발생되는 이벤트의 기록이다. 많은 사람들이 알고있겠지만, 경험적으로도 로그는 매우 중요하다. 로그를 어떻게 쌓아야하고 어떻게 관리하는지 알아보자. 위에서 이벤트의 기록이라고 했는데, 이 외에 사용자 로그 데이터와 이벤트 로그 로도 불리운다고 한다. 과거에 선박 속도 측정을 위해 칩 로그라는 것을 썼다고 한다. 배의 앞에서 통나무를 띄어서 배의 선미까지도 도달하는 시간을 재는 방식에 로그를 사용했다. 위에 짤도 그래서 나온 것 같당. 일반적인 로그의 형태는 ket-value 이다. 로그가 중요한 이유는 가장 기본적인 시각정보이기때문이다. 개발자들 입장에서도 시스템이 다운되었을 때 이 로그를 보고 이슈해결이 가능하다. 로그 데이터는 어떻게 관리해야할까? 해커들은 이 로그를 변..

2022. 4. 11. 11:53

2020년/Development

멍잉(munging)은 전처리, 파싱, 필터링과 같이 데이터를 이리저리 핸들링한다는 뜻이다..사실 이 단어는 컴퓨터로 데이터를 처리하는 사람들 사이에서 많이 쓰이는 따끈따끈한 신조어이다. - 전희원 저 [R로 하는 데이터 시각화] 52쪽 데이터의 하드스킬에 가깝다. 데이터 멍잉은 데이터 랭글링(data wrangling)과 같은 뜻 데이터 멍잉(data munging) '데이터 멍잉(data munging)'이라는 말을 들어 보았는가? 내가 웹에서 이 낱말을 본 것은 불과 며칠 되지 않았다. 처음에는 오타인줄 알았다. 어디서 개가 짖나? 멍멍, 멍잉... 한빛미디어에서 출간한 blog.genoglobe.com

2020. 12. 28. 22:54