데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

✎ 2024년

2024년이 벌써 절반이 흘렀다. 올해는 내 30대가 시작된 해다. 그래서, 오늘은 조금 다른 이야기를 해보려 한다. 30대를 성공적으로 시작했는가? 에 대한 나의 답변. 지난 1년은 20대의 끝과 30대의 시작, 또 나에게 인생 전환점이었다. 그간의 일들을 짤막하게나마 내 지난 7년이 묻어있는 이곳에 그 기록하고 싶다."나 취미가 뭐지?" 취미를 찾기 위해 심리상담을 받았던 적도 있다. 회사 일 빼고는 모든 일에 의욕적이지 못했다. 재미가 없었다. 흥미롭지 않았으며 해야 할 이유를 찾지 못했다. 고3, 수시에 합격했고 그 후로 경제적 독립을 했다. 그래서 2012년 하반기부턴 알바를 했고, 대학원생 졸업할 때까지 알바를 했다. 그래서 취미란걸 탐구할 시간도 없었다. 회사에 취직한 뒤 조금 여유가 생긴 ..

2024. 7. 1. 09:59

✎ 2024년

CHAPTER1. 지금, 데이터 품질에 주목해야 하는 이유 Data Downtime은 신뢰할 수 없는 데이터가 너무 많을 때 발생한다. 신뢰할 수 있는 데이터를 확보를 위한 여정은 마라톤에 비유할 수 있다. 데이터 품질이란?데이터 품질은 신뢰성, 완전성, 정확성을 측정하는 기능적인 측면부터 구체화되기 시작했다. 또한, 비즈니스 요구 사항 충족여부를 확인하는 강력한 요소이다. 왜 데이터 품질이 2020년대 들어서 더 축구하게 된 것일까? 1. 데이터 다운타임의 증가: 무엇이 데이터 다운 타임을 증가시켰는가?    1-1. 클라우드 마이그레이션    1-2. 다양한 데이터 소스    1-3. 데이터 파이프라인 복잡성 증가    1-4. 데이터 조직 전문성 강화    1-5. 데이터 조직의 분산 2. 데이터 ..

2024. 6. 4. 11:18

✎ 2024년

이 책의 주요 목표 중 하나는 데이터 엔지니어로서 성공하는 데 필요한 지식과 기술의 기초를 제공하는 것이다  Chapter 1. 데이터 엔지니어링 상세데이터 엔지니어링이란 무엇인가?책에는 다양한 분들이 데이터 엔지니어링에 대해서 정의해주고 계셨다. 나는 Chatgpt에게도 물어봤다. GPT는 다음과 같이 답변했다. "데이터 엔지니어링은 데이터 생애 주기의 모든 단계를 아우르는 포괄적인 분야로, 데이터의 수집, 저장, 처리, 관리 및 배포를 담당합니다." 나는 친구들이 "데이터 엔지니어가 뭐야?" 라고 하면 "데이터 쿠팡맨" 이라고 답변하곤 했다. 내가 생각하는 데이터 엔지니어는 그랬다. 사용자, 고객이 데이터를 사용할 수 있도록 가공시키는 일련의 과정, 흐름 그 전체라고 생각했다. 본 책에서는 이 전체 ..

2024. 5. 29. 14:03

카테고리 없음

후,, 요즘 기본기가 너무 흔들리는 것 같다. 그래서 데엔의 가장 기초가 되는 도서를 하나 읽어보려한다. 2018년 책이라 조금 오래 되었지만 기본서로 항상 추천되는 책이기때문에 가볍게 쭈욱 읽어보려한다. 알고싶은 정보가 이미 있다는 전제하에 그것을 "어떻게 효율적으로 실행할 것인가?"를 생각하는 것이 이 책의 목적이다. CHAPTER 1 빅데이터의 기초 지식1-1. 빅데이터의 정착Hadoop과 NoSQL1. Hadoop: 다수의 컴퓨터에서 대량의 데이터 처리- 초기 하둡에서 MapReduce 작업 실행이 필요한 경우, JAVA를 써 프로그래밍 해야 했기때문에 쉽지않았다. 그래서 SQL같은 쿼리언어를 Hadoop에서 실행하기 위한 SW로 Hive가 개발되었다.  2.NoSQL: 전통 RDB의 제약제거, ..

2024. 5. 21. 11:29

✎ 2024년

문제의 서막.. redhat ubi8에서 진행하였고, oracle 19c에 연결하려 했다. superset 에서 oracle을 연결할때 , cx_oracle과 더불어 instantclient도 필요하다고 해서 버전에 맞추어 19c를 설치하려했다. 그래서 공식페이지에서 rpm 파일을 받아서 아래처럼 설치를 진행하려했는데,rpm -ivh oracle-instantclient19.19-basic-19.19.0.0.0-1.el9.x86_64.rpm  아래처럼 의존성 문제가 발생했다.error: Failed dependencies: libnsl.so.1()(64bit) is needed by oracle-instantclient19.19-basic-19.19.0.0.0-1.x86_64  인터넷에 찾아..

2024. 5. 9. 18:02

✎ 2024년

프로젝트가 끝나고 일주일간의 리프레쉬 시간을 가졌다. 사실 이 리프레쉬 시간동안 기부레이스를 다녀왔다. 이번 대회로 10억이 기부되었다고 한다 (나 쪼금 보탬되었다 뿌듯 !) 사실 부산이라서 고민을 좀 했지만! 마침 프로젝트 마감 일정이랑 딱 맞아서 프로젝트 종료 기념겸 신청하고 진행하게되었다. 부산 광안대교를 쭉 따라서 뛰는 코스여서, 굉장히 아름다웠다 ( 사실 오르막길로 힘들어서 경치 아름다움보단 종아리 고통이...) 프로젝트 단위의 일의 장점은 이런 것 같다. 하는 동안은 무지 힘든데,, 하고나서 쉴 수 있는 그 긴 시간이 한 여름밤의 꿈처럼 달콤하기도하고, 하나를 끝냈다는 뿌듯함이 있다! 사실 반년회고에서 거의 모든 내용을 작성하였다. 프로젝트 시작 반년, 회고 난 2023년 6월 7일에 현재 프..

2024. 4. 16. 16:57

✎ 2024년

우선 들어오기 전에 Superset을 온라인 환경에서 설치해보고, SUPERSET | Notion준비물weejw.notion.site 가상환경을 구축해서 인터넷을 끊어버린 이후에고 설치해보았다.(사이에 텀이 있어 버전이 좀 다르다) 폐쇄망에서 SuperSet 설치하기 | Notion설치 환경은 CentOS 7( SGI), Linux 로키 8.7(신한)weejw.notion.site 나름 준비를 하고 왔다고 생각했으나, 역시 현실은 그렇게 녹록지 않았다. 내가 겪은 일은 1. 설치되어있으나 버전이 더 높아 버전업그레이드 후 재반입 요청 2.설치되어있지 않은 파일인데 반입해오지 않음 3. sqlite3 에러.. 1번같은 경우는 openssl 에러였다. no module named _ssl 아래 글을 참고하였..

2024. 1. 15. 16:48

✎ 2024년

난 2023년 6월 7일에 현재 프로젝트에 투입되었다. 역할은 이행 DBA 겸 데이터엔지니어였다. 그리고 현재 반년이 지났고, 어느 정도 안정화가 되었다. 정말 힘들고, 온몸에 식은땀이 흐르는 하루하루를 보냈다. 때문에 한 겨울에도 계속 반팔을 입었다. 지난번에는 검증역할이라 모두가 끝난 뒤에 작업하는 일이었지만 이번에는 stage에 적재하는 선이행이라는 역할이 컸기에 모두가 나를 기다리고 있었고, 나의 실수는 곧 모든 팀원들에게 영향이 갔기 때문에 지난 프로젝트에 비해 땀이 100억 배는 더 낫고 부담감이 컸다..(이행할 때마다 울고 싶었다 ㅠㅠ) 처음엔 DBA란 룰이 좀 겁이 났다. 내가 생각한 DBA=쿼리전문가란 생각도 있었고, EDB라는 생소한 데이터베이스를 사용했기 때문이었다. 그러나 이제와 생..

2024. 1. 9. 12:03