데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

✎ 2024년

난 2023년 6월 7일에 현재 프로젝트에 투입되었다. 역할은 이행 DBA 겸 데이터엔지니어였다. 그리고 현재 반년이 지났고, 어느 정도 안정화가 되었다. 정말 힘들고, 온몸에 식은땀이 흐르는 하루하루를 보냈다. 때문에 한 겨울에도 계속 반팔을 입었다. 지난번에는 검증역할이라 모두가 끝난 뒤에 작업하는 일이었지만 이번에는 stage에 적재하는 선이행이라는 역할이 컸기에 모두가 나를 기다리고 있었고, 나의 실수는 곧 모든 팀원들에게 영향이 갔기 때문에 지난 프로젝트에 비해 땀이 100억 배는 더 낫고 부담감이 컸다..(이행할 때마다 울고 싶었다 ㅠㅠ) 처음엔 DBA란 룰이 좀 겁이 났다. 내가 생각한 DBA=쿼리전문가란 생각도 있었고, EDB라는 생소한 데이터베이스를 사용했기 때문이었다. 그러나 이제와 생..

2024. 1. 9. 12:03

2022년/Developement

2022.08.08 - [✎ 2022년/Developement] - Apache Nifi란? 2022.08.09 - [✎ 2022년/Developement] - Nifi 설치 및 실행, 예제 및 kafka, hdfs연결해보기 위에서 배운 것들을 활용해서 모두 합치려고하다가 How to integrate Apache Nifi with Kafka 이라는 글을 보고 나도 API를 활용해 해당 데이터를 nifi를 이용해서 kafka로 데이터를 수집 및 처리하고 hdfs에 저장해야겠다 라는 생각을 했다. 전체 흐름도는 8. NiFi Kafka to HDFS.md 도 참고하였다. 나는 요즘 날씨가 엉망이라서 날씨 데이터 API를 사용하려한다. 기상청_단기예보 ((구)_동네예보) 조회서비스 API를 사용하였다. AP..

2022. 8. 10. 17:52

2022년/Developement

이전 글: 2022.08.08 - [✎ 22/Developemnt] - Apache Nifi란? Apache Nifi란? Apache Nifi란? Apache NiFi Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo.. weejw.tistory.com 실행 환경: WSL Linux 설치는 Apache NiFi 설치와 설정 in WSL2 을 참고했으며 공식 페이지의 설치 가이드를 중점으로 진행했다. 설치 및 실행이 완료되어 간단한 예제를 하나 테스트하려고한..

2022. 8. 9. 11:47