데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2022년/Developement

본 프로젝트를 진행하면서 저장소로 kudu와 hive를 사용했다. 데이터의 특성과 각 저장소의 특성을 알맞게 연관 지어 사용했다. 그래서 이번에는 각 저장소의 특징을 정리하고자 한다. Hive란? Apache Hive는 광범위한 Hadoop 에코시스템에 속하는 Apache Hadoop Distributed File System(HDFS)에서 추출한 대용량 데이터세트를 읽고, 쓰고, 관리하도록 설계된 오픈 소스 데이터 웨어하우스 소프트웨어입니다. 출처는 아래 링크이고, Hive에 대해 매우 자세하게 쓰여있기 때문에 내가 추가로 쓸 필요는 없을 것 같다. Apache Hive는 어디에 사용합니까? - Databricks Apache Hive는 Apache 하둡에서 SQL을 사용하여 분산형 스토리지에 상주하는..

2022. 12. 27. 15:01

2022년/Developement

벌써 2022년도의 마지막 주이고 나는 이번주를 끝으로 프로젝트에서 철수한다. 서론 이번에 데이터 이행 프로젝트를 진행하게 되었다. 프로젝트를 진행하면서 꽤나 많은 기술을 접할 수 있었는데, 프로젝트가 종료되어가는 이 시점에서 각 기술들을 정리하면서 머릿속에 남겨보고자 한다. 아, 당연히 기술을 플젝에서 어떻게 썼는지에 대한 자세한 내용은 기술하지 않을 것이다. 나는 이번 프로젝트에서 초반에는 데이터 이행을 도와주다가 후반 부에는 검증을 도맡아 했다. 검증 해야하는 테이블의 양이 약 4000개로 매우 많았고, 테이블의 크기가 커 어려움이 많았다. 무엇을 배웠는가? 우선 프로젝트에서 접한 것들을 나열하자면 1. Linux Bash shell 2. Sqoop 3. Impala 4. Kudu 5. Hive 6..

2022. 12. 26. 16:57

2022년

출퇴근 시간이 길어서 글을 하나 작성해보려 한다. 야호! 드디어 삼 개월만에 야근의 늪에서 벗어났다. 일단 박수를 치자. 👏👏👏 👏👏 👏👏👏 8월 16일 시작된 프로젝트는 약 2-3주 뒤부터 야근을 시작했던 것 같다. 그렇게 퇴근 요정이었던 나는 야근요정이 되었다. 🧚‍♂️ 나는 이번 플젝으로 2가지를 배우게 되었는데 1. 내가 얼마나 멍청하게 일을 하는 주니어인지 2. 사람 죽인 것 빼고 다 해결할 수 있다는 것 첫 째로 나는 정말 멍청한 개발자다. 영리한 개발자와 현명한 개발자의 차이점 | 요즘IT 대부분의 개발자는 코드 작성에 있어서는 영리하지만, 여러 상황에서 영리함은 강점이자 약점일 수 있습니다. 상식과 물정에 밝고 경험이 풍부하다면, 개발자가 문제를 해결하기보다 피하는 데 yozm.wishke..

2022. 12. 6. 14:42

2022년/Developement

그동안 너무 바빠서 블로그에 글을 전혀 못썼다.. 하루평균 12시간을 일하고 있,,, 오랜만에 짬이나서 핸드폰으로 간단하게 몇 자 적어보려한다. 그래서 글이 짧을 수 있음 >.< 스쿱이란? 스쿱은 Rdbms와 Haddop 사이에서 데이터 이관을 지원하는 툴이다. 현재 나도 Oracle data를 Kudu나 hive에 적재하는 데에 사용 중이다. 클라우데라에서 개발했으며 아파치 오픈 소스였으나 현재는 더 이상 릴리즈되지 않는 것 같다. 공식 홈피에 가면 This project has retired. For details please refer to its Attic page. 라고 적혀있다. 스쿱 아키텍쳐는 다음과 같다. 끌어올 테이블의 메타데이터를 먼저 fetch하고 이를 기반으로 Java ORM을 생성..

2022. 10. 28. 13:36

2022년/Developement

2022.08.08 - [✎ 2022년/Developement] - Apache Nifi란? 2022.08.09 - [✎ 2022년/Developement] - Nifi 설치 및 실행, 예제 및 kafka, hdfs연결해보기 위에서 배운 것들을 활용해서 모두 합치려고하다가 How to integrate Apache Nifi with Kafka 이라는 글을 보고 나도 API를 활용해 해당 데이터를 nifi를 이용해서 kafka로 데이터를 수집 및 처리하고 hdfs에 저장해야겠다 라는 생각을 했다. 전체 흐름도는 8. NiFi Kafka to HDFS.md 도 참고하였다. 나는 요즘 날씨가 엉망이라서 날씨 데이터 API를 사용하려한다. 기상청_단기예보 ((구)_동네예보) 조회서비스 API를 사용하였다. AP..

2022. 8. 10. 17:52

2022년/Developement

이전 글: 2022.08.08 - [✎ 22/Developemnt] - Apache Nifi란? Apache Nifi란? Apache Nifi란? Apache NiFi Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo.. weejw.tistory.com 실행 환경: WSL Linux 설치는 Apache NiFi 설치와 설정 in WSL2 을 참고했으며 공식 페이지의 설치 가이드를 중점으로 진행했다. 설치 및 실행이 완료되어 간단한 예제를 하나 테스트하려고한..

2022. 8. 9. 11:47

2022년/Developement

Apache Nifi란? Apache NiFi Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo are trademarks of The Apache Software Foundation. nifi.apache.org An easy to use, powerful, and reliable system to process and distribute data. How do you pronounce NiFi? “nye fye” (nī fī) is the preferr..

2022. 8. 8. 17:50

2022년/Developement

오라클의 그룹함수를 공부하려한다. 사용한 테이블은 아래 링크에 존재한다! http://sqlfiddle.com/#!4/9b2918/1/0 SQL Fiddle | A tool for easy online testing and sharing of database problems and their solutions. Query Panel Use this panel to try to solve the problem with other SQL statements (SELECTs, etc...). Results will be displayed below. Share your queries by copying and pasting the URL that is generated after each run. sqlfid..

2022. 7. 26. 14:19