데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2022년/Developement

본 프로젝트를 진행하면서 저장소로 kudu와 hive를 사용했다. 데이터의 특성과 각 저장소의 특성을 알맞게 연관 지어 사용했다. 그래서 이번에는 각 저장소의 특징을 정리하고자 한다. Hive란? Apache Hive는 광범위한 Hadoop 에코시스템에 속하는 Apache Hadoop Distributed File System(HDFS)에서 추출한 대용량 데이터세트를 읽고, 쓰고, 관리하도록 설계된 오픈 소스 데이터 웨어하우스 소프트웨어입니다. 출처는 아래 링크이고, Hive에 대해 매우 자세하게 쓰여있기 때문에 내가 추가로 쓸 필요는 없을 것 같다. Apache Hive는 어디에 사용합니까? - Databricks Apache Hive는 Apache 하둡에서 SQL을 사용하여 분산형 스토리지에 상주하는..

2022. 12. 27. 15:01

2022년/Developement

벌써 2022년도의 마지막 주이고 나는 이번주를 끝으로 프로젝트에서 철수한다. 서론 이번에 데이터 이행 프로젝트를 진행하게 되었다. 프로젝트를 진행하면서 꽤나 많은 기술을 접할 수 있었는데, 프로젝트가 종료되어가는 이 시점에서 각 기술들을 정리하면서 머릿속에 남겨보고자 한다. 아, 당연히 기술을 플젝에서 어떻게 썼는지에 대한 자세한 내용은 기술하지 않을 것이다. 나는 이번 프로젝트에서 초반에는 데이터 이행을 도와주다가 후반 부에는 검증을 도맡아 했다. 검증 해야하는 테이블의 양이 약 4000개로 매우 많았고, 테이블의 크기가 커 어려움이 많았다. 무엇을 배웠는가? 우선 프로젝트에서 접한 것들을 나열하자면 1. Linux Bash shell 2. Sqoop 3. Impala 4. Kudu 5. Hive 6..

2022. 12. 26. 16:57

2022년/Developement

그동안 너무 바빠서 블로그에 글을 전혀 못썼다.. 하루평균 12시간을 일하고 있,,, 오랜만에 짬이나서 핸드폰으로 간단하게 몇 자 적어보려한다. 그래서 글이 짧을 수 있음 >.< 스쿱이란? 스쿱은 Rdbms와 Haddop 사이에서 데이터 이관을 지원하는 툴이다. 현재 나도 Oracle data를 Kudu나 hive에 적재하는 데에 사용 중이다. 클라우데라에서 개발했으며 아파치 오픈 소스였으나 현재는 더 이상 릴리즈되지 않는 것 같다. 공식 홈피에 가면 This project has retired. For details please refer to its Attic page. 라고 적혀있다. 스쿱 아키텍쳐는 다음과 같다. 끌어올 테이블의 메타데이터를 먼저 fetch하고 이를 기반으로 Java ORM을 생성..

2022. 10. 28. 13:36

2022년/Developement

2022.08.08 - [✎ 2022년/Developement] - Apache Nifi란? 2022.08.09 - [✎ 2022년/Developement] - Nifi 설치 및 실행, 예제 및 kafka, hdfs연결해보기 위에서 배운 것들을 활용해서 모두 합치려고하다가 How to integrate Apache Nifi with Kafka 이라는 글을 보고 나도 API를 활용해 해당 데이터를 nifi를 이용해서 kafka로 데이터를 수집 및 처리하고 hdfs에 저장해야겠다 라는 생각을 했다. 전체 흐름도는 8. NiFi Kafka to HDFS.md 도 참고하였다. 나는 요즘 날씨가 엉망이라서 날씨 데이터 API를 사용하려한다. 기상청_단기예보 ((구)_동네예보) 조회서비스 API를 사용하였다. AP..

2022. 8. 10. 17:52

2022년/Developement

이전 글: 2022.08.08 - [✎ 22/Developemnt] - Apache Nifi란? Apache Nifi란? Apache Nifi란? Apache NiFi Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo.. weejw.tistory.com 실행 환경: WSL Linux 설치는 Apache NiFi 설치와 설정 in WSL2 을 참고했으며 공식 페이지의 설치 가이드를 중점으로 진행했다. 설치 및 실행이 완료되어 간단한 예제를 하나 테스트하려고한..

2022. 8. 9. 11:47

2022년/Developement

Apache Nifi란? Apache NiFi Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo are trademarks of The Apache Software Foundation. nifi.apache.org An easy to use, powerful, and reliable system to process and distribute data. How do you pronounce NiFi? “nye fye” (nī fī) is the preferr..

2022. 8. 8. 17:50

2022년/Developement

오라클의 그룹함수를 공부하려한다. 사용한 테이블은 아래 링크에 존재한다! http://sqlfiddle.com/#!4/9b2918/1/0 SQL Fiddle | A tool for easy online testing and sharing of database problems and their solutions. Query Panel Use this panel to try to solve the problem with other SQL statements (SELECTs, etc...). Results will be displayed below. Share your queries by copying and pasting the URL that is generated after each run. sqlfid..

2022. 7. 26. 14:19

2022년/Developement

아래처럼 있으면 계층적 정렬을 하는 쿼리이다. SELECT C_3 FROM TABLE START WITh C_2 IS NULL CONNECT BY PRIOR C1=C2 ORDER SIblIngS BY C_3 DESC C_2 IS NULL: Root Row의 조건이고 부모를 비교한 뒤 자식을 비교하여 정렬 이때, CONNECT BY PRIOR 뒤에 2가지 경우를 둘 수 있는데 부모=자식 자식=부모 이 부분은 계층의 방향을 결정할 수 있다. 한참을 이해못했는데 아래 블로그 포스팅을 보면 이해가 쉽다. 오라클 계층형 쿼리 _ ORACLE 계층형 쿼리 | Hierarchical Query 테이블에 계층형 데이터가 존재할 경우 사용 조직, 사원, 메뉴등의 순... blog.naver.com 그리고 더 많은 예제는..

2022. 7. 11. 17:05