데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2023년

이번에는 vmware를 이용해서 centos7, superset을 설치할 것이다. 준비물 버전은 원하는대로 설치하면 된다. 😏 vmware workstation, centoOS7 iso, oracle client RPM(basic, sqlplus 2개) (각자 공식 홈피에서 받을 수 있다). vmware:https://www.vmware.com/kr/products/workstation-player/workstation-player-evaluation.html centOS7:http://mirror.navercorp.com/centos/7.9.2009/isos/x86_64/ 설치 1.공식 Document에 있는대로 필요한 파일 설치하기 sudo yum install gcc gcc-c++ libffi-de..

2023. 3. 2. 18:37

2022년/Developement

본 프로젝트를 진행하면서 저장소로 kudu와 hive를 사용했다. 데이터의 특성과 각 저장소의 특성을 알맞게 연관 지어 사용했다. 그래서 이번에는 각 저장소의 특징을 정리하고자 한다. Hive란? Apache Hive는 광범위한 Hadoop 에코시스템에 속하는 Apache Hadoop Distributed File System(HDFS)에서 추출한 대용량 데이터세트를 읽고, 쓰고, 관리하도록 설계된 오픈 소스 데이터 웨어하우스 소프트웨어입니다. 출처는 아래 링크이고, Hive에 대해 매우 자세하게 쓰여있기 때문에 내가 추가로 쓸 필요는 없을 것 같다. Apache Hive는 어디에 사용합니까? - Databricks Apache Hive는 Apache 하둡에서 SQL을 사용하여 분산형 스토리지에 상주하는..

2022. 12. 27. 15:01

2022년/Developement

그동안 너무 바빠서 블로그에 글을 전혀 못썼다.. 하루평균 12시간을 일하고 있,,, 오랜만에 짬이나서 핸드폰으로 간단하게 몇 자 적어보려한다. 그래서 글이 짧을 수 있음 >.< 스쿱이란? 스쿱은 Rdbms와 Haddop 사이에서 데이터 이관을 지원하는 툴이다. 현재 나도 Oracle data를 Kudu나 hive에 적재하는 데에 사용 중이다. 클라우데라에서 개발했으며 아파치 오픈 소스였으나 현재는 더 이상 릴리즈되지 않는 것 같다. 공식 홈피에 가면 This project has retired. For details please refer to its Attic page. 라고 적혀있다. 스쿱 아키텍쳐는 다음과 같다. 끌어올 테이블의 메타데이터를 먼저 fetch하고 이를 기반으로 Java ORM을 생성..

2022. 10. 28. 13:36

2022년/Developement

2022.08.08 - [✎ 2022년/Developement] - Apache Nifi란? 2022.08.09 - [✎ 2022년/Developement] - Nifi 설치 및 실행, 예제 및 kafka, hdfs연결해보기 위에서 배운 것들을 활용해서 모두 합치려고하다가 How to integrate Apache Nifi with Kafka 이라는 글을 보고 나도 API를 활용해 해당 데이터를 nifi를 이용해서 kafka로 데이터를 수집 및 처리하고 hdfs에 저장해야겠다 라는 생각을 했다. 전체 흐름도는 8. NiFi Kafka to HDFS.md 도 참고하였다. 나는 요즘 날씨가 엉망이라서 날씨 데이터 API를 사용하려한다. 기상청_단기예보 ((구)_동네예보) 조회서비스 API를 사용하였다. AP..

2022. 8. 10. 17:52

2022년/Developement

이전 글: 2022.08.08 - [✎ 22/Developemnt] - Apache Nifi란? Apache Nifi란? Apache Nifi란? Apache NiFi Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo.. weejw.tistory.com 실행 환경: WSL Linux 설치는 Apache NiFi 설치와 설정 in WSL2 을 참고했으며 공식 페이지의 설치 가이드를 중점으로 진행했다. 설치 및 실행이 완료되어 간단한 예제를 하나 테스트하려고한..

2022. 8. 9. 11:47

2022년/Developement

Apache Nifi란? Apache NiFi Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo are trademarks of The Apache Software Foundation. nifi.apache.org An easy to use, powerful, and reliable system to process and distribute data. How do you pronounce NiFi? “nye fye” (nī fī) is the preferr..

2022. 8. 8. 17:50

2020년/Development

With Apache Accumulo, users can store and manage large data sets across a cluster. Accumulo uses Apache Hadoop's HDFS to store its data and Apache ZooKeeper for consensus. While many users interact directly with Accumulo, several open source projects use Accumulo as their underlying store. Related Projects Related Projects The Apache Accumulo community is happy to promote and encourage use of Ac..

2020. 4. 22. 21:34