데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2022년/Developement

그동안 너무 바빠서 블로그에 글을 전혀 못썼다.. 하루평균 12시간을 일하고 있,,, 오랜만에 짬이나서 핸드폰으로 간단하게 몇 자 적어보려한다. 그래서 글이 짧을 수 있음 >.< 스쿱이란? 스쿱은 Rdbms와 Haddop 사이에서 데이터 이관을 지원하는 툴이다. 현재 나도 Oracle data를 Kudu나 hive에 적재하는 데에 사용 중이다. 클라우데라에서 개발했으며 아파치 오픈 소스였으나 현재는 더 이상 릴리즈되지 않는 것 같다. 공식 홈피에 가면 This project has retired. For details please refer to its Attic page. 라고 적혀있다. 스쿱 아키텍쳐는 다음과 같다. 끌어올 테이블의 메타데이터를 먼저 fetch하고 이를 기반으로 Java ORM을 생성..

2022. 10. 28. 13:36

2022년/Developement

2022.08.08 - [✎ 2022년/Developement] - Apache Nifi란? 2022.08.09 - [✎ 2022년/Developement] - Nifi 설치 및 실행, 예제 및 kafka, hdfs연결해보기 위에서 배운 것들을 활용해서 모두 합치려고하다가 How to integrate Apache Nifi with Kafka 이라는 글을 보고 나도 API를 활용해 해당 데이터를 nifi를 이용해서 kafka로 데이터를 수집 및 처리하고 hdfs에 저장해야겠다 라는 생각을 했다. 전체 흐름도는 8. NiFi Kafka to HDFS.md 도 참고하였다. 나는 요즘 날씨가 엉망이라서 날씨 데이터 API를 사용하려한다. 기상청_단기예보 ((구)_동네예보) 조회서비스 API를 사용하였다. AP..

2022. 8. 10. 17:52

2022년/Developement

이전 글: 2022.08.08 - [✎ 22/Developemnt] - Apache Nifi란? Apache Nifi란? Apache Nifi란? Apache NiFi Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo.. weejw.tistory.com 실행 환경: WSL Linux 설치는 Apache NiFi 설치와 설정 in WSL2 을 참고했으며 공식 페이지의 설치 가이드를 중점으로 진행했다. 설치 및 실행이 완료되어 간단한 예제를 하나 테스트하려고한..

2022. 8. 9. 11:47

2020년/Development

With Apache Accumulo, users can store and manage large data sets across a cluster. Accumulo uses Apache Hadoop's HDFS to store its data and Apache ZooKeeper for consensus. While many users interact directly with Accumulo, several open source projects use Accumulo as their underlying store. Related Projects Related Projects The Apache Accumulo community is happy to promote and encourage use of Ac..

2020. 4. 22. 21:34

2019년

마음을 가다듬기 위해 오랜만에 플랫폼 특징이나 구경하자. 빅데이터 처리/저장 자바 기반 오픈 소스 프레임 워크 현재 hadoop 3까지 나와있음 버전별 특징은 https://118k.tistory.com/542 1.Map-Reduce- Map: key,value의 형태로 데이터를 담아두는 자료구조중의 하나 - Reduce: Map 결과 데이터를 사용하여 필요한 연산을 수행하여 데이터를 합치는 방법 key를 기준으로 value를 sum,average등의 결과를 얻을 수 있음- 맵리듀스 프로그램의 하나의 작업 단위를 job이라고 함. 2.HDFS(Hadoop File System)- 데이터를 다수의 노드에 복제하여 저장해서 : 데이터 유실 방지 - 한번 저장한 데이터는 수정할 수 없고 읽기만 가능하여 : 데..

2019. 3. 6. 17:49