데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2023년

후.. 발표가 있다 😥 오늘은 아래 3가지를 알아보려 한다. Data Mart Data Warehouse Data Lake 위 3종 세트는 저장되는 데이터의 특성/활용에 따라 다르게 사용된다. 쉽게 살펴보자면! Data Lke => Data Warehouse => Data Mart 순으로 가공이 된다. OLAP와 OLTP 들어가기에 앞서 OLAP와 OLTP를 알아보고자 한다. 그 이유는 오늘 알아볼 3종 세트에 저장되는 데이터들이 OLAP를 위한 데이터이기 떄문이다. OLTP(Online Transaction Processing); 복수의 사용자의 트랜잭션 요청을 DB서버에서 처리하고 결과 RETURN(처리) OLAP(Online Analytical Processing): DW에 저장되어 있는 데이터를 ..

2023. 1. 13. 17:42

2022년/Developement

본 프로젝트를 진행하면서 저장소로 kudu와 hive를 사용했다. 데이터의 특성과 각 저장소의 특성을 알맞게 연관 지어 사용했다. 그래서 이번에는 각 저장소의 특징을 정리하고자 한다. Hive란? Apache Hive는 광범위한 Hadoop 에코시스템에 속하는 Apache Hadoop Distributed File System(HDFS)에서 추출한 대용량 데이터세트를 읽고, 쓰고, 관리하도록 설계된 오픈 소스 데이터 웨어하우스 소프트웨어입니다. 출처는 아래 링크이고, Hive에 대해 매우 자세하게 쓰여있기 때문에 내가 추가로 쓸 필요는 없을 것 같다. Apache Hive는 어디에 사용합니까? - Databricks Apache Hive는 Apache 하둡에서 SQL을 사용하여 분산형 스토리지에 상주하는..

2022. 12. 27. 15:01

2021년/Data

2021.03.22 - [2021년 상반기/개발공부] - [DB 공부] PostgreSQL 설치(Docker, Dbeaver 사용) 위 글을 이어서 예제 데이터를 받아 쿼리 연습을 진행한다. 예제 데이터는 아래에서 받을 수 있다. devrimgunduz/pagila PostgreSQL Sample Database. Contribute to devrimgunduz/pagila development by creating an account on GitHub. github.com 1. 이탈, 잔존(customer table active에서 0은 이탈 1은 잔존) 고객의 payment 최소 평균 최대 total을 구한다. 2.장르(category)별 평균 대여 평점 아래 refer 링크에 가보면 erd가 있는데..

2021. 3. 22. 21:58

2020년/Development

With Apache Accumulo, users can store and manage large data sets across a cluster. Accumulo uses Apache Hadoop's HDFS to store its data and Apache ZooKeeper for consensus. While many users interact directly with Accumulo, several open source projects use Accumulo as their underlying store. Related Projects Related Projects The Apache Accumulo community is happy to promote and encourage use of Ac..

2020. 4. 22. 21:34