데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2023년

후.. 발표가 있다 😥 오늘은 아래 3가지를 알아보려 한다. Data Mart Data Warehouse Data Lake 위 3종 세트는 저장되는 데이터의 특성/활용에 따라 다르게 사용된다. 쉽게 살펴보자면! Data Lke => Data Warehouse => Data Mart 순으로 가공이 된다. OLAP와 OLTP 들어가기에 앞서 OLAP와 OLTP를 알아보고자 한다. 그 이유는 오늘 알아볼 3종 세트에 저장되는 데이터들이 OLAP를 위한 데이터이기 떄문이다. OLTP(Online Transaction Processing); 복수의 사용자의 트랜잭션 요청을 DB서버에서 처리하고 결과 RETURN(처리) OLAP(Online Analytical Processing): DW에 저장되어 있는 데이터를 ..

2023. 1. 13. 17:42

2021년/Data

아래 guide를 보고 실습했다. Amazon S3 및 AWS Glue를 이용한 데이터 레이크 구축하기 | Amazon Web Services 데이터 레이크(Data Lake)는 다양한 유형의 대량 데이터를 처리해야 하는 과제를 해결하는 데이터 저장 및 분석 방법으로서 점차 인기를 얻고 있습니다. 데이터 레이크를 사용하면 모든 데이터(정 aws.amazon.com 우선 데이터베이스를 생성해야한다. 데이터베이스를 생성하고나면 아래처럼 테이블을 추가할 수 있는데, 이에 크롤러를 이용할 수 있다. 클로링은 AWS에서 제공해주는 링크를 이용하면된다. 아래와 같이 크롤러가 추가되고나면 크롤러를 실행해주면 된다! 이후 테이블을 확인하면 data라는 테이블이 생성된 걸 확인할 수 있다. 이제 데이터 타입을 변경할 것..

2021. 3. 19. 20:51