2021년/Data
AWS Glue 사용해보기
아래 guide를 보고 실습했다. Amazon S3 및 AWS Glue를 이용한 데이터 레이크 구축하기 | Amazon Web Services 데이터 레이크(Data Lake)는 다양한 유형의 대량 데이터를 처리해야 하는 과제를 해결하는 데이터 저장 및 분석 방법으로서 점차 인기를 얻고 있습니다. 데이터 레이크를 사용하면 모든 데이터(정 aws.amazon.com 우선 데이터베이스를 생성해야한다. 데이터베이스를 생성하고나면 아래처럼 테이블을 추가할 수 있는데, 이에 크롤러를 이용할 수 있다. 클로링은 AWS에서 제공해주는 링크를 이용하면된다. 아래와 같이 크롤러가 추가되고나면 크롤러를 실행해주면 된다! 이후 테이블을 확인하면 data라는 테이블이 생성된 걸 확인할 수 있다. 이제 데이터 타입을 변경할 것..
2021. 3. 19. 20:51