AWS Glue 사용해보기

아래 guide를 보고 실습했다.

Amazon S3 및 AWS Glue를 이용한 데이터 레이크 구축하기 | Amazon Web Services

---

우선 데이터베이스를 생성해야한다. 

가이드에 나와있는대로 이름을 지정하고 데이터베이스를 추가한다.

 

데이터베이스를 생성하고나면 아래처럼 테이블을 추가할 수 있는데, 이에 크롤러를 이용할 수 있다.

클로링은 AWS에서 제공해주는 링크를 이용하면된다. 

딱히 설명할게 없다... 가이드가 워낙 잘되어있어서... (^0^);;

 

아래와 같이 크롤러가 추가되고나면 크롤러를 실행해주면 된다! 이후 테이블을 확인하면 data라는 테이블이 생성된 걸 확인할 수 있다.

 

 

이제 데이터 타입을 변경할 것이다. csv -> Parquet

Parquet이란? : Apache Parquet는 Apache Hadoop 에코 시스템의 무료 오픈 소스 열 지향 데이터 스토리지 형식

근데 난 아래처럼 전 과정을 똑같이했는데 계속 에러가 떴다..ㅠ_ㅠ 뭘잘못한건지. 

착실히 따라했는데 몬가 빠진걸까. 근데 가이드와 다르게 Parquet 지정하는 부분이 없었다.

 

그러다가 계속 위에 뉴~ 이러면서 홍보하길래 이를 이용해보려했다.

 

이 과정으로 진행하니까 스므스하게 테이블 추가까지 모두 완료할 수 있었다..(띠용?)

 

이제 Athena에서 데이터를 사용할 수 있다. 

 

이래서 다들 AWS를 사용하는구나를 느꼈다. 편리성 인터페이스, 직관성 뭐하나 빠지는게 없다.. 대단하다..