데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/Data

한달만에 글을 작성한다.. 요근래 좀 바빴다.. 티스토리가 많이 바뀌었다. 이모티콘을 넣을 수 있네.. 내가 구매한 이모티콘도 여기서 쓸 수 있으면 좋겠다.(나는 이모티콘 구매가 100개가 넘는다 ㅇ.< 소소한 취미다) 아무튼, 오늘 작성할 글은 GCP에 대한 글이다. GCP Bigquery를 이용해서 ML 학습까지 진행하고 DataStudio이용까지 진행한다. 렛츠꼬! 1. GCP 무료 체험판 크레딧 받기. 계정을 새로만들면 무료 크레딧을 받을 수 있다. 나는 약 이미 어느정도 사용을 했다. 2. 새 프로젝트 생성 일단 기본적으로 프로젝트를 하나 생성해줘야한다. 그리고나서 Bigquery랑 Model deploy를 위해 Cloud Stroage 2개를 picked 해준다. 이게 은근히 생각보다 편하다...

2021. 5. 14. 18:34

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #3 클롤링 데이터 TF-IDF 계산하기 2021.03.26 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #4 worldCloud 만들기 S3에 저장해서 해보려고 검색하다가 Scrapy를 알게되었다. 파이썬에서는 아름다운 수프 말고 Scrapy를 이용해서도 웹 크롤링이 가능하다. Spiders Spiders are classes which defin..

2021. 4. 20. 20:12

2021년/Data

협업 필터링이란? 협업 필터링(collaborative filtering)은 많은 사용자들로부터 얻은 기호정보(taste information)에 따라 사용자들의 관심사들을 자동적으로 예측하게 해주는 방법이다. 협력 필터링 접근법의 근본적인 가정은 사용자들의 과거의 경향이 미래에서도 그대로 유지 될 것이라는 전제에 있다. (위키 백과) 크게 우리가 흔히 이야기하는 사용자, 아이템 기반은 Neighborhood based method SGD(Stochastic Gradient Descent), ALS(Alternating Least Squares)와 같은 Latent Factor Collaborative Filtering으로도 나눌 수 있다. 1) Neighborhood based method(Memory..

2021. 4. 20. 16:05

2021년/Data

1. 스택 생성 및 쥬피터 노트북 실행 아래 페이지에 따라 차근차근 따라하면 큰 무리없이 쥬피터 노트북까지 접근이 가능하다. 중간에 쥬피터 초기화가 조금 오래걸렸다. aws-samples/amazon-personalize-samples Notebooks and examples on how to onboard and use various features of Amazon Personalize - aws-samples/amazon-personalize-samples github.com ❣️TIP. Boto3: AWS SDK ; Software Development Kit의 약자로 특정한 소프트웨어나 플랫폼을 이용해서 소프트웨어를 개발할 때 이를 돕는 개발도구의 집합이다. (https://opentutoria..

2021. 4. 9. 17:55

2021년/Data

RDD를 생성하는 다양한 방법들 - 디렉터리 아래에 있는 파일들을 이용하기 (1): sc.textFile() ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 3.1.1 /_/ Using Python version 3.8.1 (v3.8.1:1b293b6006, Dec 18 2019 14:08:53) Spark context Web UI available at http://jiwon.local:4040 Spark context available as 'sc' (master = spark://jiwon.local:7077, app id = app-20210406133738-0000). SparkSess..

2021. 4. 6. 20:53

2021년/Data

이전 글 2021.03.31 - [2021년 상반기/개발공부] - [Spark] Data Analytics with Spark using Python Master: MacOS Slave: CentOS7 오늘은 분산 환경을 만들려고 vmware fusion을 다운받았다. VMwareFusion: www.vmware.com/kr/products/fusion/fusion-evaluation.html 8버전: mirror.navercorp.com/centos/8/isos/ 7버전: mirror.navercorp.com/centos/7/isos/ 나는,, 결국 7버전을 사용하게 되었는데 그 이유는 아래와 같다.. ⍩ 꿱, 험난했던 설치 여정 더보기 에러 발생. 기본 리포지토리 설정 도중 오류 발생 1차 시도. c..

2021. 4. 1. 17:50

2021년/Data

2021.03.25 - [2021년 상반기/개발공부] - [티스토리 게시글 추천 시스템 만들기] #3 클롤링 데이터 TF-IDF 계산하기 위에 이전글을 작성하면서, Spark을 까먹었나(?) 라는 생각에 책을 구매했다. 위 책은 제목이 정말 맘에든다. 스파크와 데이터 분석과 파이썬이 제목에 함께 있다. (ㅋㅋ) 19년도 발행이지만 본문 내용은 스파크와 하둡 모두 2버전이다. 음 잘 적당히 융통성있게 따라해야겠다. 파이썬 설치 및 예제 실행(local 환경) $ python3 -m venv spark_env $ source spark_env/bin/activate $ mkdir spark $ cd spark $ curl -O https://downloads.apache.org/spark/spark-3.1...

2021. 3. 31. 18:50

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #3 클롤링 데이터 TF-IDF 계산하기 코드를 아래와같이 조금 추가했다. 역시 데이터가 압도적으로 많긴 하다. 데이터를 빼보니 그 다음은 정처기였다. 링크를 걸은 것 때문인건가? 호호 from wordcloud import WordCloud import matplotlib.pyplot as plt Cloud = WordCloud( font_path="/Users/jiwonw..

2021. 3. 26. 21:11