데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #3 클롤링 데이터 TF-IDF 계산하기 2021.03.26 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #4 worldCloud 만들기 S3에 저장해서 해보려고 검색하다가 Scrapy를 알게되었다. 파이썬에서는 아름다운 수프 말고 Scrapy를 이용해서도 웹 크롤링이 가능하다. Spiders Spiders are classes which defin..

2021. 4. 20. 20:12

2021년/개발공부

아래 글을 작성한지도 꽤 오래되었다. 시간이란 참 빠르군, [티스토리 게시글 추천 시스템 만들기] #4 worldCloud 만들기 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎.. weejw.tistory.com 1.문제의 발견 오늘 그냥 공부하다가 아래와 같은 상황을 발견했다. 🤪 그래,, 생각해보니 사이킷런의 TfidfVectorizer는 외국꺼고..한글을 잘 알리가 없다. ;; 그래서 knolopy okt를 쓴것과 차이가 있는 것이여다. 리서치할 때 왜 이런 좋은 라이브러리를 ..

2021. 4. 15. 18:55

2021년/개발공부

원본 논문 Wide & Deep Learning for Recommender Systems Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs. Memorization of feature interactions through a wide set of cross-product feature transformations are arxiv.org 무엇을? Wide 선형 모델 + DNN 모델 공동 훈련이 가능한 wide&deep learning 제시 선형 모델: y = w^Tx+b 필요성 ..

2021. 4. 14. 15:13

2021년/Data

1. 스택 생성 및 쥬피터 노트북 실행 아래 페이지에 따라 차근차근 따라하면 큰 무리없이 쥬피터 노트북까지 접근이 가능하다. 중간에 쥬피터 초기화가 조금 오래걸렸다. aws-samples/amazon-personalize-samples Notebooks and examples on how to onboard and use various features of Amazon Personalize - aws-samples/amazon-personalize-samples github.com ❣️TIP. Boto3: AWS SDK ; Software Development Kit의 약자로 특정한 소프트웨어나 플랫폼을 이용해서 소프트웨어를 개발할 때 이를 돕는 개발도구의 집합이다. (https://opentutoria..

2021. 4. 9. 17:55

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 tfidf 계산 계산 결과를 계속 도출하는게 시간이 걸리기때문에 parquet 형태로 또 저장해두고 이후에는 그냥 hdfs에서 가져다 썼다. 어.. 근데 뭔가 그냥 판다스로 계산한 것같아서... 어... 스파크를 파케이때문에 쓴 느낌이라.. 어.... 사실 스팍없어도 됬을거라는 생각이.. 👽 def cal_tf_idf(spark, docs_df: dataframe.DataFrame, stop_word_df: dataframe.DataFrame): docs_info ..

2021. 3. 25. 20:16