데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/21.下

얼마전 블프 때 스팀 게임을 대량으로 구매했다.. (하지는 못했다.. 게임을 사는 것도 게임이다..ㅠ;) 그러던 와중에 내가 스팀게임을 추천받는걸 만들어보면 어떨까? 라는 생각을 했다. 개인인 내가 얻을 수 있는 데이터 양이 한계가 있으므로 스팀 추천시스템보단 열악하겠지만 굉장히 재미있을 것 같아서 시작해보려 한다 :) 우선 블로그에 글을 마구잡이로 작성한 뒤 성공하면 다시 정리하려한다! 계획 그냥 문득 아래처럼 끄적였다. 고민할게 많았다. 1. 일단 얻을 수 있는 모든 데이터를 얻어야한다! steam api, scraping을 찾아내자. 2. 데이터를 어디다가 저장할 것인가? => 데이터의 양을 보고 결정하자 3. 모델은 어떤걸 선택할 것인가? (모델을 하나만 쓸 것인가?) => 데이터의 형태를 보고 ..

2021. 12. 8. 09:01

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #3 클롤링 데이터 TF-IDF 계산하기 2021.03.26 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #4 worldCloud 만들기 S3에 저장해서 해보려고 검색하다가 Scrapy를 알게되었다. 파이썬에서는 아름다운 수프 말고 Scrapy를 이용해서도 웹 크롤링이 가능하다. Spiders Spiders are classes which defin..

2021. 4. 20. 20:12

2021년/Data

협업 필터링이란? 협업 필터링(collaborative filtering)은 많은 사용자들로부터 얻은 기호정보(taste information)에 따라 사용자들의 관심사들을 자동적으로 예측하게 해주는 방법이다. 협력 필터링 접근법의 근본적인 가정은 사용자들의 과거의 경향이 미래에서도 그대로 유지 될 것이라는 전제에 있다. (위키 백과) 크게 우리가 흔히 이야기하는 사용자, 아이템 기반은 Neighborhood based method SGD(Stochastic Gradient Descent), ALS(Alternating Least Squares)와 같은 Latent Factor Collaborative Filtering으로도 나눌 수 있다. 1) Neighborhood based method(Memory..

2021. 4. 20. 16:05

2021년/개발공부

논문 원본 A Contextual-Bandit Approach to Personalized News Article Recommendation Personalized web services strive to adapt their services (advertisements, news articles, etc) to individual users by making use of both content and user information. Despite a few recent advances, this problem remains challenging for at least two reasons. arxiv.org 1. Multi-Armed Bandit "MAB(Multi-Armed Bandits)" 위 논문..

2021. 4. 17. 17:16

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 tfidf 계산 계산 결과를 계속 도출하는게 시간이 걸리기때문에 parquet 형태로 또 저장해두고 이후에는 그냥 hdfs에서 가져다 썼다. 어.. 근데 뭔가 그냥 판다스로 계산한 것같아서... 어... 스파크를 파케이때문에 쓴 느낌이라.. 어.... 사실 스팍없어도 됬을거라는 생각이.. 👽 def cal_tf_idf(spark, docs_df: dataframe.DataFrame, stop_word_df: dataframe.DataFrame): docs_info ..

2021. 3. 25. 20:16