데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/개발공부

아래 글을 작성한지도 꽤 오래되었다. 시간이란 참 빠르군, [티스토리 게시글 추천 시스템 만들기] #4 worldCloud 만들기 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎.. weejw.tistory.com 1.문제의 발견 오늘 그냥 공부하다가 아래와 같은 상황을 발견했다. 🤪 그래,, 생각해보니 사이킷런의 TfidfVectorizer는 외국꺼고..한글을 잘 알리가 없다. ;; 그래서 knolopy okt를 쓴것과 차이가 있는 것이여다. 리서치할 때 왜 이런 좋은 라이브러리를 ..

2021. 4. 15. 18:55

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 tfidf 계산 계산 결과를 계속 도출하는게 시간이 걸리기때문에 parquet 형태로 또 저장해두고 이후에는 그냥 hdfs에서 가져다 썼다. 어.. 근데 뭔가 그냥 판다스로 계산한 것같아서... 어... 스파크를 파케이때문에 쓴 느낌이라.. 어.... 사실 스팍없어도 됬을거라는 생각이.. 👽 def cal_tf_idf(spark, docs_df: dataframe.DataFrame, stop_word_df: dataframe.DataFrame): docs_info ..

2021. 3. 25. 20:16