데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #3 클롤링 데이터 TF-IDF 계산하기 코드를 아래와같이 조금 추가했다. 역시 데이터가 압도적으로 많긴 하다. 데이터를 빼보니 그 다음은 정처기였다. 링크를 걸은 것 때문인건가? 호호 from wordcloud import WordCloud import matplotlib.pyplot as plt Cloud = WordCloud( font_path="/Users/jiwonw..

2021. 3. 26. 21:11

2021년/ERROR

Django project 만드려고했는데 아래처럼 계속 사용할 수 없는 이름이란다. ... -_-... 마치 게임 이름 지을 때 이미 있는 이름입니다 용사님! 다른 이름하시져! 하다가 아무슨닉넴하라고 !! 가 생각난다. (venv) ⚙ jiwonwee@jiwon  ~/PycharmProjects/pythonProject/postapp/weeapp  python manage.py startapp weeapp CommandError: 'weeapp' conflicts with the name of an existing Python module and cannot be used as an app name. Please try another name. 그냥 폴더로 이동해서 해당 app이름을 지워주면된다. (..

2021. 3. 26. 20:08

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 tfidf 계산 계산 결과를 계속 도출하는게 시간이 걸리기때문에 parquet 형태로 또 저장해두고 이후에는 그냥 hdfs에서 가져다 썼다. 어.. 근데 뭔가 그냥 판다스로 계산한 것같아서... 어... 스파크를 파케이때문에 쓴 느낌이라.. 어.... 사실 스팍없어도 됬을거라는 생각이.. 👽 def cal_tf_idf(spark, docs_df: dataframe.DataFrame, stop_word_df: dataframe.DataFrame): docs_info ..

2021. 3. 25. 20:16

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 한글만 분석하기 위해 한글 형태소 분석기를 사용했다. 나는 이 중에 정규화까지 가능하다는 OKT를 사용했다. tag Package — KoNLPy 0.5.2 documentation Parameters: jvmpath – The path of the JVM passed to init_jvm(). userdic – The path to the user dictionary. This enables the user to enter custom tokens or phrases, that are mandatorily assigned to tagged as a particular POS. Each line of t..

2021. 3. 24. 21:44

2021년/Data

데이터를 수집해서 데이터로 무엇인가 하는 전체적인 흐름을 갖는 프로그램을 만들고싶었다. 1. 조사 우선 몇몇 메이저 회사들과 그냥 단순 구글링을 통해 데이터 플랫폼 구조를 조사했다. 1. Cloud 기반 2. local에서 apache 기반으로 3. 1과 2를 혼합 2. 선택 local + batch 3. 무엇을? 무엇을 할까 고민을 했다. 우선은 "추천"과 "통계" 에 무게를 두었다. 사실 주제만 다르지 다 목적은 같았다. ... 🥺 일단 간단한 것부터 구현해보자 생각했기때문에 아래와같이 정의했다. 이 중, 이왕 블로그에 업로드하는 것이니 블로그 게시글을 선택했다. 추천 통계 식사 점심/저녁 추천 내가 많이 먹은 음식들 노래 노동요 추천 내가 많이 들은 노래들 블로그 게시글 추천 내가 많이 사용한 단어..

2021. 3. 24. 20:39

2021년/알고리즘

(17) 페어의 노드 스왑 ★★ Normal [LeetCode] leetcode.com/problems/swap-nodes-in-pairs/ 풀이법 1. 단순 swap 이게 왜 노말인지 모르겠다. 처음에 easy가 훨씬 더 어려웠다. 연결리스트를 그 때 처음 다뤄서 그런건가? PYTHON onlybooks/algorithm-interview 95가지 알고리즘 문제 풀이로 완성하는 코딩 테스트. Contribute to onlybooks/algorithm-interview development by creating an account on GitHub. github.com JAVA class Solution { public ListNode swapPairs(ListNode head) { ListNode c..

2021. 3. 23. 21:55

2021년/개발공부

아주 훌륭한 강의여따! 파이썬은 모두 알겠지만, 동적 타입의 변수를 사용한다. 이를 이용하면 너무 편리하지만 런타임 중에 타입을 생성하기때문에 에러가 엄첨난다. 때문에 아래처럼 타입을 명시해놓고 진행했다. 이것도 leetcode 덕에 알게된 것이였다. 하지만, 이는 강제성을 부여하진 못한다. 저렇게 한다고 해서 x, y에 str을 못 넣는건 아니다. 이를 mypy를 이용하여 검사를 진행할 수 있다. 설치 및 사용법은 간단하다. 본 세미나에서 typing이라는 라이브러리를 소개해줬다. (하지만 이 라이브러리도 강제성을 부여하진 못한다 그래도 넘나 코드가 명확하고 이뻐진다) Python 3.7의 새로운 기능들 | GeekHub Python 3.7의 새로운 기능들 Cool New Features in Pyth..

2021. 3. 23. 20:34

2021년/Data

오늘은 코알라스를 알아보려한다. Apache Spark위에 Pandas API를 구현한 기능이다. But when they have to work with really large data they don’t have option they have to migrate to PySpark due to scalability issue in Pandas. In-Order to solve this problem Data-bricks introduced a solution called “Koalas” a library where you can transfer your data between Pandas and PySpark very easily without changing nearly ~75% of your na..

2021. 3. 23. 19:37