데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 tfidf 계산 계산 결과를 계속 도출하는게 시간이 걸리기때문에 parquet 형태로 또 저장해두고 이후에는 그냥 hdfs에서 가져다 썼다. 어.. 근데 뭔가 그냥 판다스로 계산한 것같아서... 어... 스파크를 파케이때문에 쓴 느낌이라.. 어.... 사실 스팍없어도 됬을거라는 생각이.. 👽 def cal_tf_idf(spark, docs_df: dataframe.DataFrame, stop_word_df: dataframe.DataFrame): docs_info ..

2021. 3. 25. 20:16

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 한글만 분석하기 위해 한글 형태소 분석기를 사용했다. 나는 이 중에 정규화까지 가능하다는 OKT를 사용했다. tag Package — KoNLPy 0.5.2 documentation Parameters: jvmpath – The path of the JVM passed to init_jvm(). userdic – The path to the user dictionary. This enables the user to enter custom tokens or phrases, that are mandatorily assigned to tagged as a particular POS. Each line of t..

2021. 3. 24. 21:44

2021년/Data

데이터를 수집해서 데이터로 무엇인가 하는 전체적인 흐름을 갖는 프로그램을 만들고싶었다. 1. 조사 우선 몇몇 메이저 회사들과 그냥 단순 구글링을 통해 데이터 플랫폼 구조를 조사했다. 1. Cloud 기반 2. local에서 apache 기반으로 3. 1과 2를 혼합 2. 선택 local + batch 3. 무엇을? 무엇을 할까 고민을 했다. 우선은 "추천"과 "통계" 에 무게를 두었다. 사실 주제만 다르지 다 목적은 같았다. ... 🥺 일단 간단한 것부터 구현해보자 생각했기때문에 아래와같이 정의했다. 이 중, 이왕 블로그에 업로드하는 것이니 블로그 게시글을 선택했다. 추천 통계 식사 점심/저녁 추천 내가 많이 먹은 음식들 노래 노동요 추천 내가 많이 들은 노래들 블로그 게시글 추천 내가 많이 사용한 단어..

2021. 3. 24. 20:39

2021년/Data

오늘은 코알라스를 알아보려한다. Apache Spark위에 Pandas API를 구현한 기능이다. But when they have to work with really large data they don’t have option they have to migrate to PySpark due to scalability issue in Pandas. In-Order to solve this problem Data-bricks introduced a solution called “Koalas” a library where you can transfer your data between Pandas and PySpark very easily without changing nearly ~75% of your na..

2021. 3. 23. 19:37

2021년/Data

2021.03.22 - [2021년 상반기/개발공부] - [DB 공부] PostgreSQL 설치(Docker, Dbeaver 사용) 위 글을 이어서 예제 데이터를 받아 쿼리 연습을 진행한다. 예제 데이터는 아래에서 받을 수 있다. devrimgunduz/pagila PostgreSQL Sample Database. Contribute to devrimgunduz/pagila development by creating an account on GitHub. github.com 1. 이탈, 잔존(customer table active에서 0은 이탈 1은 잔존) 고객의 payment 최소 평균 최대 total을 구한다. 2.장르(category)별 평균 대여 평점 아래 refer 링크에 가보면 erd가 있는데..

2021. 3. 22. 21:58

2021년/Data

오늘은 Docker를 이용해 PostgreSql을 설치하고 Dbeaver로 관리해보려 한다. 1. Docker를 이용한 Postgre 설치 및 데이터 베이스 생성 우선 Docker를 이용해 Postgre를 설치하고 아이디와 패스워드를 설정한다. docker pull postgres docker run --name pgsql -d -p 5432:5432 -e POSTGRES_PASSWORD=postgrespassword postgres docker exec -it pgsql bash 그리고 나서 아래와 같이 데이터베이스를 생성할 수 있다. psql -U postgres create database weedb; 2.DBeaver 설치 및 연결 그리고 테이블 생성하기 아래 홈페이지에서 Os 환경에 맞는 DBe..

2021. 3. 22. 19:40

2021년/Data

아래 guide를 보고 실습했다. Amazon S3 및 AWS Glue를 이용한 데이터 레이크 구축하기 | Amazon Web Services 데이터 레이크(Data Lake)는 다양한 유형의 대량 데이터를 처리해야 하는 과제를 해결하는 데이터 저장 및 분석 방법으로서 점차 인기를 얻고 있습니다. 데이터 레이크를 사용하면 모든 데이터(정 aws.amazon.com 우선 데이터베이스를 생성해야한다. 데이터베이스를 생성하고나면 아래처럼 테이블을 추가할 수 있는데, 이에 크롤러를 이용할 수 있다. 클로링은 AWS에서 제공해주는 링크를 이용하면된다. 아래와 같이 크롤러가 추가되고나면 크롤러를 실행해주면 된다! 이후 테이블을 확인하면 data라는 테이블이 생성된 걸 확인할 수 있다. 이제 데이터 타입을 변경할 것..

2021. 3. 19. 20:51