데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/21.下

1. 원핫 인코딩을 통해 게임 간 거리 계산하기 게임별로 장르를 가지고 있다. 이 값을 이용하여 간단한 게임간의 거리계산을 통해 비슷한 게임을 추천받고자 한다. 시작하기에 앞서서 게임별로 각 장르의 원핫 인코딩을 진행했다. 결과는 아래와 같다. 가장 마지막에 있던 게임과 다른 게임간의 거리를 계산했다. TOP5를 뽑은 결과는 아래와 같다. 액션/어드벤처/인디 정도가 공통으로 들어있었고, 전략을 제외하고는 7Days to Die가 거의 같은 장르의 게임이었다.(포함관계..ㄷㄷ) 위에 결과로 나온 게임들을 각각 사이트에 가서 확인해봤다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 너무 다른 형태의 게임인 것 같은데... 아하핫..! 장르는 크게 도움이 되지 못하나보다.... 이런 어처구니 없는 결과가 나와도 재밌다..

2021. 12. 27. 09:01

2021년/21.下

2021.12.08 - [✎ 21.下/All(임시)] - [Toy Project] Build a Steam Game Recomend Model (1/?) - 데이터 수집 경로 결정하기 요즘 플젝 마감시즌이라 너무 바쁘다... T.T 흐잉 제대로 하고싶은데 끄윽.. 우선은 user 정보없이 딱 게임 정보에 한해서 진행해보려고 한다. 1. 가장 간단하게 만들기 우선 가지고 있는 데이터를 가지고 sorted result 기반으로 추천을 해보려한다.(모델 사용 無) 데이터를 필요에 의해 조금 정제해주고 그냥 단순하게 긍정리뷰 비율+추천 수로 랭킹을 매겨봤다. reviews 데이터에는 해당 리뷰가 얼마나 유용한지 voting 하는 기능이 있는데 이를 가중치로 추가해서 진행해봤다. 크게 차이는 없다.. 2. pla..

2021. 12. 14. 13:36

2021년/21.下

얼마전 블프 때 스팀 게임을 대량으로 구매했다.. (하지는 못했다.. 게임을 사는 것도 게임이다..ㅠ;) 그러던 와중에 내가 스팀게임을 추천받는걸 만들어보면 어떨까? 라는 생각을 했다. 개인인 내가 얻을 수 있는 데이터 양이 한계가 있으므로 스팀 추천시스템보단 열악하겠지만 굉장히 재미있을 것 같아서 시작해보려 한다 :) 우선 블로그에 글을 마구잡이로 작성한 뒤 성공하면 다시 정리하려한다! 계획 그냥 문득 아래처럼 끄적였다. 고민할게 많았다. 1. 일단 얻을 수 있는 모든 데이터를 얻어야한다! steam api, scraping을 찾아내자. 2. 데이터를 어디다가 저장할 것인가? => 데이터의 양을 보고 결정하자 3. 모델은 어떤걸 선택할 것인가? (모델을 하나만 쓸 것인가?) => 데이터의 형태를 보고 ..

2021. 12. 8. 09:01

2021년/21.下

# python 설치 sudo apt-get update sudo apt install python3 sudo apt install python3-pip # docker 설치 sudo apt install apt-transport-https ca-certificates curl software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable" sudo apt update apt-cache policy docker-..

2021. 11. 5. 18:42

2021년/21.下

아래처럼만 나오고 제대로된 log가 안뜬다.. *** Log file does not exist: /opt/bitnami/airflow/logs/tutorial/hello_task/2021-11-05T06:36:04.378967+00:00/1.log *** Fetching from: http://ac8721e912e5:8793/log/tutorial/hello_task/2021-11-05T06:36:04.378967+00:00/1.log *** !!!! Please make sure that all your Airflow components (e.g. schedulers, webservers and workers) have the same 'secret_key' configured in 'webserve..

2021. 11. 5. 15:40

2021년/21.下

세상 참 좋아져따.. 옛날에는 vmware,, virtualmachine쓰고 에러나면 슬퍼하고..고치지도 못하고..하 그랬는데 이젠 그냥 우분투 사용이 된다. 일단 아래 포스트에서 진행한 것처럼 wsl2를 설정해줘야한다. [docker error] WSL 2 installation is incomplete. 아래처럼 .. 에러가 뜬다. 1. powersell 관리자권한으로 열고 명령어 2개를 입력한다. dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /en.. weejw.tistory.com 그리고나서 혹시 모르니 버전도 픽스해준다. 마소 스토어에 우분..

2021. 11. 4. 17:57

2021년/21.下

아래처럼 .. 에러가 뜬다. 1. powersell 관리자권한으로 열고 명령어 2개를 입력한다. dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart 2. 아래 프로그램을 설치한 뒤 도커를 리스타트해준다. wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi

2021. 11. 4. 17:14

2021년/21.下

Prefect? Airflow를 찾아보다가, 아래와 같은 글을 발견했다. 아래 토론장에서는 만약 새로운 도입이라면 Prefect를 도입할 것이다 라는 의견이 많았다. Prefect의 단점은 Community가 협소하다는건데, Slack을 운영중이고, 또한 답변도 빠르게 온다고하기에 큰 문제가 될 것 같지않았다. Airflow vs. Prefect? I've used Airflow, but have never used Prefect. Does anyone have experience with both (or either) and pros/cons of each? www.reddit.com Prefect는 아래에 있다. 어차피 백날 문서만 들여다보고 읽어봤자 얻는건 없다. 써봐야한다. Prefect - Th..

2021. 10. 18. 14:24