데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2022년

2021년을 되돌아보며.. 아 정신없어서 새해 계획도 제대로 못정했다. 작년엔 아래처럼 노션을 통해서 계획표를 작성하고 달성하려했고,, 노션으로 새해 준비하기, 노션 다이어리 오늘은 노션에 있는 공유 템플릿을 이용해서 내년에 사용할 다이어리를 만들어보았다. 나는 하루를 얼마나 쓰레기처럼 낭비했는지에대해 매번 생각하고 있다. 연구실에서도 후배들에게 장난스 weejw.tistory.com 결론적으로 자체 평가 결과 약 50프로 이상을 달성했다고 생각한다. 1. 영어 영어 공부는 정말 28년 내내 나를 힘들게한다.... 그래도 영어를 앎으로써 정말 많은 도움이 되었다.. 지식을 얻거나 문제 해결에서는 (개발자분들은 많이 공감할 것이라고 생각한다. 스택성님.. ) 그래도 일을 시작하면서 바빠지기 시작하니 영어공..

2022. 1. 7. 10:44

2022년/Developement

아래 명령어를 입력한 후 반드시 재접속 sudo usermod -aG docker $USER docker ps 전체 shutdown docker stop $(docker ps -aq) docker contatiner 전체 삭제 docker rm `docker ps -a -q` * 위에처럼 docker rm $(docker ps -aq) 가능 docker 컨테이너 실행 docker run 이미지이름 docker image 삭제 docker rmi docker ps 삭제 docker rm docker image 강제 삭제 docker rmi $(docker images -q) -f 컨테이너 전체목록(떠있는거 말고) docker ps -a 원큐에 싹다 sudo docker stop $(sudo docker p..

2022. 1. 7. 09:34

2022년/Error

하.. 정말 많은 곳을 돌아다녔고 많은 시도를 했다. 공식페이지에서 custom operator가 분명히 만들 수 있다고 되어있는데, 버전도 동일하고 .. 안됐다. 계속 Creating a custom Operator — Airflow Documentation airflow.apache.org 1. 해결방법은 간단했다. 나는 애초에 bitnami docker compose를 쓰고있었는데 volume 설정을 해주면 되는거였다. 이거때문에 시간을 얼마나 잡아먹었는지 모른다. .하 .... 울고싶어라.. 2. 추가로 local python file import 할 때 꼭 plugins 아래 풀 path로 import 해야한다. 공식 홈페이지에도 있다. import a (X) import path1.path2...

2022. 1. 6. 15:06

2022년/Developement

LDAP는 데이터를 중앙관리 할 때 유용하다. 권한관리라던지, 사용자 정보 관리 등.. openLDAP는 LDAP를 구현하는 오픈소스 중 자주 쓰이는 오픈소스라고 한다. 이를 기반으로 간단하게 구현해보자. OpenLDAP, Main Page The suite includes: lloadd - stand-alone LDAP Load Balancer Daemon (server or slapd module) slapd - stand-alone LDAP daemon (server) libraries implementing the LDAP protocol, and utilities, tools, and sample clients. Also available from the OpenLDAP Projec www.op..

2022. 1. 3. 14:33

2022년/Developement

2021년의 마지막 날 네트워크를 공부하게 되었다. 학부 때 네트워크를 A+ 받긴했으나 휘발성 지식으로 네떡과 기사공부가 끝난 뒤 머릿속에서 사라졌다.. 단어를 보면 아~이거 하지만 그게뭐야? 라고 설명해줘 라고하면 아..그.저... 도와줘요 구글신! 해야한다.. LDAP(Lightweight Directory Access Protocol) Lightweight? 통신 네트워크 '대역폭' 상의 가벼움을 의미며 X.500의 DAP의 복잡성과 구현어려움의 대안으로 DAP의 인터넷 프로토콜 통신부분만 가지고 태어나서 가볍다. DAP는 osi 7계층 LDAP는 tcp/ip 계층에서 운용된다. LDAP은 DAP의 기능을 거의 모두 다 지원을 했고 (DAP를 먼저 설명드린 이유) 복잡했던 부분이나 잘 쓰이지 않았던..

2021. 12. 31. 11:42

2021년/21.下

1. 원핫 인코딩을 통해 게임 간 거리 계산하기 게임별로 장르를 가지고 있다. 이 값을 이용하여 간단한 게임간의 거리계산을 통해 비슷한 게임을 추천받고자 한다. 시작하기에 앞서서 게임별로 각 장르의 원핫 인코딩을 진행했다. 결과는 아래와 같다. 가장 마지막에 있던 게임과 다른 게임간의 거리를 계산했다. TOP5를 뽑은 결과는 아래와 같다. 액션/어드벤처/인디 정도가 공통으로 들어있었고, 전략을 제외하고는 7Days to Die가 거의 같은 장르의 게임이었다.(포함관계..ㄷㄷ) 위에 결과로 나온 게임들을 각각 사이트에 가서 확인해봤다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 너무 다른 형태의 게임인 것 같은데... 아하핫..! 장르는 크게 도움이 되지 못하나보다.... 이런 어처구니 없는 결과가 나와도 재밌다..

2021. 12. 27. 09:01

2021년/21.下

2021.12.08 - [✎ 21.下/All(임시)] - [Toy Project] Build a Steam Game Recomend Model (1/?) - 데이터 수집 경로 결정하기 요즘 플젝 마감시즌이라 너무 바쁘다... T.T 흐잉 제대로 하고싶은데 끄윽.. 우선은 user 정보없이 딱 게임 정보에 한해서 진행해보려고 한다. 1. 가장 간단하게 만들기 우선 가지고 있는 데이터를 가지고 sorted result 기반으로 추천을 해보려한다.(모델 사용 無) 데이터를 필요에 의해 조금 정제해주고 그냥 단순하게 긍정리뷰 비율+추천 수로 랭킹을 매겨봤다. reviews 데이터에는 해당 리뷰가 얼마나 유용한지 voting 하는 기능이 있는데 이를 가중치로 추가해서 진행해봤다. 크게 차이는 없다.. 2. pla..

2021. 12. 14. 13:36

2021년/21.下

얼마전 블프 때 스팀 게임을 대량으로 구매했다.. (하지는 못했다.. 게임을 사는 것도 게임이다..ㅠ;) 그러던 와중에 내가 스팀게임을 추천받는걸 만들어보면 어떨까? 라는 생각을 했다. 개인인 내가 얻을 수 있는 데이터 양이 한계가 있으므로 스팀 추천시스템보단 열악하겠지만 굉장히 재미있을 것 같아서 시작해보려 한다 :) 우선 블로그에 글을 마구잡이로 작성한 뒤 성공하면 다시 정리하려한다! 계획 그냥 문득 아래처럼 끄적였다. 고민할게 많았다. 1. 일단 얻을 수 있는 모든 데이터를 얻어야한다! steam api, scraping을 찾아내자. 2. 데이터를 어디다가 저장할 것인가? => 데이터의 양을 보고 결정하자 3. 모델은 어떤걸 선택할 것인가? (모델을 하나만 쓸 것인가?) => 데이터의 형태를 보고 ..

2021. 12. 8. 09:01