데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/개발공부

ngrok - secure introspectable tunnels to localhost @Botto ngrok, probably the best tool I have started to use for my webwork since firebug also great support ngrok.com 위에 사이트에서 다운이 가능하다. Ngrok exposes local servers behind NATs and firewalls to the public internet over secure tunnels. 다운을 하고나서 가입을 하면, Authtoken을 이용해서 access 한다.. 과정은 쉬워서 ,.. 어렵지 않다. 아래처럼 토큰을 주거나 cli를 알려주는데 cli를 이용하는게 건강에 좋다. ngrok..

2021. 6. 11. 21:01

2021년/개발공부

1. 개요 Great Expectations is a useful tool to profile, validate, and document data. It helps to maintain the quality of data throughout a data workflow and pipeline. https://greatexpectations.io/ Dagster A data orchestrator for machine learning, analytics, and ETL. greatexpectations.io 우선 아래 링크를 참고하면 아주 간단한 ge 설치 및 이를 사용하여 데이터에 대한 체크를 진행할 수 있다. https://cloudywithachanceofbigdata.com/great-expecta..

2021. 6. 2. 21:52

2021년/개발공부

1.Airflow? 아래문서의 예제를 따라하려 한다. airflow는 아래 문서에 따르면 다음과 같이 설명해두었다. Get started developing workflows with Apache Airflow - Michał Karzyński Apache Airflow is an open-source tool for orchestrating complex computational workflows and data processing pipelines. If you find yourself running cron task which execute ever longer scripts, or keeping a calendar of big data processing batch jobs then Ai mich..

2021. 4. 22. 14:57

2021년/개발공부

논문 원본 A Contextual-Bandit Approach to Personalized News Article Recommendation Personalized web services strive to adapt their services (advertisements, news articles, etc) to individual users by making use of both content and user information. Despite a few recent advances, this problem remains challenging for at least two reasons. arxiv.org 1. Multi-Armed Bandit "MAB(Multi-Armed Bandits)" 위 논문..

2021. 4. 17. 17:16

2021년/개발공부

아래 글을 작성한지도 꽤 오래되었다. 시간이란 참 빠르군, [티스토리 게시글 추천 시스템 만들기] #4 worldCloud 만들기 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎.. weejw.tistory.com 1.문제의 발견 오늘 그냥 공부하다가 아래와 같은 상황을 발견했다. 🤪 그래,, 생각해보니 사이킷런의 TfidfVectorizer는 외국꺼고..한글을 잘 알리가 없다. ;; 그래서 knolopy okt를 쓴것과 차이가 있는 것이여다. 리서치할 때 왜 이런 좋은 라이브러리를 ..

2021. 4. 15. 18:55

2021년/개발공부

원본 논문 Wide & Deep Learning for Recommender Systems Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs. Memorization of feature interactions through a wide set of cross-product feature transformations are arxiv.org 무엇을? Wide 선형 모델 + DNN 모델 공동 훈련이 가능한 wide&deep learning 제시 선형 모델: y = w^Tx+b 필요성 ..

2021. 4. 14. 15:13

2021년/개발공부

아 스파크 해야하는데,, 책 들여다보기 진짜 싫다..ㅠ_ㅠ, 지금은 딥러닝 책으로 공부 중인데 해당 책은 딱히 블로그에 쓰기가 애매해서 그냥 코랩으로 실습만 하고 넘어가는 중이다. 아래 url이 쿠버네티스 네트워크에 관해 정리를 너무 깔끔하게 해주셨다. 또한, 몽고디비 본 사이트에서 몽고디비에 대해 설명해준다. 요즘 이런 🦆이 잘되어있어서, 딱히 정리를 안해도될 것 같다. Medium medium.com What Is MongoDB? MongoDB is a document database with the scalability and flexibility that you want with the querying and indexing that you need. www.mongodb.com 위 포스트를 읽고..

2021. 4. 12. 18:24

2021년/개발공부

Python decorator decorator를 쓰면 wrapper를 이용해 손쉽게 코드 수정이 가능해짐 완벽한 형태는 아래와 같음. 마치 스프링의 AOP가 생각난다.. def decorator(func): @wraps(func)#원본 함수의 메타정보가 데코레이터의 메타정보로 대체되는 것을 방지하기 위 def wrapper(*args, **kwargs): print("start") value = func(*args, **kwargs)#원본 함수 파라미터를 그대로 받기 위해 print("end") return value #원본 함수 return을 받기 위해 return wrapper @decorator def test_func(msg): print("test_func %s" % msg) return "Y..

2021. 4. 12. 15:08