데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/21.下

몇 달만에 게시글인가... 감격... 그러나 나에겐 시간이 없으므로 공부한 것 몇개만 올려보려고 한다. mAP(mean average precision) CNN 모델 성능평가 시 사용한다. 검출율과 정확도를 동시에 고려해야하므로 사용한다. 이 mAP를 어떻게 계산할 수 있을까? Classification metric 다음과 같이 Classification metric이 존재한다. 이미 많이 본 표이기때문에 익숙하다. target value Y N prediction Y TP FP N FN TN IOU(Intersection over union) 모델이 예측한 BBox와 실제 box의 중복면적을 구하는 것이다. 0.5 이상이면 TP로 판단한다 보통(임의 설정 가능) PR Curve Precision과 Re..

2021. 10. 6. 17:40

2021년/개발공부

ngrok - secure introspectable tunnels to localhost @Botto ngrok, probably the best tool I have started to use for my webwork since firebug also great support ngrok.com 위에 사이트에서 다운이 가능하다. Ngrok exposes local servers behind NATs and firewalls to the public internet over secure tunnels. 다운을 하고나서 가입을 하면, Authtoken을 이용해서 access 한다.. 과정은 쉬워서 ,.. 어렵지 않다. 아래처럼 토큰을 주거나 cli를 알려주는데 cli를 이용하는게 건강에 좋다. ngrok..

2021. 6. 11. 21:01

2021년/ERROR

ImportError: No module named google pip install --upgrade google-api-python-client #ImportError: No module named google.cloud pip install --upgrade google-cloud-speech

2021. 6. 10. 15:06

2021년/개발공부

1. 개요 Great Expectations is a useful tool to profile, validate, and document data. It helps to maintain the quality of data throughout a data workflow and pipeline. https://greatexpectations.io/ Dagster A data orchestrator for machine learning, analytics, and ETL. greatexpectations.io 우선 아래 링크를 참고하면 아주 간단한 ge 설치 및 이를 사용하여 데이터에 대한 체크를 진행할 수 있다. https://cloudywithachanceofbigdata.com/great-expecta..

2021. 6. 2. 21:52

2021년/ERROR

에러 sqlalchemy.exc.NoSuchModuleError: Can't load plugin: sqlalchemy.dialects:bigquery 해결 방안 pip install pybigquery

2021. 6. 2. 14:28

2021년/Data

한달만에 글을 작성한다.. 요근래 좀 바빴다.. 티스토리가 많이 바뀌었다. 이모티콘을 넣을 수 있네.. 내가 구매한 이모티콘도 여기서 쓸 수 있으면 좋겠다.(나는 이모티콘 구매가 100개가 넘는다 ㅇ.< 소소한 취미다) 아무튼, 오늘 작성할 글은 GCP에 대한 글이다. GCP Bigquery를 이용해서 ML 학습까지 진행하고 DataStudio이용까지 진행한다. 렛츠꼬! 1. GCP 무료 체험판 크레딧 받기. 계정을 새로만들면 무료 크레딧을 받을 수 있다. 나는 약 이미 어느정도 사용을 했다. 2. 새 프로젝트 생성 일단 기본적으로 프로젝트를 하나 생성해줘야한다. 그리고나서 Bigquery랑 Model deploy를 위해 Cloud Stroage 2개를 picked 해준다. 이게 은근히 생각보다 편하다...

2021. 5. 14. 18:34

2021년/개발공부

1.Airflow? 아래문서의 예제를 따라하려 한다. airflow는 아래 문서에 따르면 다음과 같이 설명해두었다. Get started developing workflows with Apache Airflow - Michał Karzyński Apache Airflow is an open-source tool for orchestrating complex computational workflows and data processing pipelines. If you find yourself running cron task which execute ever longer scripts, or keeping a calendar of big data processing batch jobs then Ai mich..

2021. 4. 22. 14:57

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 2021.03.25 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #3 클롤링 데이터 TF-IDF 계산하기 2021.03.26 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #4 worldCloud 만들기 S3에 저장해서 해보려고 검색하다가 Scrapy를 알게되었다. 파이썬에서는 아름다운 수프 말고 Scrapy를 이용해서도 웹 크롤링이 가능하다. Spiders Spiders are classes which defin..

2021. 4. 20. 20:12