데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2020년/Development

아직 맥이 너무 낯설다;;..키보드도 자꾸 독수리 타자치게된다.;;;얼른 익숙해져야겠다. 텐써를 가상환경에 설치할까하다가 도커에 설치하기로 결심했다. 그 결과 진짜 너무 편하다 도커 만쉐이! 사랑합니다! 사랑해 야! 사랑한다! 사귀자! 야! 😍😘 아래 전과정은 아래 게시글을 참고하였습니다. wooiljeong.github.io/server/docker_mac/ macOS에 딥러닝을 위한 도커 환경 구축하기 macOS에 딥러닝을 위한 도커 환경 구축하기 wooiljeong.github.io 도커 다운로드 www.docker.com/get-started Get Started with Docker | Docker Learn about the complete container solution provided b..

2020. 12. 1. 23:05

2020년/Development

Supervised Learning은 크게 regression, classification, multi-label classification으로 나눌 수 있다. 실습을 하고싶어서 apt를 이용하려 했더니 mac은 그런게 없단다;; 아... 그것도 모르고 20분을 날려먹었다 ..ㅠㅠ qastack.kr/unix/80711/how-to-install-apt-get-or-yum-on-mac-os-x Mac OS X에 apt-get 또는 YUM을 설치하는 방법 qastack.kr 시간이 늦어서 내일 환경설치 및 실습을 진행해야겠다. 굿밤 😴😴😴😴🥱

2020. 12. 1. 00:01

2020년/Development

통계적으로 유의미함의 여부를 결정하는 방법에는 Recall(재현율),Precision(정밀도), Accuracy(정확도)가 있다. 본 방법을 설명하기에 앞서 Confusion matrix를 알아야하는데, 이는 아래와 같다. 실제 답 True False 분류 결과 True True Positive False Positive False False Negative True Negative 이를 이용하여 재현율, 정밀도, 정확도를 계산할 수 있다. Recall은 실제 답이True 인 것 중 True로 분류한 것의 비율이다. 공식은 다음과 같다. True PositiveTrue /Positive+False Negative Precision은 모델이 True로 분류한 것중 실제 True인 것의 비율이다. 공식은 다..

2020. 10. 25. 19:57

2020년/Development

준비물 : 아나콘다 설치하기 www.anaconda.com/products/individual Anaconda | Individual Edition Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com pytorch.org/get-started/locally/ 파이토치 설치하기 PyTorch An open source deep learning platform that provides a seamless path from research prototyping to production dep..

2020. 10. 21. 19:07

2020년/Development

kafka.apache.org/quickstart Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 다운로드 링크는 아래에서 따왔다. www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_2.13-2.6.0.tgz Apache Download Mirrors Copyright © 2019 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache and the Apache feather logo are trademarks of The Apache Software Foundation..

2020. 10. 6. 19:08

2020년/Development

kafka.apache.org/documentation/#gettingStarted Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Kafka의 Three key capabilities. To publish (write) and subscribe to (read) streams of events, including continuous import/export of your data from other systems. To store streams of events durably and reliably for as long as you want. To process streams of events as they oc..

2020. 10. 6. 17:20

2020년/Development

학습 알고리즘 구현하기 미니 배치로 경사 하강법을 이용해 학습을 진행하므로 확률적 경사 하강법(SGD:Stochastic Gradient Descent)라고 함 2층 신경망 클래스 구현하기 이번에는 코드 길기 때문에 라인 넘버를 넣었다. 각 층들이이 잘 생겼는지 테스트해보자. 784는 28*28 이미지가 784개라는 뜻 이어서 예측처리 하는 방법을 알아보자. 다음과 같이 100장 분량의 dummy 데이터를 생성해서 predict 함수를 이용해 예측을 진행할 수 있다. grads 변수에는 기울기가 저장된다. 확인해보자. 미니 배치 학습을 구현해보자 *수정 epoch는 전체 데이터에 대한 한 번의 학습을 의미 결과는 다음과 같다. 정확도가 1에 가까워지는 것을 확인할 수 있다. 코드는 앞서 알아본 내용을 그..

2020. 7. 19. 16:21

2020년/Development

손실 함수를 설정하는 이유 왜 정확도가 아니라 손실 함수를 지표로 하여 학습을 진행하는 것일까? 정확도를 지표로 하면 배개변수의 미분이 대부분의 장소에서 0이 되기때문이다. 미분이 0이 되는게 왜? 가중치 매개변수의 손실 함수의 미분 : 가중치 매개변수의 값을 아주 조금 변화 시켰을 때, 손실함수가 어떻게 변하는가? 매개변수의 값을 조금씩 변화시켜도 정확도는 별 영향을 받지 않음 변해도 불연속적으로 변함 정확도를 지표로 삼으면 값이 불연속적으로 띄엄띄엄 변함 32 -> 33 -> 34% 손실함수를 지표로 삼으면 값이 연속적으로 변함 0.92543.. -> 0.93432.. 아래 그림을 보면 계단 함수는 대부분의 위치에서 기울기가 0이므로 활성화 함수로 쓰지 않는다. 한번에 값이 확! 바뀜 그에 반해 시그..

2020. 7. 17. 16:10