데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/machine learning

생성적 적대신경망 (GAN,Generative Adversarial Network) 부산학회에서도 GAN이 앞으로 굉장히 뜰것이라 했고 좀 더 찾아보니 머신러닝 분야 세계 최고 학회중 하나인 NIPS에서 앤드류 응도 "미래의 딥러닝을 이끌 기술은 생성적 적대 신경망(GAN)과 같은 비지도 학습이 그 주인공이 될 것 입니다" 라고 했다고 한다. GAN이 무엇일까? "지도학습 같은 비지도 학습" 지금까지 초보자인 내가 살펴본 CNN,RNN등은 이미지를 구별,음성 인식..등등 분류를 하거나 했지 이미지,음성을 만들어내진 못했다.미래의 생성 모델을 활용하여 이것을 가능케 하는데 이 중심에 GAN이 있다고 한다. GAN은 오픈AI 수석 연구원 이안 굿 펠로우라는 분이 개발하셨다고 한다.GAN은 비지도 학습이며 비..

2017. 10. 31. 21:19

2017년/machine learning

Sequential Data-말,텍스트,이미지 등.. 대부분의 데이터가 Sequential Data(순차 데이터) 딥러닝을 위한 Sequential Data CNN : sequence에서 local features을 찾음LSTM,GLU : 과거 features을 포착 three type of problems1.다음 데이터 예측2.분류3.시퀀스 생성 : 번역,음성 인식,영상 인식 Recurrent Neural Networks (순환 뉴럴 네트워크)는 아래와 같다. 이렇게 생겨서 입력값 x를 가지고 신경망 h는 o를 출력한다. 가운데에 순환구조로 그려진 화살표가 정보를 다음 단계로 보내준다. 이 구조를 펼쳐보면 이렇게 생긴것 그냥 다음으로 정보를 전달해주고 전달해주고... 하지만 이러한 구조는 장기 의존성 ..

2017. 10. 31. 20:55

2017년/machine learning

사실 학습에서 가장 중요한것은 데이터다.. 데이터 마이닝 과제할때도 느꼈지만 결국 좋은 데이터가 있어야 좋은 결과 값을 낼 수 있는 것 1.학습이 어려운 데이터 아래 두 사진을 보면 누가봐도 고양이(좌),개(우)이다.이러한 데이터에 대한 학습을 줄이는 것이다. 바로 아래와 같은 데이터가 문제다 사실 사람이야 딱보고 아 개다,고양이다 구분이 되지만 머신은 모른다. 그저 비슷하니 개,고양이로 분류해버리는 것그래서 이런 데이터를 학습 데이터로 선정 해야 한다는 것이다. 2. 세미나에서 가지고 말씀해주셧던 상황으로 말해보자 사진 출처 : https://www.researchgate.net/figure/2528210_fig4_Fig-8-All-of-the-misclassified-MNIST-test-digits-..

2017. 10. 31. 16:07

2017년/machine learning

딥런닝이란? 포함 관계는 아래와 같지만 기계학습의 한 종류지만 요즈음 인기로는 딥 러닝 자체가 기계학습 단어를 대신 말해줄 기세라고.. 기계 학습-컴퓨터에게 경험을 하게 하여 나중에 같은 경우가 생겼을 때 더 효율적으로 일을 처리하게 시스템 구조,파라미터를 수정하는것 -컴퓨터가 데이터로부터 지식을 추출해서 갖게 만드는 작업 아래와 같이 사람이 생각하고 판단하는 부분에 대해서 객체의 특징과 특징을 가지고 판단할 알고리즘을 학습시키면 같은 결과를 나타내는 것..일반 프로그램은 이 그림처럼 사람이 생각하는 알고리즘을 가지고 문제를 풀어내지만 기계학습은 '특징'과 '기계학습 알고리즘'을 가지고 학습하고 예측 -이상적인 학습 결과 모델은 일반화 능력이 좋은것,과적합 문제가 적은것.. -알고리즘의 분류1.지도학습 ..

2017. 10. 31. 14:38

2017년/machine learning

a=tf.constant([[1,2,3]]) or a=tf.constant([(((1,2,3)))]) print a.get_shape() #(1,3) ,둘다 같은 결과가 나온다. b=tf.constant([1,2,3])print b.get_shape() #(3,) c=tf.constant([[[1,2,3]]])print c.get_shape() #(1,1,3) shape는 행렬의 차원이라고한다

2017. 9. 18. 15:53

2017년/machine learning

자 초심으로 돌아가서 생각해보자..ml engine을 쓰는 이유를 ... 이 포스팅 할때 나는 분명 엠엘엔진으로 텐써코드를 돌릴 수 있다는것을 알았다.근데 왜 또 서빙을 하려했는가? 이렇게 갑자기 회의를 하다가 깨닳음을 얻고 초심으로 돌아가서 오늘 밤에는 엠엘엔진으로 모델을 생성하기로 마음먹었다. 공식사이트에 가서 다시 글을 보았다. 처음 봤을때 온통 무슨말인지 하나도 몰랐었는데 다시보니 이제 좀 많이 알 것 같다. 1.로컬에서 코드를 테스트한다. 방법은 아래와 같다. 붉은색은 필수 gcloud ml-engine local train \ --module-name trainer.task \ --package-path trainer/ \ -- \ --train-files $TRAIN_DATA \ --eval..

2017. 9. 12. 00:37

2017년/machine learning

강의 영상을 보고 정리한 내용 강의에서 사용하는 예제는 이 링크에 ml엔진 왜 쓰는가? 클라우드 ml엔진은 트레이닝의 가장 큰 문제인 트레이닝 시간(많이걸림)과 고성능의 컴퓨터가 필요하다는 문제를 가지고있는 텐서 task를 cloud에서 실행하여 클라우드 스토리지에 저장될 수 있도록 해주는 장점이 있다. 사용방법 공식사이트에 자세하게 설명되어있음. 원하는 방법으로 개발환경을 준비 기계학습에 필요한 데이터는 어떻게 사용할 수 있는가? 버켓이라는 클라우드 스토리지를 이용하여 gs://로 접근할 수 있음.코드 또한 클라우드 스토리지에 올려서 사용 할 수 있음 텐서플로우 csv 파일을 읽어오는 법 http://weejw.tistory.com/76 이 영상을 보고 saver 라는 개념을 알았는데 찾아보니 (엣지 ..

2017. 9. 11. 14:09

2017년/machine learning

텐서플로우 홈페이지를 보고 공부한 내용용 텐서플로우 서빙이란? -텐서플로우 머신런닝 모델을 운영환경으로 배포하는 것을 도와주는것으로써 구글에서 런칭함-쉽게 말해 모델을 운영환경에서 사용할 수 있도록 도와준다.-사용자로부터의 입력을 모델에 반영하기위해 서빙api를 이용할 수 있다. 학습기에서 훈련데이터를 공급하여 모델을 생성하고 검증하여 텐서플로우 서빙 시스템에 배포 SavedModelBuilder모듈을 사용하여 모델을 내보낸다. ( 스냅샷을 저장소에 저장하여 로드할 수 있게 하는 것 )from tensorflow.python.saved_model import builder as saved_model_builder빌더에 필요한 라이브러리를 import 한다.export_path_base = sys.argv..

2017. 9. 5. 14:55