데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/Google Platform

텐써플로우 모델을 만들기 위해서.. 데이터를 디비에서 읽어와 입력을 해야겠다고 생각했다. 우선 텐서플로우에서 데이터를 로드하는 방법에는 무엇이 있는지 알아보았다. https://www.tensorflow.org/programmers_guide/reading_data?hl=ko Feeding: Python code provides the data when running each step.Reading from files: an input pipeline reads the data from files at the beginning of a TensorFlow graph.Preloaded data: a constant or variable in the TensorFlow graph holds all the d..

2017. 8. 2. 13:12

2017년/Google Platform

오늘은 요청을 보내볼것이다! gcloud ml-engine predict --model $MODEL_NAME \ --version $VERSION_NAME \ --json-instances $INPUT_DATA_FILE 이렇게 하면 된다고 한다 gcloud ml-engine predict --model modelT \ --json-instances gs://modelcreateing/data/test.JSON에휴ㅜ 또안된다..음 모델코드를 맘대로 수정한게 문제엿을까? serving_default를 제외한 나머지는 다시 해보자 드디어 됐다!!!! 이제 이걸 app engine에서 ml엔진을 쓰고 예측을 보내고 받을 수있게해보자..일단 모델은 그냥 gcloud로 생성해도 될것이고 예측만 app engine에..

2017. 7. 20. 21:51

2017년/Google Platform

며칠간의 삽질을 기록해보겠다 저번 시간 드디어 간단 모델을 만들었다... 오늘은 배포하고 app engine에서 받아서 화면에 helloworld를 출력해보자 될려나.. 우선 https://cloud.google.com/ml-engine/docs/how-tos/deploying-models?hl=ko&_ga=1.11794548.1971978119.1500268292 문서를 참고하여 모델을 만들어보자 1.우선 모델을 생성한다 $ gcloud ml-engine models create "helloworldtest" 2.버킷 경로를 지정해준다 $DEPLOYMENT_SOURCE="gs://helloworldtest_1" 3.모델을 생성한다 $gcloud ml-engine versions create "versi..

2017. 7. 18. 02:55

2017년/Google Platform

오늘 한 삽질을 기록해보자.. [삽질 시작] 오늘은 다시 초심으로 돌아가 차근차근 해보자.. 그래서 잠도 좀 많이 자고왔다 8시간이나 잤다 우선 견본데이터를 분석하는게 가장 좋다고하니.. 일단 코드를 분석해보자 나는 추천서비스를 만들고자 하기때문에 movielens라는 코드를 가지고 해보겠다 https://github.com/GoogleCloudPlatform/cloudml-samples/tree/master/movielens 해당 깃헙에 있는데로 나는 우선 1.tensortransform 을 설치 데이터 전처리를 위한 모듈로 자세한 설명은 https://github.com/tensorflow/transform/blob/master/getting_started.md 이곳에 있다. $pip install ..

2017. 7. 17. 19:48

2017년/Google Platform

우선 다른 설치방법은 이 주소에 있다 . 나는 리눅스 우분투 기준으로 설치해보겠다..https://cloud.google.com/sdk/downloads#deb-extras 0.우선 시작전에 가상환경을 설정해서 가상환경으로 작업.. 1. 환경변수를 설정 export CLOUD_SDK_REPO="cloud-sdk-$(lsb_release -c -s)" 2.패키지 소스로 cloud sdk 배포 url을 설정 echo "deb http://packages.cloud.google.com/apt $CLOUD_SDK_REPO main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list 3.google cloud 공개키 curl https://packages...

2017. 7. 17. 14:55

2017년/Google Platform

http://weejw.tistory.com/43우선.. 앱엔진에서 사용할 코드는 ajax 통신을 이용해보기 위해서 https://github.com/jimmykane/gae-voting-ajax-example 을 이용했다 1. https://console.cloud.google.com/appengine/start?src=ac&project=ml-project-161014 먼저 이곳에 접속을 해준다. 그럼 아래와 같이 화면이 나타난다. 언어를 python으로 선택해주고.. 위치를 아시아로 선택하고서 나면 이렇게 친절한 가이드가 있다.. 내가 포스팅할껀 따로 없을 듯 하다 2.깃헙에서 받은 파일을 클라우드에 업로드 후 위의 단계와 같이 수행한다. 이 과정에서 여러가지 에러가 발생했었는데 내가 해결했던 방법..

2017. 7. 11. 18:13

2017년/Google Platform

google ml이 하는일1.클라우드에서 tensorflow 교육 응용 프로그램을 실행하여 대규모 기계 학습 모델 교육2.클라우드에서 훈련된 모델을 통한 예측 google ml의 목적결과 값 도출을 위한 반복 작업의 최소화 중요한건 분산된 tensorflow를 사용하여 응용프로그램을 실행하기 위한 지원을 추가하는것 필요한 것 1.tensor가 인식할 수 있는 훈련 데이터https://www.tensorflow.org/programmers_guide/reading_data 2.모델 교육을 위한 tensorflow python package--내 해석이 잘 못될 수 있으니까 링크 첨부..https://cloud.google.com/ml-engine/docs/how-tos/training-stepshttps:..

2017. 6. 27. 16:40

2017년/Google Platform

18.april 30 서비스 종료예정.................. predicton api란?10년 구글이 빅데이터 분석용으로 출시한 api로 어떤 행위나 결과를 과거의 패턴을 분석해서 예측구글 내부적으로 사용하던 기계학습 알고리즘을 api형으로 서비스제공데이터로드 ->훈련->예측 순서로 진행사용준비구글 플랫폼 api관리에서 cloud storage와 prediction api 2가지를 활성화(cloud storage는 훈련데이터 업로드용) 2. https://cloud.google.com/prediction/docs/language_id.txt 에서 샘플파일을 내려받아 cloud storage에 업로드 (아래 사진은 일부분 : ""로 데이터값이있고 ,로 구분하는 것을 확인할 수 있음) 2-1. 새로..

2017. 6. 24. 22:56