데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/Spark

방법은 1. 가상머신을 설치한다2. 가상머신 3개를 만든다2-1.coreOs 초기설정을 해준다. 3.가상머신에 spark를 설치한다 1.가상머신을 설치한다 https://www.virtualbox.org/wiki/Linux_Downloads 들어가서 보니 i386,amd64 이런게 있었다..이게뭐지? 하고 검색해보니 아래와 같은 내용을 알 수 있었다. It is common to find x86 called i386, or occasionally IA-32. x86-64 is commonly called x64 or amd64, and less often IA-32e, EM64T, or Intel64. ++ 그냥 우분투 소프트웨어 센터가서 검색해서 설치해도된다...(띠용) 2.가상머신 3개를 만들건데 h..

2017. 7. 21. 03:14

2017년/Docker

docker stop $(docker ps -a -q) docker rm $(docker ps -a -q)

2017. 7. 20. 22:47

2017년/Google Platform

오늘은 요청을 보내볼것이다! gcloud ml-engine predict --model $MODEL_NAME \ --version $VERSION_NAME \ --json-instances $INPUT_DATA_FILE 이렇게 하면 된다고 한다 gcloud ml-engine predict --model modelT \ --json-instances gs://modelcreateing/data/test.JSON에휴ㅜ 또안된다..음 모델코드를 맘대로 수정한게 문제엿을까? serving_default를 제외한 나머지는 다시 해보자 드디어 됐다!!!! 이제 이걸 app engine에서 ml엔진을 쓰고 예측을 보내고 받을 수있게해보자..일단 모델은 그냥 gcloud로 생성해도 될것이고 예측만 app engine에..

2017. 7. 20. 21:51

2017년/web Development

No, you can't. JavaScript is executed on the client side (browser), while the session data is stored on the server. However, you can expose session variables for JavaScript in several ways:a hidden input field storing the variable as its value and reading it through the DOM APIan HTML5 data attribute which you can read through the DOMstoring it as a cookie and accessing it through JavaScriptinje..

2017. 7. 19. 14:55

2017년/Google Platform

며칠간의 삽질을 기록해보겠다 저번 시간 드디어 간단 모델을 만들었다... 오늘은 배포하고 app engine에서 받아서 화면에 helloworld를 출력해보자 될려나.. 우선 https://cloud.google.com/ml-engine/docs/how-tos/deploying-models?hl=ko&_ga=1.11794548.1971978119.1500268292 문서를 참고하여 모델을 만들어보자 1.우선 모델을 생성한다 $ gcloud ml-engine models create "helloworldtest" 2.버킷 경로를 지정해준다 $DEPLOYMENT_SOURCE="gs://helloworldtest_1" 3.모델을 생성한다 $gcloud ml-engine versions create "versi..

2017. 7. 18. 02:55

2017년/Google Platform

오늘 한 삽질을 기록해보자.. [삽질 시작] 오늘은 다시 초심으로 돌아가 차근차근 해보자.. 그래서 잠도 좀 많이 자고왔다 8시간이나 잤다 우선 견본데이터를 분석하는게 가장 좋다고하니.. 일단 코드를 분석해보자 나는 추천서비스를 만들고자 하기때문에 movielens라는 코드를 가지고 해보겠다 https://github.com/GoogleCloudPlatform/cloudml-samples/tree/master/movielens 해당 깃헙에 있는데로 나는 우선 1.tensortransform 을 설치 데이터 전처리를 위한 모듈로 자세한 설명은 https://github.com/tensorflow/transform/blob/master/getting_started.md 이곳에 있다. $pip install ..

2017. 7. 17. 19:48

2017년/Google Platform

우선 다른 설치방법은 이 주소에 있다 . 나는 리눅스 우분투 기준으로 설치해보겠다..https://cloud.google.com/sdk/downloads#deb-extras 0.우선 시작전에 가상환경을 설정해서 가상환경으로 작업.. 1. 환경변수를 설정 export CLOUD_SDK_REPO="cloud-sdk-$(lsb_release -c -s)" 2.패키지 소스로 cloud sdk 배포 url을 설정 echo "deb http://packages.cloud.google.com/apt $CLOUD_SDK_REPO main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list 3.google cloud 공개키 curl https://packages...

2017. 7. 17. 14:55

2017년/Spark

어제..나의 우분투는 저세상으로 갔다.. 그래서 그런일이 다신 일어나지 않도록 도커를 써서 작업해야겠다..후 우선 도커 설치는 예전에 한번 작성한 적이 있다. http://weejw.tistory.com/3 https://hub.docker.com/ 도커 허브에서 자기가 원하는 것을 받아도 된다. 인터넷 보니 pulls가 많은 것을 받으세요 하시는 분도 있고 어떤분은 starts가 많은 걸 받으세요 하시는 분도 있고, 동시에 같이 구축되는 모듈..? 이 많은것을 선택하세요 하는 분들도 있었다. 자기맘이 이끄는대로 받으면 될 듯 하다.. 나는 https://hub.docker.com/r/sequenceiq/spark/ 이걸 받기루 했다! 설명도 너무 친절하다. 내가 따로 작성해 둘 게 없을정도 .. 자기가..

2017. 7. 13. 23:16