위지원의 데이터 일기 🐈
Home
  • 분류 전체보기 (563)
    • ✎ 2025년 (4)
    • 2024년 (16)
    • 2023년 (6)
    • 2022년 (35)
      • Developement (22)
      • Error (9)
    • 2021년 (68)
      • ERROR (9)
      • 알고리즘 (11)
      • 개발공부 (21)
      • Data (15)
      • 21.下 (12)
    • 2020년 (164)
      • 코테 (84)
      • Development (29)
      • 정처기 (41)
    • 2019년 (27)
    • 2018년 (89)
      • English Speaking (8)
      • Error (12)
      • C, Java, FileSystem (13)
      • DataBase (15)
      • Java (2)
      • 지식 (16)
      • Go (3)
      • spark (9)
      • 영어 (5)
      • 알고리즘 (6)
    • 2017년 (143)
      • Error (17)
      • machine learning (16)
      • Spark (20)
      • Database (19)
      • Python (17)
      • Spring (9)
      • etc. (10)
      • 백준 (5)
      • Google Platform (12)
      • web Development (7)
      • Docker (3)
      • Linux (8)
Home
  • 분류 전체보기 (563)
    • ✎ 2025년 (4)
    • 2024년 (16)
    • 2023년 (6)
    • 2022년 (35)
      • Developement (22)
      • Error (9)
    • 2021년 (68)
      • ERROR (9)
      • 알고리즘 (11)
      • 개발공부 (21)
      • Data (15)
      • 21.下 (12)
    • 2020년 (164)
      • 코테 (84)
      • Development (29)
      • 정처기 (41)
    • 2019년 (27)
    • 2018년 (89)
      • English Speaking (8)
      • Error (12)
      • C, Java, FileSystem (13)
      • DataBase (15)
      • Java (2)
      • 지식 (16)
      • Go (3)
      • spark (9)
      • 영어 (5)
      • 알고리즘 (6)
    • 2017년 (143)
      • Error (17)
      • machine learning (16)
      • Spark (20)
      • Database (19)
      • Python (17)
      • Spring (9)
      • etc. (10)
      • 백준 (5)
      • Google Platform (12)
      • web Development (7)
      • Docker (3)
      • Linux (8)
블로그 내 검색
포트폴리오

위지원의 데이터 일기 🐈

데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Girl이 되는 그날까지🏃‍♀️ 화이팅!

  • 🖥 깃블로그
  • 🌍 위키원
  • 📑 내맘대로 스크랩
  • 💌 메일
  • 2017년/Google Platform

    구글 플랫폼ml을 써보자 1부

    2017. 6. 27. 16:40

    by. 위지원



    google ml이 하는일

    1.클라우드에서 tensorflow 교육 응용 프로그램을 실행하여 대규모 기계 학습 모델 교육

    2.클라우드에서 훈련된 모델을 통한 예측


    google ml의 목적

    결과 값 도출을 위한 반복 작업의 최소화


    중요한건 분산된 tensorflow를 사용하여 응용프로그램을 실행하기 위한 지원을 추가하는것 



    필요한 것


    1.tensor가 인식할 수 있는 훈련 데이터

    https://www.tensorflow.org/programmers_guide/reading_data


    2.모델 교육을 위한 tensorflow python package

    --내 해석이 잘 못될 수 있으니까 링크 첨부..

    https://cloud.google.com/ml-engine/docs/how-tos/training-steps

    https://cloud.google.com/ml-engine/docs/concepts/training-overview



    ml은 온라인 예측과 일괄예측을 제공

    1.온라인 예측은 최소한의 대기시간으로 json데이터를 가지고 예측을 제공

    2.일괄 예측은 최소한의 작업시간으로 대량의 데이터에 대한 예측을 제공하지만 복잡


    그림으로 간단하게 보자면.. 구름그림은 cloud에 존재한다는 것을 뜻함! (cloud storage bucket에 저장)




    이때 가장 중요한건 python package일텐데.. 패키징을 어떻게 하는가? 

    [cf. https://cloud.google.com/ml-engine/docs/how-tos/packaging-trainer]


    일단 패키지에 들어있어야할 파일은 


    __init__.py

    모델명.py


    예제 샘플을 뜯어본 결과 init은 비어있어도 되는것같다...


    1.개발 환경을 구축

    https://cloud.google.com/ml-engine/docs/quickstarts/command-line


    나는 datalab을 이용 

    -본 블로그의 datalab을 사용하는 방법 : http://weejw.tistory.com/4


    2.tensorflow를 이용하여 교육 어플리케이션을 개발 


    https://cloud.google.com/ml-engine/docs/how-tos/training-steps


    ** google에서 제공하는 sample package >>보고 참고하면 아주 좋다고 함.

    https://github.com/GoogleCloudPlatform/cloudml-samples/


    나는 선형회귀분석 모델을 만들것인데 이미 널리 알려져있는 코드를 이용 이미 datalab으로 해봄! ☞ http://weejw.tistory.com/5



    ---추후 할 일은?--

     ( 조대협님 http://bcho.tistory.com/의 도움으로 정리 )

    1.datalab으로 텐서플로우 코드를 입력하면 학습된 모델과 결과를 볼 수 있음

    3.http://bcho.tistory.com/1180 이 내용에 따라 ml엔진에 모델코드를 보내(note book 형태로 코드를 입력한 것을 run) 학습을 시킬 수 있으며

    4.ml로 학습된 모델을 export해서 cloud ml prediction engine에 배포하고 

      ** prediction engine은 텐서 서빙이 제공해주는 서비스임

      **텐서 서빙이란 텐서플로를 응용프로그램으로 사용하는데 도움을 주는 아이

    5.app engine에서 sdk를 이용해 json형태로 데이터를 받아올 수 있음 << 최종목적



    출처 url

    http://bcho.tistory.com/1180

    '2017년 > Google Platform' 카테고리의 다른 글

    gcloud sdk를 설치해보자 [우분투기준]  (0) 2017.07.17
    구글 앱엔진을 사용해보자  (0) 2017.07.11
    구글 프레딕션 api  (0) 2017.06.24
    빅쿼리 사용하기[커멘드라인툴:CLI]  (0) 2017.06.24
    빅쿼리 사용하기 [브라우저]  (0) 2017.06.24

    잠깐만요~! 읽으신김에 이런 글들은 어떠세요? 👀

    • gcloud sdk를 설치해보자 [우분투기준] 2017.07.17
    • 구글 앱엔진을 사용해보자 2017.07.11
    • 구글 프레딕션 api 2017.06.24
    • 빅쿼리 사용하기[커멘드라인툴:CLI] 2017.06.24
    맨 위로
전체 글 보기
Tistory 로그인
Tistory 로그아웃
로그아웃 글쓰기 관리

열정! 열정! 열정! 🔥

Designed by Nana
블로그 이미지
위지원
데이터 엔지니어로 근무 중에 있으며 데이터와 관련된 일을 모두 좋아합니다!. 특히 ETL 부분에 관심이 가장 크며 데이터를 빛이나게 가공하는 일을 좋아한답니다 ✨

티스토리툴바

티스토리툴바