데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/Python

디자인 패턴이란? 우선 옵저버라는 패턴을 알아보기전에 패턴이란게 무엇인지부터 알아보자디자인 패턴이란 건축학,컴퓨터 과학에서 사용되는 요어로써 설계 문제에 대한 해답을 '문서화'하기 위해 고안된 '형식 방법'이다각 영역에서 관련된 패턴들을 구조적으로 정리한 것을 '패턴 언어'라고 한다. 소프트웨어 개발 방법에서 사용되는 디자인 패턴은 프로그램 개발과정에서 발견된 설계의 노하우를 축적하여 이름을 붙여 후에 재사용하기 좋게 특정 규약을 묶어서 정리한것으로 특정한 상황에서 구조적인 문제를 해결하는 방식을 '설명'해준다. 옵저버 (observer) 패턴이란? -옵저버 패턴이란 옵저버의 목록을 객체에 등록하여 상태변화가 있을때마다 메서드 등을 통해 객체가 직접 목록의 각 옵저버에게 통지하도록 하는 디자인 패턴-발행..

2017. 9. 12. 02:20

2017년/machine learning

자 초심으로 돌아가서 생각해보자..ml engine을 쓰는 이유를 ... 이 포스팅 할때 나는 분명 엠엘엔진으로 텐써코드를 돌릴 수 있다는것을 알았다.근데 왜 또 서빙을 하려했는가? 이렇게 갑자기 회의를 하다가 깨닳음을 얻고 초심으로 돌아가서 오늘 밤에는 엠엘엔진으로 모델을 생성하기로 마음먹었다. 공식사이트에 가서 다시 글을 보았다. 처음 봤을때 온통 무슨말인지 하나도 몰랐었는데 다시보니 이제 좀 많이 알 것 같다. 1.로컬에서 코드를 테스트한다. 방법은 아래와 같다. 붉은색은 필수 gcloud ml-engine local train \ --module-name trainer.task \ --package-path trainer/ \ -- \ --train-files $TRAIN_DATA \ --eval..

2017. 9. 12. 00:37

2017년/machine learning

강의 영상을 보고 정리한 내용 강의에서 사용하는 예제는 이 링크에 ml엔진 왜 쓰는가? 클라우드 ml엔진은 트레이닝의 가장 큰 문제인 트레이닝 시간(많이걸림)과 고성능의 컴퓨터가 필요하다는 문제를 가지고있는 텐서 task를 cloud에서 실행하여 클라우드 스토리지에 저장될 수 있도록 해주는 장점이 있다. 사용방법 공식사이트에 자세하게 설명되어있음. 원하는 방법으로 개발환경을 준비 기계학습에 필요한 데이터는 어떻게 사용할 수 있는가? 버켓이라는 클라우드 스토리지를 이용하여 gs://로 접근할 수 있음.코드 또한 클라우드 스토리지에 올려서 사용 할 수 있음 텐서플로우 csv 파일을 읽어오는 법 http://weejw.tistory.com/76 이 영상을 보고 saver 라는 개념을 알았는데 찾아보니 (엣지 ..

2017. 9. 11. 14:09

2017년/Database

데이터베이스 정규화를 보고 공부한내용 [예제는 해당 사이트에 있다] 아무것도안되는날에는 데이터베이스를 공부하쟈.알바끝나기전 잠깐보자...크흡흡 데이터베이스 정규화란? 데이터베이스의 데이터를 구성하는 프로세스로 중복성,불일치 종속성제거를 통해 데이터베이스의 유연성을 높임과 동시에 데이터를 보호하도록 설계되어진 규칙에 따라 테이블을 만들고 관계를 설정하는 작업까지가 정규화이다. 왜 정규화가 필요할까? 데이터 중복- 디스크 공간이 낭비된다. - 중복된 데이터의 저장은 수정시 문제가 생긴다.ex) T1과 T2 두개의 테이블에 같은 데이터가 저장되어있을때에 T1을 수정하면 T2또한 수정해주어야한다. 불일치 종속성- 데이터의 특성이 테이블에 맞지않는 경우 ex)사원테이블에 고객의정보는 있을 수 없다. 정규화는 일반..

2017. 9. 10. 16:20

2017년/Error

That is correct: only tf.Variables result in variable files being exported. Those files contain the actual values of the variables. The graph structure itself is stored in the saved_model.pb. That's where your gather (and any other ops) are. You should be able to serve the model. 스택오버플로에 질문을 올려서 받은 답변

2017. 9. 10. 11:23

2017년/machine learning

텐서플로우 홈페이지를 보고 공부한 내용용 텐서플로우 서빙이란? -텐서플로우 머신런닝 모델을 운영환경으로 배포하는 것을 도와주는것으로써 구글에서 런칭함-쉽게 말해 모델을 운영환경에서 사용할 수 있도록 도와준다.-사용자로부터의 입력을 모델에 반영하기위해 서빙api를 이용할 수 있다. 학습기에서 훈련데이터를 공급하여 모델을 생성하고 검증하여 텐서플로우 서빙 시스템에 배포 SavedModelBuilder모듈을 사용하여 모델을 내보낸다. ( 스냅샷을 저장소에 저장하여 로드할 수 있게 하는 것 )from tensorflow.python.saved_model import builder as saved_model_builder빌더에 필요한 라이브러리를 import 한다.export_path_base = sys.argv..

2017. 9. 5. 14:55

2017년/Python

파이썬 공식문서에 나와있는 예외처리를 보고 잠깐 공부해보자 에러의 종류는 다양하다. 다른언어와 마찬가지로 try-except문으로 예외처리를 할 수있다. 기본로직try : 실행할 로직 except ValueError as : 에러발생시 실핼될 로직 여러개의 에러 동시에 처리괄호로 묶으면 여러가지의 에러를 동시에 처리할 수 있다.except (RuntimeError, TypeError, NameError): 에러이름 정해주기as를 사용하여서 에러의 이름을 따로 지정할 수 있다.except ZeroDivisionError as err: 여러개의 클래스를 동시에 처리오...신기해라 여러클래스의 에러를 동시에 처리할 수도있다!class C1(Exception): pass class C2(C1): pass cla..

2017. 9. 3. 11:38

2017년/machine learning

시간이 남을때는 기초공부하는게 최고인거같다.. 급한게없으니오늘은 그래서 텐서플로우의 기초를 공부해보기로 했다. 그래프와 세션 텐서플로우에서는 예를들어변수 val1,val2에 대해서val1+val2 라는 코드는 val1+val2 val1과 val2를 더하라라는그래프를 정의하는 것이다. val1---->[ + ]>> a=tf.Variable([2],dtype=tf.float32)>>> a 실제로 이렇게 사용할 수 있다session을 이용하여 값을 확인해보려 하니 아래와같은 에러가 발생하였다. tensorflow.python.framework.errors_impl.FailedPreconditionError: Attempting to use uninitialized value Variable 텐서플로우는 변수형..

2017. 9. 2. 15:10