데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/Spark

RDD란? -기본적인 데이터 구조-객체의 불변 분산 컬렉션-각 데이터 세트는 클러스터의 다른 노드에 계산 될 수 있는 파티션으로 나뉨-자용자 정의클래스,python,java,scala객체를 포함할 수 있음-공식적으론 rdd는 읽기전용의 분할 된 레코드 모음 RDD의 생성-드라이버 프로그램에서 기존 컬렉션을 병렬처리 -외부 스토리지 시스템에서 데이터 세트를 참조 RDD의 계산-Tranceformation : 데이터의 흐름생성-action : 데이터를 처리하여 결과 생성 스파크는 빠르고 효율적인 맵-리듀스 작업을 위해 rdd개념을 사용하는 것! 맵리듀스의 내용은 예전에 한번 다룬 적 있다 http://weejw.tistory.com/35 이 문서에서 맵리듀스에 대해 한번 더 언급하고 있으니 한번 더 알아보자..

2017. 7. 12. 22:59

2017년/Database

데이터 분석을 하다보면 R을 많이 접하게된다. R이란 무엇일까? R이란-통계/데이터마이닝/그래프를 위한 오픈소스 통계 프로그램-빅데이터에서 분석에서 인기가 좋음-무료프로그램에 프로그래밍 언어만 배운다면 실무에서 사용가능-낮은 용량광 빅데이터의 빠른 처리속도 통계 프로그램에는 -SAS-SPSS-R이렇게 3가지를 둘 수 있는데 각각의 특징을 보자면 (R은 위에서 봤으니 제외) SAS -연구분야에서 매우 많이쓰이며 깊숙한 통계분석 가능-기본적 용량이 매우무겁고 라이센스가 비싸며 컴퓨터 성능이 많이 요구된다(속도가 저하됨)SPSS-리서치회사에서 대부분쓰이고 기본적 통계,빈도분석에 사용-느린 처리속도와 라이센스비용 이러한 문제로 R이 인기가 있는것.. 출처 URLhttp://aitwill.tistory.com/4..

2017. 7. 12. 16:18

2017년/Error

hostname과 /etc/hosts 내부에 있는 호스트네임의 불일치로 발생함 (아래 사진 참고) /etc/hosts 내부에있는 호스트명과 hostname과 일치 시켜줌

2017. 7. 12. 15:17

2017년/Error

The [application] field is specified in file [.../app.yaml]. This field is not used by gcloud and must be removed. Project name should instead be specified either by gcloud config set project MY_PROJECT or by setting the --project flag on individual command executions. 위와 같은 에러가 발생할 시 'app.yaml' 파일의 application과 version 옵션을 제거한 후 다시 배포

2017. 7. 12. 12:37

2017년/Error

Traceback (most recent call last): File "/google/google-cloud-sdk/platform/google_appengine/dev_appserver.py", line 103, in _run_file(__file__, globals()) File "/google/google-cloud-sdk/platform/google_appengine/dev_appserver.py", line 97, in _run_file execfile(_PATHS.script_file(script_name), globals_) File "/google/google-cloud-sdk/platform/google_appengine/google/appengine/tools/devappserver2..

2017. 7. 11. 20:07

2017년/Error

1. $ dev_appserver.py ex/ ex는 모듈이 담긴 폴더명(app.yaml이라던지..) 을 입력해주면 된다현재 폴더면 dev_appserver.py $PWD 라고..하면.. 2. app.yaml에서 runtime을 python27로 바꾸어 준다 3. app.yaml에서 handlers 아래에 script부분을 main.py같은걸로 되어있다면 main.app으로 변경한다.

2017. 7. 11. 20:01

2017년/Python

sys.path.insert(0,'/home/thinkingmachine16/ajaxExample/controllers')sys.path.insert(0,'/home/thinkingmachine16/ajaxExample/controllers')sys.path.insert(0,'/home/thinkingmachine16/ajaxExample/controllers')import sys import sys sys.path.insert(0, 'py파일이 있는 경로') import import_file 요렇게 해주면 된다.python의 디폴트 설정에는 같은 디렉토리나 sys.path의 파일만 임포트 할 수 있기때문이라고.. python3에서는 1.같은 폴더,하위폴더 내에서는-from 폴더 import py파일-f..

2017. 7. 11. 19:50

2017년/Google Platform

http://weejw.tistory.com/43우선.. 앱엔진에서 사용할 코드는 ajax 통신을 이용해보기 위해서 https://github.com/jimmykane/gae-voting-ajax-example 을 이용했다 1. https://console.cloud.google.com/appengine/start?src=ac&project=ml-project-161014 먼저 이곳에 접속을 해준다. 그럼 아래와 같이 화면이 나타난다. 언어를 python으로 선택해주고.. 위치를 아시아로 선택하고서 나면 이렇게 친절한 가이드가 있다.. 내가 포스팅할껀 따로 없을 듯 하다 2.깃헙에서 받은 파일을 클라우드에 업로드 후 위의 단계와 같이 수행한다. 이 과정에서 여러가지 에러가 발생했었는데 내가 해결했던 방법..

2017. 7. 11. 18:13