데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/Spark

나는 일단 우분투에서 spark를 사용해볼 것이다... window는 가상머신을 이용하면 될 듯 함.. 일단 sparkR을 쓰기위해 spark를 먼저 설치하기위해.. 가상환경을 설치해서 사용을 시작해보겠다.. 가상환경이란거에 익숙해져보기위한.. 1.자바 설치 ( 자바는 많이들 설치했을거라 생각.. ) http://weejw.tistory.com/63 여기서 설치 방법 다시 $ apt-add-repository ppa:webupd8team/java$ apt-get update$ apt-get install oracle-java8-installer 2.스칼라 설치 * 스칼라 최신 버전을 확인할 수 있는 곳--> https://www.scala-lang.org/download/ $ cd /usr/local/s..

2017. 7. 11. 16:32

2017년/Python

아무리해도 우분투에서 1.2가 안깔린다..개발단계라 그런건지..그래서 1.1버전으로 했다. 우선 잘 정리된 문서를 원한다면... -->>> http://docs.sqlalchemy.org/en/rel_1_1/orm/tutorial.html 추가 알게된 내용을 노란색 박스안에 적어보겠다 (7/20) orm의 컨셉은 identity map 이라서 모든 처리들이 실제 데이터셋과 함께 동작 [1] 버전 체크 [2] 연결하기-echo를 true로 설정하면 쿼리문을 보여준다 (나는 개인적으로 좋았음) 사실 이때 바로 연결되는게 아니라 후에 db에 작업을 수행하라는 메시지가 처음 나올때 발생함 -> 게으른 연결 [3] 매핑 선언-orm을 사용할 때 구성 프로세스는 처리 할 db table을 설명하고 해당 테이블에 매..

2017. 7. 9. 23:02

2017년/Spark

spark는 예전에 간단하게 한번 알아본적이 있다....http://weejw.tistory.com/15 이때는 간단한 개요정도만 알아봤는데.. 오늘은 좀 더 깊이 알아보자. 이전 포스트에서 주요기능이라 했던 map-reduce와 spark streaming 두가지를 더 공부해보자.+2018년 2월 27일 추가 : spakr steaming 공부 Map-Reduce 맵 리듀스란?-대용량 데이터를 처리하기위한 분산 프로그래밍 모델-구글에서 04년 발표한 sw framework -기존처리방식인 데이터를 가져오고->처리->저장의 데이터를 가져오는 비용을 줄이기 위해 고안됨-데이터가 저장된 곳에서 처리를 할 수 있도록 만듬 맵과 리듀스?각 단계는 입려과 출력으로 key,value쌍 타입,함수 모드 프로그래머가 ..

2017. 7. 8. 20:38

2017년/Linux

$ uname -m 설치하기 전 이 명령어로 자신의 os 버전을 확인해야함! 32bit는 $wget https://dl.google.com/linux/direct/google-chrome-stable_current_i386.rpm 64bit는 $wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 종속성 설치를 위해 $sudo yum ./google-chrome-stable_current_*.rpm 업데이트는 $sudo yum update google-chrome-stable 실행은 $google-chrome &

2017. 7. 8. 18:47

2017년/Linux

사실 python2에서 알케미를 쓸때에는 문제가 없었는데python3으로 넘어가려하니 apt-get을해도 pip를 해도...무엇을 해도 되질 않았다ㅏ...그래서 다른 방법을 시도... 가상환경을 구축해서 사용해보자 1.가상머신 설치 $ pip3 install virtualenv #python2의 경우 pip 2.나만의 가상머신 생성 $ virtualenv 가상머신 이름 3.가상 머신 가동$ source 가상머신폴더/bin/activate 3번을 끝내고 나면 앞에 ()안에 가상머신의 이름이 새겨짐! pip install sqlalchemy로 알케미 설치하니까 넘나 잘된다 ㅠㅠ 흑흑 행복하다 출처urlhttp://dgkim5360.tistory.com/entry/python-virtualenv-on-linu..

2017. 7. 7. 13:50

2017년/Database

ORM ( object-relational-mapping ) -oop 언어와 데이터를 다루는 rdbms와의 상이한 시스템을 매핑하여 쉽게 데이터 과련 oop 프로그래밍을 쉽게 하도록 하기 위한 기술 -oop의 class구조와 object-graph 는 rdbms의 table,relation 으로 표현 가능한데 서로 표현방식에 차이가 있기때문에 이를 매핑을 통해 변환을 해주어야 한다. 이때 중간에서 소통을 해주는 친구가 orm! -개발자는 oop에 의한 개발에만 집중하고 rdms적인것은 조금만 고려하면 됨 -dataSet,DataTable,sql문을 중심으로 한 data와 html,js만 있는 단순 app이 oop의 다양한 list,repository등의 다양한 기술ㅇ로 업그레이드 된 app을 완성 ..등..

2017. 7. 7. 01:24

2017년/Python

pickle 모듈을 이용하여 dic 바이너리 파일로 저장 import pickle dic={"test":1,"test2":2} file=open("fileName","wb") pickle.dump(dic,file) file.close() 저장 된 파일 읽어 로드 import pickle file=open("fileName","rb") content=pickle.load(file) content #출력하면 {'test':1,'test2':2} 라고 아주 잘 출력됨 로드된 내용을 파싱 와~ 파싱할 필요도 없다! 바로 dic으로 인식한다!!!! WOW!파이썬 스고이데쓰네! 출처url http://devsw.tistory.com/40

2017. 7. 6. 16:22

2017년/web Development

http://www.cs.tufts.edu/comp/150IDS/final_papers/tstras01.1/FinalReport/FinalReport.htmlhttp://www.yegor256.com/2015/11/16/json-vs-xml.html을 보고 공부한 내용 introduction xml과 json은 오늘날 웹 데이터 교환을 위한 두 가지의 일반적인 형식xml의 목적은 문서 마크업json의 목적은 구조화 된 데이터 교환 xml이 json보다xml은 meta data를 속성의 형태로 태그에 넣을 수 있음읽기 매우쉽고 쳬게적인 방식으로 렌더링xml의 트리구조는 브라우저에서 사용자가 자연적으로 개별 트리요소를 축소할 수 있게 하여 디버깅에 유용구조화 된 마크업을 포함하는 문자열 전달 json이 xm..

2017. 7. 5. 15:23