데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/Spark

RDD란? -기본적인 데이터 구조-객체의 불변 분산 컬렉션-각 데이터 세트는 클러스터의 다른 노드에 계산 될 수 있는 파티션으로 나뉨-자용자 정의클래스,python,java,scala객체를 포함할 수 있음-공식적으론 rdd는 읽기전용의 분할 된 레코드 모음 RDD의 생성-드라이버 프로그램에서 기존 컬렉션을 병렬처리 -외부 스토리지 시스템에서 데이터 세트를 참조 RDD의 계산-Tranceformation : 데이터의 흐름생성-action : 데이터를 처리하여 결과 생성 스파크는 빠르고 효율적인 맵-리듀스 작업을 위해 rdd개념을 사용하는 것! 맵리듀스의 내용은 예전에 한번 다룬 적 있다 http://weejw.tistory.com/35 이 문서에서 맵리듀스에 대해 한번 더 언급하고 있으니 한번 더 알아보자..

2017. 7. 12. 22:59

2017년/Spark

나는 일단 우분투에서 spark를 사용해볼 것이다... window는 가상머신을 이용하면 될 듯 함.. 일단 sparkR을 쓰기위해 spark를 먼저 설치하기위해.. 가상환경을 설치해서 사용을 시작해보겠다.. 가상환경이란거에 익숙해져보기위한.. 1.자바 설치 ( 자바는 많이들 설치했을거라 생각.. ) http://weejw.tistory.com/63 여기서 설치 방법 다시 $ apt-add-repository ppa:webupd8team/java$ apt-get update$ apt-get install oracle-java8-installer 2.스칼라 설치 * 스칼라 최신 버전을 확인할 수 있는 곳--> https://www.scala-lang.org/download/ $ cd /usr/local/s..

2017. 7. 11. 16:32

2017년/Spark

spark는 예전에 간단하게 한번 알아본적이 있다....http://weejw.tistory.com/15 이때는 간단한 개요정도만 알아봤는데.. 오늘은 좀 더 깊이 알아보자. 이전 포스트에서 주요기능이라 했던 map-reduce와 spark streaming 두가지를 더 공부해보자.+2018년 2월 27일 추가 : spakr steaming 공부 Map-Reduce 맵 리듀스란?-대용량 데이터를 처리하기위한 분산 프로그래밍 모델-구글에서 04년 발표한 sw framework -기존처리방식인 데이터를 가져오고->처리->저장의 데이터를 가져오는 비용을 줄이기 위해 고안됨-데이터가 저장된 곳에서 처리를 할 수 있도록 만듬 맵과 리듀스?각 단계는 입려과 출력으로 key,value쌍 타입,함수 모드 프로그래머가 ..

2017. 7. 8. 20:38

2017년/Spark

-범용적 목적의 분산 고성능 클러스터링 플랫폼 (General purpose high performance distributed platform)분산된 여러대의 노드에서 연산을 할 수 있게 해주는 범용 분산 클러스터링 플랫폼으로맵리듀스,스트리밍 처리모듈을 추가하여 기능을 수행하게 하는 기능제공 -메모리 하둡이라 불리는데, 기존의 하둡작업은 디스크기반이라 성능이 느려졌는데 이를 메모리기반으로 옮겨 고속화 하고자 하는데서스파크는 출발 -주요기능 -맵리듀스-스트리밍 데이타 핸들링-sql 기반의 데이타 쿼리-머신 런닝 라이브러리 -장점-하나의 플랫폼에서 여러가지가 가능하고 속도가 빠름-배치,스트리밍,머신런닝등 다양한 처리를 제공하므로 하나의 데이터로 여러가지 형태의 데이터 처리-스파크는 스칼라로 구현되었지만 다..

2017. 6. 25. 17:57