데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/spark

https://console.bluemix.net/docs/services/AnalyticsforApacheSpark/spark_app_example.html 아래와 같이 폴더를 생성하고 spark에서 제공하는 example 코드를 복사해온다. $ mkdir spark-example $ mkdir spark-example/project $ mkdir spark-example/src $ mkdir spark-example/src/main $ mkdir spark-example/src/main/scala $ cp /usr/local/cluster/spark/spark-2.3.1-bin-hadoop2.7/examples/src/main/scala/org/apache/spark/examples/SparkKMea..

2018. 10. 8. 16:06

2018년/spark

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ㅜ_ㅜ 이놈의 에러는 뭐 아주그냥 나의 베스트 프렌드~^.~ http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html 이거보면 native build 필요 [root@cl3 hadoop-2.7.6]# hadoop checknative 18/07/24 11:25:17 WARN util.NativeCodeLoader: Unable to load native-hadoop l..

2018. 7. 24. 12:49

2018년/spark

공식홈페이지에 나와있는 것처럼 아래와 같이 scala코드 한개와 sbt를 위한 build.sbt 파일 두개를 생성한다.sbt는 여기서 다운받을 수 있다. 환경변수만 잡아주면 그냥 사용할 수 있다. /* SimpleApp.scala */ import org.apache.spark.sql.SparkSession object SimpleApp { def main(args: Array[String]) { val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system val spark = SparkSession.builder.appName("Simple Application").getOrCreate() val logData = spa..

2018. 7. 18. 15:49

2018년/spark

연산을 위해 그래프를 하나 생성합니다. 1. numEdges, numVertices 그래프의 Edge와 Vertex의 개수 2. inDegrees, outDegrees, degrees Vertex를 기준으로 들어는 Edge의 개수 나가는 Edge의 개수, 들어오거나 나가는 Edge의 개수 (vertexID, 개수) 3. vertices, edges, triplets 그래프에 포함 된 요소들의 정보를 출력 * return 값은 각각 VertexRDD, EdgeRDD, RDD[EdgeTriplet] 4. mapVertices(), mapEdges(), mapTriplets();mapTriplets의 결과는 파티션단위로 처리도 가능하다.연산의 수행결과는 새로운 그래프가 된다.2017/07/08 - [2017년..

2018. 4. 3. 14:50

2018년/spark

GraphX는 스파크의 서브 모듈로 대용량 데이터의 분산 및 병렬 그래프 처리를 지원합니다. 그래프 데이터는 Vertex와 Edge로 이루어져있습니다. 시작하기 전에 spark를 실행시키고 해봅시다. 필요한 친구들을 import 해주면 세팅은 끝..아래에 나오는 모든 예제는>>GraphX 공식 사이트 GraphX 공식 사이트에 보면 기본 알고리즘을 제공합니다. 우리는 이를 이용하여 데이터 전처리부터 분석단계까지 스파크 기능을 사용할 수 있습니다. 그래프는 다음과 같이 4가지의 형태를 가지고 있습니다. 속성그래프 : 각 vertex와 edge가 연관된 속성을 가지고 있는 방향 멀티 그래프 속성 그래프에 대한 예제를 실행해보겠습니다. VertexID를 각 Vertex를 식별할 key로 가집니다.*scala에..

2018. 4. 2. 19:36

2018년/spark

아 info 너무 많다. 없에자 "{스파크 설치경로}/conf/log4j.properties" 파일을 수정하자. *INFO 를 WARN으로 해도좋군!

2018. 2. 28. 16:04

2018년/spark

http://weejw.tistory.com/35 무려 작년 7월초 spark streaming을 공부해보자 라는 게시글에 .... 드디어 스트리밍 공부를 한다! ٩(ˊᗜˋ*)و Spark Streaming 스트리밍 데이터는 날씨나 log 데이터 처럼 계속해서 생성되어 쌓이는 데이터를 말한다. SparkStreaming은 이 데이터를 배치 주기를 짧게 나누어서 실시간인 것처럼 처리 하는것이다. 출처 : spark 공식 사이트 연속 된 데이터 스트림을 Discretized Stream 또는 DStream이라고 하며 일련의 RDD로 표현된다. DStram은 입력 데이터로부터 생성하거나 다른 DStream으로부터 연산결과로 생성할 수 있다. DStream 1) 연속된 데이터를 나타내기 위한 추상모델 2) 데이..

2018. 2. 27. 17:22

2018년/spark

http://weejw.tistory.com/46 에서 이론적으로 공부를 했다. 이때당시 스파크를 아예 처음봐서 지금 보니 너무 대충해놨었다. 다시한번 보자 1. RDD(Resilient Distributed Datasets) * Resilient : 탄력있는 1) 다수의 서버에 분산되어 저장되어있는 데이터 집합 요소2) 장애 발생시 스스로 복구 가능한 내성(tolerance) 보유3) RDD는 "Partition" 이라는 더 작은 단위로 나뉘며 작업 수행시 파티션 단위로 나누어서 병렬 처리 수행4) RAM에 기록된 RDD생성 내역을 Read-Only 2. 리니지(Lineage) : RDD를 생성하기 위해 수행한 연산 과정을 기록하여 복구시 사용 3. Transformation과 Action 3-1. T..

2018. 2. 27. 16:43