데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/Data

RDD를 생성하는 다양한 방법들 - 디렉터리 아래에 있는 파일들을 이용하기 (1): sc.textFile() ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 3.1.1 /_/ Using Python version 3.8.1 (v3.8.1:1b293b6006, Dec 18 2019 14:08:53) Spark context Web UI available at http://jiwon.local:4040 Spark context available as 'sc' (master = spark://jiwon.local:7077, app id = app-20210406133738-0000). SparkSess..

2021. 4. 6. 20:53

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 tfidf 계산 계산 결과를 계속 도출하는게 시간이 걸리기때문에 parquet 형태로 또 저장해두고 이후에는 그냥 hdfs에서 가져다 썼다. 어.. 근데 뭔가 그냥 판다스로 계산한 것같아서... 어... 스파크를 파케이때문에 쓴 느낌이라.. 어.... 사실 스팍없어도 됬을거라는 생각이.. 👽 def cal_tf_idf(spark, docs_df: dataframe.DataFrame, stop_word_df: dataframe.DataFrame): docs_info ..

2021. 3. 25. 20:16

2019년

마음을 가다듬기 위해 오랜만에 플랫폼 특징이나 구경하자. 빅데이터 처리/저장 자바 기반 오픈 소스 프레임 워크 현재 hadoop 3까지 나와있음 버전별 특징은 https://118k.tistory.com/542 1.Map-Reduce- Map: key,value의 형태로 데이터를 담아두는 자료구조중의 하나 - Reduce: Map 결과 데이터를 사용하여 필요한 연산을 수행하여 데이터를 합치는 방법 key를 기준으로 value를 sum,average등의 결과를 얻을 수 있음- 맵리듀스 프로그램의 하나의 작업 단위를 job이라고 함. 2.HDFS(Hadoop File System)- 데이터를 다수의 노드에 복제하여 저장해서 : 데이터 유실 방지 - 한번 저장한 데이터는 수정할 수 없고 읽기만 가능하여 : 데..

2019. 3. 6. 17:49

2019년

tensor를 하다가 spark이랑 같이 돌려볼수 있나? 라고 생각해서 검색해봤더니 역시나 있다 해보자. 야후에서 배포하는 TensoFlowOnSpark를 먼저해보자 https://github.com/yahoo/TensorFlowOnSpark YARN 버전은 https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN 나는 standalone으로 구동하겠다. https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_Standalone 가이드라인이 잘 되어 있어서 그대로 따라하면 문제가 없을 것 같다. 설치는 그냥 $ pip install tensorflowonspark Installing collecte..

2019. 2. 22. 15:50

2018년/spark

GraphX는 스파크의 서브 모듈로 대용량 데이터의 분산 및 병렬 그래프 처리를 지원합니다. 그래프 데이터는 Vertex와 Edge로 이루어져있습니다. 시작하기 전에 spark를 실행시키고 해봅시다. 필요한 친구들을 import 해주면 세팅은 끝..아래에 나오는 모든 예제는>>GraphX 공식 사이트 GraphX 공식 사이트에 보면 기본 알고리즘을 제공합니다. 우리는 이를 이용하여 데이터 전처리부터 분석단계까지 스파크 기능을 사용할 수 있습니다. 그래프는 다음과 같이 4가지의 형태를 가지고 있습니다. 속성그래프 : 각 vertex와 edge가 연관된 속성을 가지고 있는 방향 멀티 그래프 속성 그래프에 대한 예제를 실행해보겠습니다. VertexID를 각 Vertex를 식별할 key로 가집니다.*scala에..

2018. 4. 2. 19:36