2019년
Hadoop과 Spark Storm 정리하기
마음을 가다듬기 위해 오랜만에 플랫폼 특징이나 구경하자. 빅데이터 처리/저장 자바 기반 오픈 소스 프레임 워크 현재 hadoop 3까지 나와있음 버전별 특징은 https://118k.tistory.com/542 1.Map-Reduce- Map: key,value의 형태로 데이터를 담아두는 자료구조중의 하나 - Reduce: Map 결과 데이터를 사용하여 필요한 연산을 수행하여 데이터를 합치는 방법 key를 기준으로 value를 sum,average등의 결과를 얻을 수 있음- 맵리듀스 프로그램의 하나의 작업 단위를 job이라고 함. 2.HDFS(Hadoop File System)- 데이터를 다수의 노드에 복제하여 저장해서 : 데이터 유실 방지 - 한번 저장한 데이터는 수정할 수 없고 읽기만 가능하여 : 데..
2019. 3. 6. 17:49
