데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/DataBase

사전 준비아파치 앤트 빌드 툴 : http://ant.apache.org/JUnit Jar : 좋은 경로를 아직 못구했다. jar파일마다 다 깨져있어 엉엉 ㅠ.ㅠ 아래와 같이 폴더를 구성한다. [weejw@com ~]$ tree hpcbuild/ hpcbuild/ ├── lib └── src ├── java └── test 4 directories, 0 files 카산드라의 라이브러리와 다운받은 JUnit 라이브러리를 위에서 생성한 lib폴더안에 복사한다. [weejw@com lib]$ ls HdrHistogram-2.1.9.jar jctools-core-1.2.1.jar ST4-4.0.8.jar jflex-1.6.0.jar airline-0.6.jar jna-4.2.2.jar antlr-runtime-..

2018. 9. 16. 19:01

2018년/DataBase

오늘 할 건 아파치 카산드라이다.카산드라 따라잡기를 보고 따라 해보았다. 책에선 버전이 0.7.2지만 나는 3.11.3을 사용했다. 여담이지만 왜 카산드라라는 이름을 썼는지 궁금해하는 사람이 있다. https://www.quora.com/Where-does-Apache-Cassandras-name-come-from 카산드라는 프리아모스 왕과 헤카베의 딸을 말한다. - 위키 저 링크에 따르면, 카산드라는 너무나 아름다운 여자라 아폴로 신이 그 미모에 반해서 미래를 볼 수 있는 능력을 주었다고 한다. 단 이 능력을 주면 나의 사랑을 받아주어라..라고 조건을 걸고 말이다. 그러나 그녀는 능력만 받고 사랑은 받아주지 않았다. 그래서 아폴로는 그녀의 말을 아무도 믿지 않도록 저주를 내렸다고 한다. 좀 재밌어서 더..

2018. 9. 13. 11:48

2018년/DataBase

2018/08/10 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Put 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Get 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Delete 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - 일괄처리 연산 스캔 스캔은 HBase가 제공하는 순차적이고 정렬된 저장 구조를 활용한다. table class에 보면 아래와 같은 메서드가 있다. 첫번째와 두번째 메서드는 scan 인스턴스를 자동으로 생성해주지만 마지막 메서드는 scan 인스턴스를 파라미터로 넘겨주어야 한다...

2018. 8. 18. 21:06

2018년/DataBase

CRUD(Create,Read,Update,Delete) 기능 2.Get 메서드 출처: http://weejw.tistory.com/246 [위지원의 블로그]아,, 책 내용 너모 많다 ㅠ_ㅠ주말에도 공부해야댄디2018/08/10 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Put 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Get 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Delete 메서드 일괄 처리 연산 자 지금까지 앞에서는 한개의 row 아니면 List에 담아서 해보기 이런걸 해봤다. 여기서는 여러 개의 row에 다양한 연산을 일괄처리를 해보겠다...

2018. 8. 17. 21:46

2018년/DataBase

야호!! 드디어 삭제다! 2018/08/10 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Put 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Get 메서드 CRUD(Create,Read,Update,Delete) 기능 출처: http://weejw.tistory.com/category/2018년 하반기/HBASE# [위지원의 블로그]CRUD(Create,Read,Update,Delete) 기능 출처: http://weejw.tistory.com/category/2018년 하반기/HBASE# [위지원의 블로그]CRUD(Create,Read,Update,Delete) 기능 2.Get 메서드 출처: http://wee..

2018. 8. 17. 19:53

2018년/DataBase

O'REILLY HBASE 완벽가이드를 보고 따라한 내용 2018/07/17 - [2018년 상반기/DataBase] - 험난한 HBASE 설치기 로 HBASE 설치를 완료했다. 이제 책을 보고 공부할 수 있게 되었다 ^-^ 출처: http://weejw.tistory.com/category/2018년 하반기/HBASE [위지원의 블로그]O'REILLY HBASE 완벽가이드를 보고 따라한 내용 2018/07/17 - [2018년 상반기/DataBase] - 험난한 HBASE 설치기 로 HBASE 설치를 완료했다. 이제 책을 보고 공부할 수 있게 되었다 ^-^ 출처: http://weejw.tistory.com/category/2018년 하반기/HBASE [위지원의 블로그]O'REILLY HBASE 완벽가..

2018. 8. 17. 16:51

2018년/Error

http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe 위에 파일 다운받고 원하는 위치에 위치해놓은다음 sparkConf설정하기전에 맨 위에 다음과 같은 코드 추가 *C:\\Hadoop/bin/[위에 다운받은파일] 이렇게 위치해 있음 System.setProperty("hadoop.home.dir", "C:\\Hadoop")

2018. 8. 16. 15:26

2018년/DataBase

O'REILLY HBASE 완벽가이드를 보고 따라한 내용 2018/07/17 - [2018년 상반기/DataBase] - 험난한 HBASE 설치기 로 HBASE 설치를 완료했다. 이제 책을 보고 공부할 수 있게 되었다 ^-^ 들어가기 전에,,, 1) row 단위의 작업은 원자성이 보장된다. 즉, 읽을때는 항상 일관성이 보장되어 최신 데이터를 읽을 수 있고 쓰기 시도를 할때는 기다려야 한다. -8장에서 다룰 내용이다. 2) HTable 인스턴스를 생성하는 일에는 비용이 든다. 메타 테이블을 스캔해서 HTable이 지정하는 테이블이 존재하고 활성화되어있는지 확인하고 그 외에 작업을 좀 더 수행하기때문이다. 그러니 당연히 인스턴스는 한번만 그리고 스레드당 하나씩만 만들어서 재사용을 하는게 좋다. 3) 그래도 ..

2018. 8. 10. 11:07