데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/DataBase

SOCKS 프록시를 이용하여 JConsole과 연결하기 책에서는 java 설치 경로 아래에 /bin/jconsole을 실행하여 memory등을 확인 할 수 있다고 한다. 하지만 나는 서버용으로 os를 설치했기때문에 바로 ssh로 접근하는 방법을 사용하려고 한다. 자바 가상머신은 JVM 내부를 상호적으로 모니터링하는 Java Management Extensions(JME)라는 통합 시스템을 가지고 있다. JMX는 Remote Method Invocation(RMI)를 이용하여 시스템 사이에서 통신한다. 초기 연결포트가 있지만, 추후에는 동적으로 포트를 할당한다. $ ssh -f -D9998 weejw@129.XXX.XXX.XX 'while true; do sleep 1; done' 으로 SOCKS 프록시를..

2018. 9. 16. 22:05

2018년/DataBase

랜덤 파티셔너에 사용할 이상적인 초기 토큰 구하기 카산드라는 일관적 해싱을 이용한다. 일관된 해싱은 분산 캐싱을 위해 나타난 것으로 링 형태의 Hasing을 해서 각 노드 사이에는 일종의 구간이 있어 데이터의 해싱값은 해당 구간에 배치되게 된다. 이러한 해싱을 이용하게 되면 노드가 삭제되거나 추가 되는 경우에 해당 구간을 나누거나 넘기는 식으로만 진행하면 된다는 이점이 있다. 추가적으로 더 말하자면 이때 데이터가 어느 한 노드에만 집중적으로 몰리는 상황을 방지하고자 가상 노드를 추가하여 밸런스를 맞춰준다. 각 노드들은 초기 토큰(링 위에서 위치를 나타내는용도)을 가지게 되고 초기 토큰들은 keyspace를 균등하게 분할한다. 파티셔너는 데이터의 row key를 이용해서 token을 계산하게 되는데, da..

2018. 9. 16. 19:22

2018년/DataBase

사전 준비아파치 앤트 빌드 툴 : http://ant.apache.org/JUnit Jar : 좋은 경로를 아직 못구했다. jar파일마다 다 깨져있어 엉엉 ㅠ.ㅠ 아래와 같이 폴더를 구성한다. [weejw@com ~]$ tree hpcbuild/ hpcbuild/ ├── lib └── src ├── java └── test 4 directories, 0 files 카산드라의 라이브러리와 다운받은 JUnit 라이브러리를 위에서 생성한 lib폴더안에 복사한다. [weejw@com lib]$ ls HdrHistogram-2.1.9.jar jctools-core-1.2.1.jar ST4-4.0.8.jar jflex-1.6.0.jar airline-0.6.jar jna-4.2.2.jar antlr-runtime-..

2018. 9. 16. 19:01

2018년/DataBase

오늘 할 건 아파치 카산드라이다.카산드라 따라잡기를 보고 따라 해보았다. 책에선 버전이 0.7.2지만 나는 3.11.3을 사용했다. 여담이지만 왜 카산드라라는 이름을 썼는지 궁금해하는 사람이 있다. https://www.quora.com/Where-does-Apache-Cassandras-name-come-from 카산드라는 프리아모스 왕과 헤카베의 딸을 말한다. - 위키 저 링크에 따르면, 카산드라는 너무나 아름다운 여자라 아폴로 신이 그 미모에 반해서 미래를 볼 수 있는 능력을 주었다고 한다. 단 이 능력을 주면 나의 사랑을 받아주어라..라고 조건을 걸고 말이다. 그러나 그녀는 능력만 받고 사랑은 받아주지 않았다. 그래서 아폴로는 그녀의 말을 아무도 믿지 않도록 저주를 내렸다고 한다. 좀 재밌어서 더..

2018. 9. 13. 11:48

2018년/DataBase

2018/08/10 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Put 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Get 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Delete 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - 일괄처리 연산 스캔 스캔은 HBase가 제공하는 순차적이고 정렬된 저장 구조를 활용한다. table class에 보면 아래와 같은 메서드가 있다. 첫번째와 두번째 메서드는 scan 인스턴스를 자동으로 생성해주지만 마지막 메서드는 scan 인스턴스를 파라미터로 넘겨주어야 한다...

2018. 8. 18. 21:06

2018년/DataBase

CRUD(Create,Read,Update,Delete) 기능 2.Get 메서드 출처: http://weejw.tistory.com/246 [위지원의 블로그]아,, 책 내용 너모 많다 ㅠ_ㅠ주말에도 공부해야댄디2018/08/10 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Put 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Get 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Delete 메서드 일괄 처리 연산 자 지금까지 앞에서는 한개의 row 아니면 List에 담아서 해보기 이런걸 해봤다. 여기서는 여러 개의 row에 다양한 연산을 일괄처리를 해보겠다...

2018. 8. 17. 21:46

2018년/DataBase

야호!! 드디어 삭제다! 2018/08/10 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Put 메서드2018/08/17 - [2018년 하반기/HBASE] - 3장 클라이언트 API : 기본기능 - Get 메서드 CRUD(Create,Read,Update,Delete) 기능 출처: http://weejw.tistory.com/category/2018년 하반기/HBASE# [위지원의 블로그]CRUD(Create,Read,Update,Delete) 기능 출처: http://weejw.tistory.com/category/2018년 하반기/HBASE# [위지원의 블로그]CRUD(Create,Read,Update,Delete) 기능 2.Get 메서드 출처: http://wee..

2018. 8. 17. 19:53

2018년/DataBase

O'REILLY HBASE 완벽가이드를 보고 따라한 내용 2018/07/17 - [2018년 상반기/DataBase] - 험난한 HBASE 설치기 로 HBASE 설치를 완료했다. 이제 책을 보고 공부할 수 있게 되었다 ^-^ 출처: http://weejw.tistory.com/category/2018년 하반기/HBASE [위지원의 블로그]O'REILLY HBASE 완벽가이드를 보고 따라한 내용 2018/07/17 - [2018년 상반기/DataBase] - 험난한 HBASE 설치기 로 HBASE 설치를 완료했다. 이제 책을 보고 공부할 수 있게 되었다 ^-^ 출처: http://weejw.tistory.com/category/2018년 하반기/HBASE [위지원의 블로그]O'REILLY HBASE 완벽가..

2018. 8. 17. 16:51