데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/지식

https://winscp.net/download/WinSCP-5.13.1-Setup.exe 아니면 아래 링크에서 putty를 설치한 뒤 설치 된 경로에가서 https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html pscp 계정@아이피:/다운받을 폴더가 있는 경로 /다운받을 경로 scp 쓰듯이 써도된다. 자세한건 pscp/? 라고 하면 도움말이 출력된다. 그럼 이래 깔끔하게 다운로드된다 ㅍ후후후

2018. 12. 11. 10:34

2018년/지식

데이터 읽어오는 방법은 학교에서 외부경로를 막았기때문에 코드만 보고넘겼다.. 대신 그 다음인 beautifulSoup 사용방법에 대해 알아보았다. BeautifulSoup메서드를 이용해서 html의 내용을 넘겨주면 11~13번 line과 같이 html의 각 태그의 데이터에 접근할 수 있다. 12345678910111213html = """ beautifulSoup webpage ABCDEFG""" soup = BeautifulSoup(html, 'html.parser') h1 = soup.html.body.h1p1 = soup.html.body.pp2 = p1.next_sibling.next_siblingcs 접근 방법은 더 있다.. 아래처럼 find라는 메서드로 태그를 직접 명시해서 찾을 12title..

2018. 11. 16. 19:21

2018년/지식

https://docs.docker.com/toolbox/toolbox_install_windows/ 위의 링크에서 Docker Tollbox를 설치하면 아래와 같이 귀여운 고래가 나온다. 도커가 정상적으로 동작하는지 명령어를 이용하여 확인 할 수 있다. $ docker run hello-world 사용을 위해 python과 Anaconda를 설치해보자.아나콘다는 과학 계산과 관련된 다양한 패키지를 제공하는 라이브러리이다. Anaconda의 최소한의 패키지만을 설치한다. $ docker pull continuumio/miniconda3 아래 명령어를 이용하면 Docker 컨테이너를 사용할 수 있다.컨테이너 콘솔로 변경이 되면 명령어를 입력하여 잘 작동하는지 확인한다. 컨테이너를 종료할땐 $ exit 명령..

2018. 11. 16. 15:31

2018년/Error

>> python.exe -m pip install --upgrade pip >> pip install JPype1 >> pip install konlpy

2018. 11. 15. 11:03

2018년/Error

jpype._jvmfinder.JVMNotFoundException: No JVM shared library file (jvm.dll) found. Try setting up the JAVA_HOME environment variable properly. 파이썬과 자바의 버전이 맞지 않아서 발생. 버전을 확인해보자. 파이썬 버전 확인>>> import platform >>> print(platform.architecture()) ('32bit', 'WindowsPE') 자바 버전 확인>>java -version java version "10.0.1" 2018-04-17 Java(TM) SE Runtime Environment 18.3 (build 10.0.1+10) Java HotSpot(TM) 64-B..

2018. 11. 15. 10:05

2018년/spark

https://console.bluemix.net/docs/services/AnalyticsforApacheSpark/spark_app_example.html 아래와 같이 폴더를 생성하고 spark에서 제공하는 example 코드를 복사해온다. $ mkdir spark-example $ mkdir spark-example/project $ mkdir spark-example/src $ mkdir spark-example/src/main $ mkdir spark-example/src/main/scala $ cp /usr/local/cluster/spark/spark-2.3.1-bin-hadoop2.7/examples/src/main/scala/org/apache/spark/examples/SparkKMea..

2018. 10. 8. 16:06

2018년/DataBase

SOCKS 프록시를 이용하여 JConsole과 연결하기 책에서는 java 설치 경로 아래에 /bin/jconsole을 실행하여 memory등을 확인 할 수 있다고 한다. 하지만 나는 서버용으로 os를 설치했기때문에 바로 ssh로 접근하는 방법을 사용하려고 한다. 자바 가상머신은 JVM 내부를 상호적으로 모니터링하는 Java Management Extensions(JME)라는 통합 시스템을 가지고 있다. JMX는 Remote Method Invocation(RMI)를 이용하여 시스템 사이에서 통신한다. 초기 연결포트가 있지만, 추후에는 동적으로 포트를 할당한다. $ ssh -f -D9998 weejw@129.XXX.XXX.XX 'while true; do sleep 1; done' 으로 SOCKS 프록시를..

2018. 9. 16. 22:05

2018년/DataBase

랜덤 파티셔너에 사용할 이상적인 초기 토큰 구하기 카산드라는 일관적 해싱을 이용한다. 일관된 해싱은 분산 캐싱을 위해 나타난 것으로 링 형태의 Hasing을 해서 각 노드 사이에는 일종의 구간이 있어 데이터의 해싱값은 해당 구간에 배치되게 된다. 이러한 해싱을 이용하게 되면 노드가 삭제되거나 추가 되는 경우에 해당 구간을 나누거나 넘기는 식으로만 진행하면 된다는 이점이 있다. 추가적으로 더 말하자면 이때 데이터가 어느 한 노드에만 집중적으로 몰리는 상황을 방지하고자 가상 노드를 추가하여 밸런스를 맞춰준다. 각 노드들은 초기 토큰(링 위에서 위치를 나타내는용도)을 가지게 되고 초기 토큰들은 keyspace를 균등하게 분할한다. 파티셔너는 데이터의 row key를 이용해서 token을 계산하게 되는데, da..

2018. 9. 16. 19:22