데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/지식

https://winscp.net/download/WinSCP-5.13.1-Setup.exe 아니면 아래 링크에서 putty를 설치한 뒤 설치 된 경로에가서 https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html pscp 계정@아이피:/다운받을 폴더가 있는 경로 /다운받을 경로 scp 쓰듯이 써도된다. 자세한건 pscp/? 라고 하면 도움말이 출력된다. 그럼 이래 깔끔하게 다운로드된다 ㅍ후후후

2018. 12. 11. 10:34

2018년/지식

데이터 읽어오는 방법은 학교에서 외부경로를 막았기때문에 코드만 보고넘겼다.. 대신 그 다음인 beautifulSoup 사용방법에 대해 알아보았다. BeautifulSoup메서드를 이용해서 html의 내용을 넘겨주면 11~13번 line과 같이 html의 각 태그의 데이터에 접근할 수 있다. 12345678910111213html = """ beautifulSoup webpage ABCDEFG""" soup = BeautifulSoup(html, 'html.parser') h1 = soup.html.body.h1p1 = soup.html.body.pp2 = p1.next_sibling.next_siblingcs 접근 방법은 더 있다.. 아래처럼 find라는 메서드로 태그를 직접 명시해서 찾을 12title..

2018. 11. 16. 19:21

2018년/지식

https://docs.docker.com/toolbox/toolbox_install_windows/ 위의 링크에서 Docker Tollbox를 설치하면 아래와 같이 귀여운 고래가 나온다. 도커가 정상적으로 동작하는지 명령어를 이용하여 확인 할 수 있다. $ docker run hello-world 사용을 위해 python과 Anaconda를 설치해보자.아나콘다는 과학 계산과 관련된 다양한 패키지를 제공하는 라이브러리이다. Anaconda의 최소한의 패키지만을 설치한다. $ docker pull continuumio/miniconda3 아래 명령어를 이용하면 Docker 컨테이너를 사용할 수 있다.컨테이너 콘솔로 변경이 되면 명령어를 입력하여 잘 작동하는지 확인한다. 컨테이너를 종료할땐 $ exit 명령..

2018. 11. 16. 15:31

2018년/지식

ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint java.io.IOException: Inconsistent checkpoint fields. hdfs-site.xml에 다음과 같이 추가 dfs.namenode.checkpoint.dir file:/usr/local/hadoop/hadoop-2.7.6/data/namesecondary https://www.jianshu.com/p/88ffb54fb43a Have smaller server identifier, so dropping the connection. 주키퍼 에러를 보기 위해선 아래 처럼 zkServer.sh start로 주키퍼를 시작한..

2018. 7. 30. 10:11

2018년/지식

2018-07-26 17:11:37 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcVI$sp at Quantization$.(Etri.scala:22) at Quantization$.(Etri.scala) at Quantization.main(Etri.scala) at sun.reflect.NativeMe..

2018. 7. 26. 17:30

2018년/지식

repo 설정 1. 원본 설치용 DVD.iso 다운로드 https://access.redhat.com/ 2. iso파일 mount할 폴더와 rpm을 복사할 폴더 생성 3. 다운 받은 iso를 위에 생성한 폴더에 mount$ mount -o loop [iso파일] [2에서 생성한 폴더경로] 4. 마운트한 폴더에 들어가면 Packages라는 폴더가 있다. 이안에 있는 rpm들을 내 로컬로 복사. $ cp -R Packages/ [로컬경로] 5. createrepo 설치 (yum이 안된다는 가정하에)5-1.Centos 7 기준으로 createrepo rpm다운 https://centos.pkgs.org/7/centos-x86_64/createrepo-0.9.9-28.el7.noarch.rpm.html 5-2...

2018. 7. 26. 15:07

2018년/지식

*https://rpmfind.net/ 또는 https://pkgs.org/ 또는 http://rpm.pbone.net/ 여기서 rpm 검색하면 편리하게 찾을 수 있는 것 같다.나는 pkgs가 좋은것 같다..~* 필요한 rpm을 검색하면 아래 그림과 같이 버전별로 나타난다. 올마나 이쁜가...~* 필요한 버전의 파일명을 누르면 화면이 하나 뜨는데 조금 내리다 보면 아래와 같이 Download가 있다. 필요한 파일에 오른쪽 클릭해서 주소복사한 뒤 wget해보자~ 나는 yum을 쓸 수 없으니까~^^.

2018. 7. 26. 13:53

2018년/지식

mtu 1500 qdisc pfifo_fast state UP qlen 1000 라고 뜨면서 할당된 ip가 없을때ifup [해당 랜]하면 자동할당해준다.

2018. 7. 26. 13:50