데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/spark

http://weejw.tistory.com/46 에서 이론적으로 공부를 했다. 이때당시 스파크를 아예 처음봐서 지금 보니 너무 대충해놨었다. 다시한번 보자 1. RDD(Resilient Distributed Datasets) * Resilient : 탄력있는 1) 다수의 서버에 분산되어 저장되어있는 데이터 집합 요소2) 장애 발생시 스스로 복구 가능한 내성(tolerance) 보유3) RDD는 "Partition" 이라는 더 작은 단위로 나뉘며 작업 수행시 파티션 단위로 나누어서 병렬 처리 수행4) RAM에 기록된 RDD생성 내역을 Read-Only 2. 리니지(Lineage) : RDD를 생성하기 위해 수행한 연산 과정을 기록하여 복구시 사용 3. Transformation과 Action 3-1. T..

2018. 2. 27. 16:43

2018년/DataBase

http://www.itworld.co.kr/news/108319?page=0,0 정보처리기사 실기에서 신기술동향이런거 물어본다길래 찾아보다가;;;이런글이 있었다. 여기에 나온 단어에대해서 살짝 훑어보면 어떨까해서 가볍게 검색해보았다. 1. NoSQL(Not Only Sql) MySql처럼 우리에게 익숙한 RDBMS가 아닌 다른 형태의 제품을 뜻한다.블로그에서는 nosql 기반 hbase를 한번 공부했었다. 이론뿐이 못했지만 http://weejw.tistory.com/58 1-1.특징으로는 1) schema가 존재하지 않고 2) join과 트랜잭션을 지원하지 않음( 분산 처리 시스템에서 효율적 제공이 어려움 )3) 대부분의 NoSQL 데이터베이스는 분산처리 기능이 목적이며 오픈소스4) 저장/검색에 특화..

2018. 2. 27. 15:01

2018년/C, Java, FileSystem

JDK 라이브러리에 lang 패키지 안에는 Object 라는 클래스를 가지고 있습니다. 이 클래스는 다른 클래스의 Super Class로 존재합니다. JAVA API 페이지 ( https://docs.oracle.com/javase/8/docs/api/overview-tree.html ) 를 가면 Object Class를 제외한 모든 Class가 Object Class를 상속 받고 있는 것을 확인할 수 있습니다. 그래서 GoodsInfo,Account처럼 우리가 작성한 클래스든 String,InputStream과 같은 JDK lib Class든 Object를 상속받고있으며 그 하위 클래스도 결국은 Object를 최상단의 Super Class로 가지게 됩니다. Object API 사이트내에 작성된 내용을 ..

2018. 2. 26. 18:29

2018년/C, Java, FileSystem

자바에서는 클래스 다중 상속을 금지합니다. 왜인지 알아보겠습니다. 아래 그림과 같은 상황에서 다중상속을 허용하게 되면 CreditLineAccount가 상속받아서 오버라이드한 메서드를 사용할지Account메서드가 가지고 있는 메서드를 사용할지 알 수 없습니다. 그렇기때문에 다중상속을 비허용하는 것입니다. 그러면 여러개의 클래스를 상속하고 싶을 때에는 어떻게 해야 할까요? 예를 들어 아래와 같은 상황이 있습니다. 단행본과 부록CD는 공통점이 많습니다. 대출일,대출인,대출상태... 이 둘을 묶어서 슈퍼 클래스를 만들고싶지만 부록CD 클래스는 이미 CD클래스를 상속받고 있기때문에 불가능 합니다. 이럴때 사용할 수 있는게 인터페이스 입니다. 인터페이스는 제약 조건이 존재합니다. 공통 기능만 표현이 가능하다는 것..

2018. 2. 19. 19:54

2018년/Error

그냥 컴파일을 해버리면 아래와 옍뛟쀏거린다..인코딩 후.. 하지만 이렇게 -encoding UTF-8을 지정해주면 아무 문제없이 잘 된다.

2018. 2. 19. 14:52

2018년/C, Java, FileSystem

뇌를 자극하는 JAVA 프로그래밍을 공부한 내용 아래 사진과 같이 기존 객체와 아주 유사한 객체를 만들어야하는 경우가 생길 때 상속이 필요하다." 그냥 코드 복붙해서 좀만 더 추가하면 안되느냐? " 라고 생각할텐데 예전에는 그랬었다.근데 그렇게되면 중복되는 코드가많아서 관리도 힘들고 ( 예를들어 하나만 변경되도 찾아가서 또 변경하고..또..*a아무튼 그래서 상속이란 개념이 생겼다. 객체지향 프로그래밍에서는 기존의 필요한 클래스를 가져오고 거기다가 필요한것만 추가하게 하여 새로운 클래스를 작성하게 한다. 예를 들어서 계좌라는 클래스가 아래와 같다고 치자. 12345678910111213141516public class Account { String accountNo; String ownerName; int..

2018. 2. 19. 10:03

2018년/English Speaking

" Mira*2, they're setting up for tonight. The music competition for Diade Muertos. You wanna be like your hero? You should sign up! " " ㄴㄴ My family would freak! " " Look, if you're too scared, then, well, have fun making shoes. Come on, what did de la Cruz always say? " " Size your moment? " " Show me whay you got, muchacho. I'll be your first audience " " 미구엘! " " aㅏㄱ! , 아불릿따- !! ;;; " " What ..

2018. 2. 12. 12:00

2018년/C, Java, FileSystem

숫자만 입력받으려고 하다가 여기까지 온건데.. 숫자가 아닐경우 버퍼를 지우고서 다시 입력을 받도록 하려고 한다. 버퍼를 지우지 않고 냅다 검사만해버리면 아래와 같이 무한루프의 늪으로 빠지게 된다. fflush()?는 꼼수(?) 라고한다. 그냥 비표준이라 리눅스에 안돌아가 window VS에서만 돌아간다나..그래서 그냥 안쓰는게 좋다고 한다.그러면 어떻게 해야할까? 출처 https://m.blog.naver.com/CommentList.nhn?blogId=smilennv&logNo=220781410325 버퍼에 있는것을 int c변수에 받고 버퍼에 개행이있거나 EOF(끝)인지 확인하여서 버퍼를 계속해서 비우는것 아니면그냥 getchar만 써도 된다. 마지막 입력한 개행 하나만을 받아 버퍼를 비우니깐이라고 ..

2018. 2. 9. 13:48