데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2023년

정말 오랜만에 글을 쓰는 것 같다. 마지막 글이 3월이라니?! 프로젝트 투입 후 너무 바빴고,,(지금도 바쁨이 거의 맥스치다 ㅠㅠ) 잠깐 내가 지금 진행하는 프로젝트를 간략하게 얘기하자면(나중에 또 끝나고..를 쓸테지만) sybase to edb 이행을 하고있다. 정말 죽겠다. 나는 작년에 impala와 oracle을 번갈아가며 사용해야하는 상황에 놓여있었는데 이번엔 sybase와 postsql을 번갈아가며 사용하고있다. sybase는 정말 최악의 db다. 마치 python(oracle) c언어(sybase)라 할까나...? 다시 만나고싶지 않은 친구다 -_-...플젝 이야기는 나중에 더 자세하게 하고... 맞아..그리고..건강상 현생에 좀 집중했다.(다이어트로 20키로가량 감량하고 지금은 5키로 복구...

2023. 12. 10. 16:40

2023년

이번에는 vmware를 이용해서 centos7, superset을 설치할 것이다. 준비물 버전은 원하는대로 설치하면 된다. 😏 vmware workstation, centoOS7 iso, oracle client RPM(basic, sqlplus 2개) (각자 공식 홈피에서 받을 수 있다). vmware:https://www.vmware.com/kr/products/workstation-player/workstation-player-evaluation.html centOS7:http://mirror.navercorp.com/centos/7.9.2009/isos/x86_64/ 설치 1.공식 Document에 있는대로 필요한 파일 설치하기 sudo yum install gcc gcc-c++ libffi-de..

2023. 3. 2. 18:37

2023년

Python OCR 광학 문자 인식(OCR) 텍스트 이미지를 기계가 읽을 수 있는 텍스트 포맷으로 변환하는 과정입니다. 예를 들어 양식 또는 영수증을 스캔하는 경우 컴퓨터는 스캔본을 이미지 파일로 저장합니다. 이미지 파일에서는 텍스트 편집기를 사용하여 단어를 편집, 검색하거나 단어 수를 계산할 수 없습니다. 그러나 OCR을 사용하면 이미지를 텍스트 문서로 변환하여 내용을 텍스트 데이터로 저장할 수 있습니다. 출처: AWS 테서랙트(Tesseract) 다양한 운영 체제를 위한 광학 문자 인식 엔진이다.이 소프트웨어는 Apache License, 버전 2.0에 따라 배포되는 무료 소프트웨어이며 2006년부터 Google에서 개발을 후원했다. 2006년 테서랙트는 당시 가장 정확한 오픈 소스 OCR 엔진 중 ..

2023. 3. 2. 18:23

2023년

1. 에러 Installing From Scratch | Superset Installing Superset from Scratch superset.apache.org 상단 게시글을 보고 따라 설치하던 중 superset db upgrade에서 다음과 같은 에러 발생 modulenotfounderror: no module named 'cryptography.hazmat.backends.openssl.x509' 아래 답변을 보면 다운그레이드를 시도하라고 함. 기존의 cryptography 버전을 삭제 후 다운그레이드한 버전으로 설치하면 오류 해결 ModuleNotFoundError: No module named 'cryptography.hazmat.backends.openssl.x509' in ubuntu..

2023. 2. 7. 15:48

2023년

후.. 발표가 있다 😥 오늘은 아래 3가지를 알아보려 한다. Data Mart Data Warehouse Data Lake 위 3종 세트는 저장되는 데이터의 특성/활용에 따라 다르게 사용된다. 쉽게 살펴보자면! Data Lke => Data Warehouse => Data Mart 순으로 가공이 된다. OLAP와 OLTP 들어가기에 앞서 OLAP와 OLTP를 알아보고자 한다. 그 이유는 오늘 알아볼 3종 세트에 저장되는 데이터들이 OLAP를 위한 데이터이기 떄문이다. OLTP(Online Transaction Processing); 복수의 사용자의 트랜잭션 요청을 DB서버에서 처리하고 결과 RETURN(처리) OLAP(Online Analytical Processing): DW에 저장되어 있는 데이터를 ..

2023. 1. 13. 17:42

2023년

본사에 복귀를 했고, 매일 oracle 교육을 듣게되었다. .. 나는 들으면서 난이도가 꽤 높다고 느끼는데 다른 분들은 아닌가보다..ㅠㅠ분발해라 똥멍청아 리터럴 쿼리 리터럴 쿼리: select * from table where name="위지원" 바인딩 쿼리:select * from table where name=:name 교육해주신 분의 말씀으론 튜닝의 가장 우선순위 중 하나가 이 리터럴 쿼리를 없애는 것이라고 한다. select * from table where name in (select name from tableB); 와 같이 작성하면 동적쿼리라 불리며 앞서 말한 바인딩 쿼리이다. 둘의 가장 큰 차이는 리터럴 쿼리는 입력 될 때마다 새로운 쿼리로 인식하고 바인딩 변수는 쿼리 자체는 한 번 컴파일..

2023. 1. 11. 17:39