데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2023년

Python OCR 광학 문자 인식(OCR) 텍스트 이미지를 기계가 읽을 수 있는 텍스트 포맷으로 변환하는 과정입니다. 예를 들어 양식 또는 영수증을 스캔하는 경우 컴퓨터는 스캔본을 이미지 파일로 저장합니다. 이미지 파일에서는 텍스트 편집기를 사용하여 단어를 편집, 검색하거나 단어 수를 계산할 수 없습니다. 그러나 OCR을 사용하면 이미지를 텍스트 문서로 변환하여 내용을 텍스트 데이터로 저장할 수 있습니다. 출처: AWS 테서랙트(Tesseract) 다양한 운영 체제를 위한 광학 문자 인식 엔진이다.이 소프트웨어는 Apache License, 버전 2.0에 따라 배포되는 무료 소프트웨어이며 2006년부터 Google에서 개발을 후원했다. 2006년 테서랙트는 당시 가장 정확한 오픈 소스 OCR 엔진 중 ..

2023. 3. 2. 18:23

2021년/21.下

얼마전 블프 때 스팀 게임을 대량으로 구매했다.. (하지는 못했다.. 게임을 사는 것도 게임이다..ㅠ;) 그러던 와중에 내가 스팀게임을 추천받는걸 만들어보면 어떨까? 라는 생각을 했다. 개인인 내가 얻을 수 있는 데이터 양이 한계가 있으므로 스팀 추천시스템보단 열악하겠지만 굉장히 재미있을 것 같아서 시작해보려 한다 :) 우선 블로그에 글을 마구잡이로 작성한 뒤 성공하면 다시 정리하려한다! 계획 그냥 문득 아래처럼 끄적였다. 고민할게 많았다. 1. 일단 얻을 수 있는 모든 데이터를 얻어야한다! steam api, scraping을 찾아내자. 2. 데이터를 어디다가 저장할 것인가? => 데이터의 양을 보고 결정하자 3. 모델은 어떤걸 선택할 것인가? (모델을 하나만 쓸 것인가?) => 데이터의 형태를 보고 ..

2021. 12. 8. 09:01

2021년/알고리즘

github.com/onlybooks/algorithm-interview (22) 일일 온도 ★★Normal [LeetCode] Daily Temperatures - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 풀이법 1. 당연히 시간초과가 났다. 난이도도 중이였으니 이렇게 풀릴리가 없었다. class Solution: def dailyTemperatures(self, T: List[int]) -> List[int]: for idx,t in enumerate(..

2021. 4. 5. 20:12

2021년/알고리즘

(12) Remove Duplicate Letters github.com/onlybooks/algorithm-interview ★★ Normal ( 책이랑 사이트랑 조금 난이도 차가 있는..?) [LeetCode] Remove Duplicate Letters - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 풀이법 처음에 문제를 잘못 이해해서, 홀 짝수로 풀려고했다. .. 책에서도 문제를 이해하는 것이 더 어려운 문제라고 했다.order도 고려하면서 중복제거를 ..

2021. 4. 2. 20:14

2021년/Data

2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #1 계획 2021.03.24 - [✎ 21.上/Data] - [티스토리 게시글 추천 시스템 만들기] #2 크롤링해서 HDFS에 Parquet으로 저장 tfidf 계산 계산 결과를 계속 도출하는게 시간이 걸리기때문에 parquet 형태로 또 저장해두고 이후에는 그냥 hdfs에서 가져다 썼다. 어.. 근데 뭔가 그냥 판다스로 계산한 것같아서... 어... 스파크를 파케이때문에 쓴 느낌이라.. 어.... 사실 스팍없어도 됬을거라는 생각이.. 👽 def cal_tf_idf(spark, docs_df: dataframe.DataFrame, stop_word_df: dataframe.DataFrame): docs_info ..

2021. 3. 25. 20:16

2021년/개발공부

아주 훌륭한 강의여따! 파이썬은 모두 알겠지만, 동적 타입의 변수를 사용한다. 이를 이용하면 너무 편리하지만 런타임 중에 타입을 생성하기때문에 에러가 엄첨난다. 때문에 아래처럼 타입을 명시해놓고 진행했다. 이것도 leetcode 덕에 알게된 것이였다. 하지만, 이는 강제성을 부여하진 못한다. 저렇게 한다고 해서 x, y에 str을 못 넣는건 아니다. 이를 mypy를 이용하여 검사를 진행할 수 있다. 설치 및 사용법은 간단하다. 본 세미나에서 typing이라는 라이브러리를 소개해줬다. (하지만 이 라이브러리도 강제성을 부여하진 못한다 그래도 넘나 코드가 명확하고 이뻐진다) Python 3.7의 새로운 기능들 | GeekHub Python 3.7의 새로운 기능들 Cool New Features in Pyth..

2021. 3. 23. 20:34

2021년/알고리즘

(15) 역순 연결리스트 ★ Easy github.com/onlybooks/algorithm-interview [LeetCode] Reverse Linked List - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 1. 풀이법 1-1. 재귀 파이썬 onlybooks/algorithm-interview 95가지 알고리즘 문제 풀이로 완성하는 코딩 테스트. Contribute to onlybooks/algorithm-interview development by c..

2021. 3. 22. 21:49

2021년/알고리즘

(16) 두 수의 덧셈 ★★ Normal github.com/onlybooks/algorithm-interview [LeetCode] Add Two Numbers - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 1. 나의 풀이 ;; 책에 있는 코드 너무 길다. 연결리스트를 뒤집고 연결리스트를 더하고 다시 변환하고.. 엄첨난 양의 코드다. 난 그냥 문자열로 합치고 뒤집은 다음에 더했다. 아래처럼 풀어도 책에 있는 풀이와 속도차이가 없다. # Definition ..

2021. 3. 22. 19:50