데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Girl이 되는 그날까지🏃‍♀️ 화이팅!

✎ 2025년

Oracle에는 DB Buffer Cache가 있다.Buffer Cache는 SQL 수행을 위해 필요한 Data Block을 Memory로 올려 저장하는 곳이다. RAC(Real Application Clusters)란 ?여러 서버가 하나의 DB를 동시에 붙잡고 쓰는 구조Cache Fusion은 서로 다른 Instance의 DB Buffer Cache에서 Block을 이동시키면서 발생한다. Cache Fusion은 블록 핑퐁이 발생 할 수 있어 UPDATE 사용 에는 위험. SELECT는 괜찮다. (* 블록 핑퐁: 같은 블록을 계속 뺏고 뺏김) Cache Fusion의 등장 배경은 ?노드마다 DB Cache를 따로 씀다른 노드가 가진 Block이 필요해지면 디스크에 w/r 해서 얻어야했음그 결과, I/O..

2025. 12. 31. 13:23

✎ 2025년

LCEL(LangChain Expression Language): LangChain 컴포넌트를 조합하는 도구 1. Prompt + LLM: Pipe 연산자 사용from langchain_openai import ChatOpenAIfrom langchain_core.prompts import ChatPromptTemplatellm = ChatOpenAI( model="gpt-4o-mini", temperature=0.5, max_tokens=50, )messages = [ ("system", "You are a assistant."), ("user", "{query}"),]# 메시지 리스트를 템플릿으로 변환prompt = ChatPromptTemplate.from_mes..

2025. 12. 24. 16:54

✎ 2025년

개발환경 준비로컬환경,CURSOR, Python 3.11KEY 발급 .OpenApi: https://platform.openai.com/api-keys.env 환경변수 파일에 설정OPENAI_API_KEY= LangChain의 주요 RAG 컴포넌트RAG 프로세스 흐름: 문서 > 컨텍스트 > 프롬포트 > LLM 문서LangChain은 다양한 문서로드 라이브러리를 제공( https://docs.langchain.com/oss/python/integrations/document_loaders)CONTEXT WINDOW-LLM이 받아들일 수 있는 정보, 단 글자수 제한이 있음 보통 4092토큰 등.. 모델마다 다름텍스트 분할기를 통해 여러개의 청크[문자, 토큰 단위]로 나누어 입력(https://docs.lan..

2025. 12. 24. 12:57

✎ 2025년

PQ(Parallel Query)SQL이 수행해야 할 작업 범위를 여러 개의 작은 단위로 나누고, 여러 프로세스가 동시에 처리하도록 하여 전체 작업 속도를 단축하는 기술 사용 방법(Oracle 기준)1. 힌트 사용SELECT /*+ parallel(4) */ ... -- 병렬도 4로 지정FROM ... 2. 테이블에 속성 부여ALTER TABLE 테이블명 PARALLEL 4; 3. 세션/인스턴스 병렬 설정ALTER SESSION ENABLE PARALLEL QUERY; 사용방법(Mysql 8.0 기준)1. innodb_parallel_read_thread 시스템 변수 조정SET SESSION innodb_parallel_read_threads = 4;SELECT COUNT(*) FROM salaries;..

2025. 6. 27. 18:04

✎ 2025년

CDC(Change Data Capture)란 ?데이터베이스에서 변경 데이터 캡처(change data capture, CDC)는 변경된 데이터를 사용하여 동작을 취할 수 있도록 데이터를 결정하고 추적하기 위해 사용되는 여러 소프트웨어 디자인 패턴들의 모임이다. - WIKI 인터넷에 검색해보니 CDC 아키는 설계하기 나름인 것 같다. 다만 Source DB가 변경되는 것을 추적하고, 변경이 일어날 시(INSERT, DELETE 등) Target DB에 이를 반영하는 것이 주 목적이다. CDC 종류는 아래와 같다.로그 기반 CDC: 데이터베이스의 트랜잭션 로그를 활용쿼리 기반 CDC: 소스 데이터베이스에 쿼리를 날림트리거 기반 CDC: 어플리케이션 소스가 CDC를 트리거링타임스탬프 기반 CDC: 데이터베이..

2025. 4. 5. 09:16

✎ 2025년

이번 연휴는 책을 읽는 것으로 연휴를 보내고자 다짐하였다.그렇게 선택한 책중 하나가 아래 프로젝트 성패를 결정짓는 데이터 모델링 이야기다. “프로젝트 성패를 결정짓는” 이라는 문장이 굉장히 매력적으로 느껴졌다. 실제로 몇 차례 느꼈던 부분이기 때문이었으리라. 사실 시니어들에 비하면 많은 프로젝트를 진행 하였다고는 명함도 내밀지 못하는 수준이지만… 그만큼 적은 프로젝트를 수행하였음에도 설계가 얼마나 중요한지 느껴졌다. 위 책에서는 시니어인 정수석과 주니어인 나한빛의 대화를 통해 이야기를 풀어가고 있어 지루하지 않았다. 그래서 그런지 이틀만에 다 읽었다. 이론공부의 단점을 좀 승화시켜주는 책 같다. 이론공부의 단점중 하나는 실제 현업에 가면 책과는 다른 경우가 더러 있기 때문에 당황스럽기도 하고, 유연한 대..

2025. 3. 3. 11:45

✎ 2025년

요즘 공부를 계속 필기하면서 해서 블로그엔 안 올렸다...얼마 전에 시험을 봤고, 아직은 결과 대기 중!! 합격! 😆아래 미어캣 책을 보고 공부했다.설명도 초등학생한테 설명하는 느낌 수준으로 자세해서 비전공인 나에겐 너무 좋았다. 통계학 너무 어렵다 😱아! 특히 예제가 정말 무지 너무 많아서 엄청 좋다. 나 같은 멍청이들은 예제가 많은 게 최곤데...근데, 오픈을 앞두고 회사 업무가 폭발적으로 늘어서 야근 늪에 빠졌고,, 시험 날도 시험 보고 회사로 출근했다 총총총 🚶‍♀... 그래도 오전에 시험은 볼 수 있도록 양해해 주셔서 너무 감사하다. 시험도 못 볼 뻔했다 😱😱아무튼 문제는 다 못 풀었다 ㅜㅜ.. 아쉽다 🙃이번에 공부하면서 직접 요약한 내용입니다.😆요약이라기엔 너무 많은 것 같기도 ..

2025. 3. 2. 12:57

✎ 2025년

공부하다 집중이 안 되어서, 집중력을 좀 올리고자 올해 첫 글로 데이터의 품질에 대해 짧게 작성하고자 한다. 지금 나는 회사에서 표준화업무를 새롭게 맡게 되었다.사실 크게 어려움이 없기에 사내에서는 주니어들에게 맡기는 업무 중 하나이다. 그래서 표준화에 대해서 크게 중요하단 생각을 못했던 것 같다. 하지만 굉장히 중요한 영역이었다. 표준화는 데이터 품질을 관리하는데 기초적인 역할을 하기 때문이다. 어느 판매되는 물건의 품질이 중요하듯이 데이터의 품질은 중요하다. 데이터의 양은 이미 너무나도 많은 시대이고, 데이터를 관리하고 다루는 프로그램 역시도 너무나도 많은 시대에서 품질이 중요한 시대가 된 것이다. 한참 기계학습을 공부할 때에도 항상 들었던 명언과도 같은 문장이 있다 " 쓰레기를 넣으면 쓰레기가 나..

2025. 2. 16. 14:48