MLOps에 관하여.. #2

실리콘밸리의 ML옵스｜슈퍼브에이아이 e-Books

 

데이터 플랫폼

 

McKinsey 분석에 의하면 34%의 머신러닝 프로젝트 사에서 데이터 확보 및 재학습이 월 단위로 필요하고 이 중 23%는 최소 일주일에 한번씩 필요하다고 응답했다.

약칭 맥킨지. 1926년에 시카고 대학교의 교수였던 제임스 맥킨지(McKinsey)와 A.T. 커니 등의 동료들(Company)을 기반으로 창립된 전략컨설팅 펌이다.

그렇기에 자동화나 파이프라인화는,, 필수다 '^' 

 

데이터 플랫폼을 이용하면 다음이 가능해진다. 

1. 동적인 데이터관리
2. Change Tracking
3. Versioning
4. Flexible Manipulation
5. 인공지능 기반 데이터 라벨링(그리고 자동화)

 

아래 기사에 있는 사진은 이런 ML옵스의 전체적인 자동화 파이프라인을 정말 잘 보여주는 것 같다.

“ML옵스 시작은 올바른 머신러닝 모델 설계부터” - 데이터넷

 

서적을 읽다가 굉장히 흥미로운 단어를 봤다.

smoke test

smoke test는 신규 배포할 최신 모델을 가장 단순한 기초 모델과 비교테스트하는 것을 이야기한다. 

Canary development, test

안정적인 버전을 릴리즈하기 전에 테스트버전을 일부 사용자에게 배포하는 것을 말합니다.(https://codechacha.com/ko/what-is-canary-development-test/)

 

카나리아는 아주 작고 귀여운 새이다. 탄광에서 유독가스가 발생하거나 했을 때, 사람보다 먼저 죽기때문에 위험알림용으로 사용되었다고 한다...... 😥

카나리아(출처: 위키)

 

인퍼런스(Inference)

인퍼런스는 추론을 의미한다. 즉 모델을 배포한 후 행하는 것들(예측, 분류 등)

• 배치 인퍼런스: 요구 사항을 배치로 묶어 한번에 추론한다.
• 온라인 인퍼런스: 실시간으로 추론을 한다.
• 엣지 인퍼런스: 고객 하드웨어의 연산 능력을 활용한다. 모델을 앱 일부로 포함해 사용자가 직접 배포

가능한 배치 인퍼런스를 사용하고 온라인 인퍼런스는 최후의 수단,

가능한 엣지 인퍼런스를 사용, 비용없이 완벽한 확장성을 취할 수 있다.

 

 

단어 공부!

- 퓨샷 러닝(Few-shot Learning): sample data 몇 개만으로 모델 생성이 가능

- 반 지도 학습(Semi-supervised Learning): 적은 수의 어노테이션으로 모델 생성이 가능

- 약한 지도 학습(Weakly Supervised Learning): 거친 어노테이션으로 모델 생성이 가능

- 전이 학습(Transfer Learning): 유사한 과업의 지식기반으로 개발 가능

- 액티브 러닝(Active Learning): 모델 학습에 가장 의미있는 데이터를 먼저 어노테이션 작업함

- 데이터 증강(Data Augumentation): 기존 데이터셋에서 다양성 생성

- 퓨샷 러닝(Few-shot Learning): sample data 몇 개만으로 모델 생성이 가능

- 반 지도 학습(Semi-supervised Learning): 적은 수의 어노테이션으로 모델 생성이 가능

- 약한 지도 학습(Weakly Supervised Learning): 거친 어노테이션으로 모델 생성이 가능

- 전이 학습(Transfer Learning): 유사한 과업의 지식기반으로 개발 가능

- 액티브 러닝(Active Learning): 모델 학습에 가장 의미있는 데이터를 먼저 어노테이션 작업함

- 데이터 증강(Data Augumentation): 기존 데이터셋에서 다양성 생성