[MLops] 220124 패스트캠퍼스 챌린지 1일차 - MLops의 정의와 구성요소

머신러닝 서비스 구축을 위한 실전 MLOps 올인원 패키지 Online 강의

Part1. ML을 Service화하기 위한 기술, MLOps

 

ML ops 의 의미  : ML + DevOps

==> 현재 소프트웨어의 개발 과정을 ML 프로젝트에 적용해보자 

 

--> 중요한 차이점은 ML에서는 data 가 있다는 것 (데이터는 실시간으로 바뀌는 상황)

--> ML 프로젝트에서 devops의 규칙을 적용하는 컨셉이 MLops

--> 핵심기능 3 

   버전 관리 : 데이터, 모델 버전관리 

   테스트 자동화 : 모델 학습 자동화, 모델 성능 평가 자동화 

   모니터링 : 서빙 모델 모니터링, 데이터 변화 모니터링, 시스템 안정성 모니터링 

 

 

ML ops의 구성요소 - 데이터, 모델, 서빙 --> 각각 사용되는 오픈소스 소프트웨어

1. 데이터 - 데이터 수집 파이프라인, 데이터 저장, 데이터 관리 

 

데이터 수집 파이프라인 : Sqoop, Fluma, Kafka, Flink, Spark streaming, Airflow

데이터 저장 : My SQL, Hadoop, Amazon S3, MinIO

데이터 관리 : TFDV(tensorflow data validation), DVC, Feast, Amundsen

 

TFDV : tensorflow data validation

+) https://zzsza.github.io/mlops/2019/05/12/tensorflow-data-validation-basic/

Tensorflow Data Validation 사용하기

 

DVC : 데이터 버전 컨트롤

 

 

2. 모델 - 모델 개발환경, 모델 버전관리, 모델 학습 스케쥴링 관리

 

모델 개발 환경 : 주피터 랩 도커, 큐브플로우

하이퍼파라미터 최적화 병렬학습을 클라우드 환경 : optuna, ray, katib 

모델 버전관리 : Git, MLflow, Jenkins

모델 학습 스케쥴링 관리 : Grafana, Kubernetes

 

3. 서빙 - 모델 패키징, 서빙 모니터링, 파이프라인 매니징 

 

모델을 .predict 가 아니라 API 형태로 제공하는 서비스 

컨테이너, VM 기반으로 패키징되어있어야함

 

모델 패키징 : Docker, Flask, FastAPI, BentoML, kubeflow, TFserving(tensorflow serving)

서빙 모니터링 : 문제시 알람 받고 수정 - Prometheus, Grafana, Thanos

파이프라인 매니징 : 롤백 or A/Btest  - Kubeflow, Airflow

 

 

1,2,3 위의 모든 것을 다 제공하는 것 : SASS

AWS sageMaker, GCP Vertex AI, Azure Machine learning

 

 

---

필수 링크: https://bit.ly/37BpXiC

패스트캠퍼스 [직장인 실무교육]

 

1일차 학습 인증샷  &  강의 후기 : 

 

 

 

 

후기 : 

여태까지 ML, DL의 모델링에 대해서만 고민을 했고 이를 어떻게 배포할지에 대해서는 많은 공부를 하지 않았다. 하지만 실무를 경험해보니 성능이 좋은 모델을 만드는 것보다 안정성 있는 모델 서빙이 더 중요하다는 것을 여실히 깨닫고 이 강의를 수강하게 되었다. 

아직은 이 오픈소스 이름들이 낯설긴 하지만, 이번 챌린지를 통해 조금이라도 익숙해졌으면 좋겠다!

데이터 분석 뿐만 아니라 데이터 엔지니어링도 꼭 잘해내고 싶다!@~ ㅎㅇㅌㅎㅇㅌ

 

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.