728x90 반응형 Study/MLops19 [MLops] 220211 패스트캠퍼스 챌린지 19일차 - Model management 이번 시간은 MLflow 실습에 들어가기전 Model management 에 대해 배웠다. 1) Model management Cycle Raw data -> Data processing -> Train & Evaluate : 이 과정을 지속적으로 반복 이를 위해서는 학습에 사용한 데이터 데이터 전처리 코드 전처리 된 데이터 사용한 features Model 소스코드 Model pkl 파일 Evaluation metric 결과 이 내용들이 저장 + 업데이트 + 관리가 되어야 함 → 해당 모델의 성능 재현이 목표 but MLops 의 문제들....ㅠㅠ 학습 단계에서 랜덤 시드가 개발자의 관리 밖의 영역 dependency package 문제도 발생 모델의 사이즈가 커서 학습 시간 (하루 이틀 몇주인 경우도.. 2022. 2. 11. [MLops] 220210 패스트캠퍼스 챌린지 18일차 - DVC 실습(2) 지난 시간에 이어서 DVC 추가 실습을 진행하겠다. https://huidea.tistory.com/254?category=999869 [MLops] 220209 패스트캠퍼스 챌린지 17일차 - DVC 실습 이전 수업에 이어서 DVC 환경 설정을 해보겠다 ! DVC (data version control) https://dvc.org/ Data Version Control · DVC Open-source version control system for Data Science and Machine Learning project.. huidea.tistory.com 1) dvc pull 데이터를 remote storage 로부터 다운로드합니다. cd dvc-tutorial # dvc 캐시를 삭제합니다. rm.. 2022. 2. 10. [MLops] 220209 패스트캠퍼스 챌린지 17일차 - DVC 실습 이전 수업에 이어서 DVC 환경 설정을 해보겠다 ! DVC (data version control) https://dvc.org/ Data Version Control · DVC Open-source version control system for Data Science and Machine Learning projects. Git-like experience to organize your data, models, and experiments. dvc.org git과 연동하면서 데이터 버전을 관리 대부분의 스토리지와 호환가능, 깃과 유사한 인터페이스 이 과정을 자동화 해두어 쉽게 사용할 수 있음 1. 파이썬 설치 & git 설치 https://docs.aws.amazon.com/ko_kr/parallel.. 2022. 2. 9. [MLops] 220208 패스트캠퍼스 챌린지 16일차 - DVC 실습 Part3. 오픈소스를 통해 알아보는 MLOps의 구성요소 Data management ? - ml 프로젝트를 하면서 데이터를 업데이트 해야하는 경우가 생김 - 특히 시계열 데이터의 경우에는 데이터가 실시간으로 바뀜 - feature engeeniring을 통해서도 데이터의 버전이 계속 바뀜 DVC (data version control) https://dvc.org/ Data Version Control · DVC Open-source version control system for Data Science and Machine Learning projects. Git-like experience to organize your data, models, and experiments. dvc.org git과.. 2022. 2. 8. [MLops] 220207 패스트캠퍼스 챌린지 15일차 - DVC Part3. 오픈소스를 통해 알아보는 MLOps의 구성요소 Data management ? - ml 프로젝트를 하면서 데이터를 업데이트 해야하는 경우가 생김 - 특히 시계열 데이터의 경우에는 데이터가 실시간으로 바뀜 - feature engeeniring을 통해서도 데이터의 버전이 계속 바뀜 DVC (data version control) https://dvc.org/ Data Version Control · DVC Open-source version control system for Data Science and Machine Learning projects. Git-like experience to organize your data, models, and experiments. dvc.org git과.. 2022. 2. 7. [MLops] 220206 패스트캠퍼스 챌린지 14일차 - PVC PVC Persistent Volume (PV), Persistent Volume Claim (PVC) 는 stateless 한 Pod 이 영구적으로(persistent) 데이터를 보존하고 싶은 경우 사용하는 리소스입니다. 도커에 익숙하신 분이라면 docker run 의 -v 옵션인 도커 볼륨과 유사한 역할을 한다고 이해할 수 있습니다. PV 는 관리자가 생성한 실제 저장 공간의 정보를 담고 있고, PVC 는 사용자가 요청한 저장 공간의 스펙에 대한 정보를 담고 있는 리소스입니다. PV 와 PVC 의 차이에 대해서는 헷갈리실 수 있지만, 저희는 지금 당장 이해하지 않아도 괜찮습니다. Pod 내부에서 작성한 데이터는 기본적으로 언제든지 사라질 수 있기에, 보존하고 싶은 데이터가 있다면 Pod 에 PVC 를.. 2022. 2. 6. [MLops] 220205 패스트캠퍼스 챌린지 13일차 - service 1. service Service 는 쿠버네티스에 배포한 애플리케이션(Pod)을 외부에서 접근하기 쉽게 추상화한 리소스입니다. https://kubernetes.io/ko/docs/concepts/services-networking/service/ Pod 은 IP 를 할당받고 생성되지만, 언제든지 죽었다가 다시 살아날 수 있으며, 그 과정에서 IP 는 항상 재할당받기에 고정된 IP 로 원하는 Pod 에 접근할 수는 없습니다. 따라서 클러스터 외부 혹은 내부에서 Pod 에 접근할 때는, Pod 의 IP 가 아닌 Service 를 통해서 접근하는 방식을 거칩니다. Service 는 고정된 IP 를 가지며, Service 는 하나 혹은 여러 개의 Pod 과 매칭됩니다. 따라서 클라이언트가 Service 의 주.. 2022. 2. 5. [MLops] 220204 패스트캠퍼스 챌린지 12일차 - Deployment https://huidea.tistory.com/247 [MLops] 220203 패스트캠퍼스 챌린지 11일차 머신러닝 서비스 구축을 위한 실전 MLOps 올인원 패키지 Online 강의 Part2. ML환경 구축을 위한 도커와 쿠버네티스 https://huidea.tistory.com/245 [MLops] 220202 패스트캠퍼스 챌린지 10일차 - minikube, Kub.. huidea.tistory.com Deployment 참고 link : https://arisu1000.tistory.com/27833 쿠버네티스 컨트롤러 : 디플로이먼트(Deployments) 디플로이먼트는 쿠버네티스에서 일반적인 상태가 없는(stateless)앱을 배포할때 사용하는 가장 기본적인 컨트롤러입니다. 쿠버네티스가 .. 2022. 2. 4. [MLops] 220203 패스트캠퍼스 챌린지 11일차 머신러닝 서비스 구축을 위한 실전 MLOps 올인원 패키지 Online 강의 Part2. ML환경 구축을 위한 도커와 쿠버네티스 https://huidea.tistory.com/245 [MLops] 220202 패스트캠퍼스 챌린지 10일차 - minikube, Kubectl 머신러닝 서비스 구축을 위한 실전 MLOps 올인원 패키지 Online 강의 Part2. ML환경 구축을 위한 도커와 쿠버네티스 https://huidea.tistory.com/244 [MLops] 220201 패스트캠퍼스 챌린지 9일차 - 쿠버네티스 실습.. huidea.tistory.com # pod : pod 은 쿠버네티스에서 생성하고 관리할 수 있는 배포 가능한 가장 작은 텀퓨팅 단위 ! - pod 는 언제나 노드 상에서 동작.. 2022. 2. 3. [MLops] 220202 패스트캠퍼스 챌린지 10일차 - minikube, Kubectl 머신러닝 서비스 구축을 위한 실전 MLOps 올인원 패키지 Online 강의 Part2. ML환경 구축을 위한 도커와 쿠버네티스 https://huidea.tistory.com/244 [MLops] 220201 패스트캠퍼스 챌린지 9일차 - 쿠버네티스 실습 - YAML, minikube 환경 세팅 머신러닝 서비스 구축을 위한 실전 MLOps 올인원 패키지 Online 강의 Part2. ML환경 구축을 위한 도커와 쿠버네티스 1. YAML 데이터 직렬화에 쓰이는 포맷 양식 중 하나 데이터를 전송할 때 쓰이는 포맷 huidea.tistory.com 어제 40G이상의 새로운 가상 환경을 생성했고 도커 설치까지 완료했다. ! 0. 쿠버네티스 실습 환경 세팅 - VM 재생성 디스크 40 GB로 늘리기 VM 만드는.. 2022. 2. 2. 이전 1 2 다음 728x90 반응형
