728x90 반응형 Study134 [MLops] 220126 패스트캠퍼스 챌린지 3일차 - ubuntu 도커 환경세팅 https://huidea.tistory.com/234 [MLops] 220125 패스트캠퍼스 챌린지 2일차 - Virtualbox으로 ubuntu 환경세팅 1. 도커와 쿠버네티스 도커 : containerization, 컨테이너화 하는 기술, 실행 환경자체를 하나의 컨테이너로 패키징 container : 격리된 공간에서 프로세스를 실행시키는 기술, "build once run anywhere" 도.. huidea.tistory.com 지난 포스팅에 이이서, 이제 ubuntu에 도커, 쿠버네티스 실습을 해볼꺼다 ! 1. 도커 실습 +) 실습 코드를 복붙이 안되었다. 로컬 코드가 vm에서 붙여넣기가 안되는 것 https://extrememanual.net/8257 버추얼박스(VirtualBox) 클립보드(.. 2022. 1. 26. [MLops] 220125 패스트캠퍼스 챌린지 2일차 - Virtualbox으로 ubuntu 환경세팅 1. 도커와 쿠버네티스 도커 : containerization, 컨테이너화 하는 기술, 실행 환경자체를 하나의 컨테이너로 패키징 container : 격리된 공간에서 프로세스를 실행시키는 기술, "build once run anywhere" 도커 이미지를 빌드함으로써, 어떤 환경에서든 코드를 실행시킬 수 있음 --> dockerize ML 모델링을 한 후에 container 를 활용해서 dockerize 해야함 쿠버네티스 : container orchestration, 수많은 도커 컨테이너를 어떤 서버에 배치시킬건지 (메모리 gpu에 따라 할당) 2. 환경 세팅 - Virtual box를 통해 우분투 기반 가상 머신 (VM) 만들기 1) MacOS 에서 virtualbox 설치 2) ubuntu 설치 3.. 2022. 1. 25. [기초 통계] 통계적 가설 검정 과정 (검정통계량, P-value) 참고 link : https://blog.acronym.co.kr/621 통계적 가설 검정(Statistical Hypothesis Testing) 절차 통계적 가설 검정은 통계적 추측의 하나이다. 전체 집단의 실제 값이 얼마라는 주장에 대해서 표본을 활용해 가설의 합당성 여부를 판단하는 것이다. 빅데이터 시대에는 전체 데이터 대상으로 blog.acronym.co.kr https://www.youtube.com/watch?v=tpow70KGTYY - 김성범 교수님 머신러닝 pvalue 강의 +) preview 정의 모집단 : 정보를 얻고자 하는 관심대상의 전체 집단 표본 : 모집단의 부분집단 --> 랜덤하게 추출, 하지만 이때 항상 오차가 수반됨 ==> 이게 표준 오차 표본 통계량 : 샘플의 평균, 샘플.. 2022. 1. 25. [MLops] 220124 패스트캠퍼스 챌린지 1일차 - MLops의 정의와 구성요소 머신러닝 서비스 구축을 위한 실전 MLOps 올인원 패키지 Online 강의 Part1. ML을 Service화하기 위한 기술, MLOps ML ops 의 의미 : ML + DevOps ==> 현재 소프트웨어의 개발 과정을 ML 프로젝트에 적용해보자 --> 중요한 차이점은 ML에서는 data 가 있다는 것 (데이터는 실시간으로 바뀌는 상황) --> ML 프로젝트에서 devops의 규칙을 적용하는 컨셉이 MLops --> 핵심기능 3 버전 관리 : 데이터, 모델 버전관리 테스트 자동화 : 모델 학습 자동화, 모델 성능 평가 자동화 모니터링 : 서빙 모델 모니터링, 데이터 변화 모니터링, 시스템 안정성 모니터링 ML ops의 구성요소 - 데이터, 모델, 서빙 --> 각각 사용되는 오픈소스 소프트웨어 1. 데.. 2022. 1. 24. [기초통계] t 분포, F 분포 강의 정리 https://www.youtube.com/watch?v=DyBxYsCow9k&list=PLpIPLT0Pf7IqS4as3nefPyGv94r2aY6IT&index=4 김성범 교수님 머신러닝 강의의 20분 이후 내용입니다. 강의 앞부분 내용은 : https://huidea.tistory.com/230 [기초 통계] 표본분산의 분포, 카이제곱분포 https://www.youtube.com/watch?v=DyBxYsCow9k&list=PLpIPLT0Pf7IqS4as3nefPyGv94r2aY6IT&index=3 위의 강의 내용을 캡쳐 + 정리한 내용입니다. https://huidea.tistory.com/228 통계량 stati.." data-og-host="hu.. huidea.tistory.com 3. T분포.. 2022. 1. 20. [기초 통계] 표본분산의 분포, 카이제곱분포 https://www.youtube.com/watch?v=DyBxYsCow9k&list=PLpIPLT0Pf7IqS4as3nefPyGv94r2aY6IT&index=3 위의 강의 내용을 캡쳐 + 정리한 내용입니다. 앞의 내용 link : https://huidea.tistory.com/228 [기초 통계] 표본분포(Sampling Distribution), 샘플평균의 분포 강의 내용 정리 https://www.youtube.com/watch?v=EjQq2s9C9Sc&list=PLpIPLT0Pf7IqS4as3nefPyGv94r2aY6IT&index=3 고려대학교 김성범 교수님 강의를 일부 정리한 내용입니다. 1. 모집단과 표본 2. 표본 샘플링 --> 통계량 stati.. huidea.tistory.com 앞.. 2022. 1. 18. [기초 통계] 표본분포(Sampling Distribution), 샘플평균의 분포 강의 내용 정리 https://www.youtube.com/watch?v=EjQq2s9C9Sc&list=PLpIPLT0Pf7IqS4as3nefPyGv94r2aY6IT&index=3 고려대학교 김성범 교수님 강의를 일부 정리한 내용입니다. 1. 모집단과 표본 2. 표본 샘플링 --> 통계량 statistic : 단일 통계량을 의미 statistic : 여러개의 통계량 --> 샘플링 데이터의 함수 ! 통계학의 3가지 함수 1) 확률 변수 - Random Variable : 실험으로 나온 표본들을 실수로 바꿔주는 것 ex. 동전 앞 뒤면 --> 0,1 2) 확률 함수 - 확률 변수에서 나온 실수를 0~1 사이의 확률로 바꿔주는 함수 ex. 동전 앞 뒤면 --> 0.5, 0.5 3) 통계량 샘플의 평균은 통계량, 샘플의 분포는.. 2022. 1. 18. [통계] 사후설계분할표_1218 www.youtube.com/watch?v=FXdEBDj0Z1s&list=PLEUKy_nwlzwEbpOh3peYnSPI0FaeMQJW6&index=21 - 흡연 상황을 임의로 만들 수 없는 것 - 이러한 경우에는 이미 주어진 사후 상황을 기반으로 각각의 조건을 추적해나감 - 이 경우들을 테이블화 해놓은 것이 사후 설계 분할표 - 폐암 여부는 후에 일어나는 일이기 때문에 사후 / 흡연은 전에 일어나는 일이니 사전 ** 만약 이처럼 사후 조건이 없다면, 사전 실험설계 분할표로 만들면 됨. 2020. 12. 18. [DACON] 태양광 발전량 예측 AI 경진대회 part 1 0. 문제 정의 " Time series regression but ... Quantile regression ! " input(test 하나의 csv) : 0 ~ 6 일치 데이터 입력 (30분 단위 시계열 데이터) 24시간 *2개 * 7일 = 336 row output : 7,8일치 30분 단위 타겟값 예측 (regression) 24시간 * 2개 * 2일 = 96 row 하지만 이때 예측에서 반환되는 것은 Quantile 값이어야함. 즉, 30분 간격의 예측값에 대한 10%,20%,...90% 총 아홉개의 quantile 1. Quantile regression (분위 회귀) ? 참고 자료 : https://medium.com/analytics-vidhya/a-tutorial-on-quantile-r.. 2020. 12. 16. [Machine learning] ROC 와 ROC-AUC 평가 방법 (Confusion matrix, Recall, Precision, TPR, FPR, Threshold) # Recall 재현율 , precision 정밀도 Recall 재현율 : 실제 양성 중에 양성으로 예측된 것 ( TP / TP + FN ) 실제를 얼마나 잘 재현 Precision 정밀도 : 양성으로 예측된 것 중에 실제 양성인 것 ( TP / TP + FP ) 예측을 얼마나 정밀하게 # ROC curve : 재현율과 1- 특이도 의 곡선을 그린 것 TPR : True Positive Rate ( = 재현율 / 민감도, Recall) 양성인 케이스에 대해 양성으로 잘 예측한 비율.(암환자를 진찰해서 암이라고 진단 함) TP / (TP+FN) TNR : True Negative Rate(=특이도) 음성인 케이스에 대해 음성으로 잘 예측한 비율 (정상환자를 잔찰해서 정상이라고 진단) FPR: False P.. 2020. 11. 10. 이전 1 2 3 4 5 6 7 8 ··· 14 다음 728x90 반응형
