728x90 반응형 Study/Deep learning8 [Deep Learning] VAE (Variational Auto Encoder) 개념 정리 https://www.youtube.com/watch?v=GbCAwVVKaHY&t=546s 위 강의 링크 내용을 정리해서 요약한 내용입니다. 추가 참고 link : https://hugrypiggykim.com/2018/09/07/variational-autoencoder%EC%99%80-elboevidence-lower-bound/ https://di-bigdata-study.tistory.com/4 VAE (Variational Auto Encoder) 0. ae와 vae 의 차이점? - ae 의 핵심은 원래의 데이터를 복원 (x --> x), 핵심은 Z를 잘 임베딩 하는 것 (manifold learning) +) 원래의 DB를 고차원의 공간에 잘 표현하는 것이 manifold learning 의 .. 2022. 5. 20. [Deep learning][논문리뷰] Tabnet : Attentive Interpretable Tabular Learning * concept 입력된 table (tabular) 데이터에서 Feature를 masking하며 여러 step을 거쳐서 학습 —> 각 step별 feature들의 importance 파악 (설명력 확보) —> masking 으로 중요한 feature 들만 선출해서 학습하여 성능 향상 (모델 고도화) * Tabnet 관련 link 논문 paper : https://arxiv.org/pdf/1908.07442.pdf tabnet pytorch 버전 문서 (pytorch_tabnet documentation) : https://pypi.org/project/pytorch-tabnet/ tabnet pytorch 버전 깃헙 (pytorch_tabnet github) : https://github.com/dre.. 2022. 4. 14. [Deep Learning] [Pytorch] Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! 에러 내용 출처 : https://sweetdev.tistory.com/946 [ML][PyTorch] Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! 에러 해결하기 각 parameter를 보면 Tensor가 에러 나는 이유가 몇 가지 보입니다. data가 Tensor로 변환이 되는 data인가? 연산하고 있는 Tensor간 data type이 같은가? 연산시 CPU Tensor와 GPU Tensor를 같은 device로 통일했.. sweetdev.tistory.com 이유 : check list * 데이터가 텐서로 변환이 되었는가? * 데이터끼리 data type 이 같은가 * 모델 입력.. 2022. 3. 6. [Deep Learning] Few shot Learning, Meta learning 개념 총정리 Few shot Learning, Meta learning 개념 총정리 Index 0. Few-shot learning 의 등장 배경 : " 학습 데이터가 없다 " 1. Few shot learning, Meta learning, Transfer learning 뭐가 다른데? 2. Episode training : 에피소드 방식을 통해 메타러닝을 시도 3. Meta learning 학습 기법 3가지 0. Few-shot learning 의 등장 배경 : " 학습 데이터가 없다 " - 학습 데이터가 적은 상황에서 딥러닝 모델 구축 자체가 어려움 - 인간처럼 몇 장의 사진만을 보고도 직관적으로 분류하는 모델을 우리는 만들 수 없나 ? - 소량의 데이터(few-shot)만으로도 뛰어난 학습을 하는 모델 만들어.. 2022. 2. 8. [Deep Learning] RNN, LSTM, GRU 차이점 (순환 신경망 모델들) Q. RNN, LSTM, GRU 각각의 차이는 뭔가요 ? 각 모델들이 서로의 어떤 점을 보완하면서 등장했는지 이해하면 쉽다. 먼저 RNN부터 1. RNN - recurrent neural network 1) 핵심 개념 입력 갯수 출력 갯수에 따라서 one to many, many to one, many to many 로 나눠지지만 핵심은 이전 hidden state 의 아웃풋과 현시점의 인풋이 함께 연산 된다는 것 2) 문제 입력 시퀀스의 길이가 너무 길면 (Long sequence) --> 그레디언트 주는 편미분 과정에서 (Back Propagation Through Time) 그레디언트가 사라지거나 폭발하는 문제가 생김 (Gradient Vanishing , Gradient Exploding) 결국 .. 2022. 1. 28. [Deep Learning] 음성 인식 모델의 발전 과정 jybaek.tistory.com/793 www.youtube.com/watch?v=gmoEgeRPOoQ&list=TLPQMDExMTIwMjANBSFBbypvBw&index=2 0. 음성 인식 ? [ STT 모델 개발의 pipeline ] 1. 로우 데이터 음성 입력 2. 특징 추출 3. 음성 모델 - DNN, RNN 4. 디코더 ** : 음성 신호를 텍스트로 맵핑 - 음향 모델, 발음 사전 --> 텍스트로 변환 - 언어 모델 --> 텍스트를 벡터로 변환 (기계가 이해) [ 음성인식 모델의 발전과정 ] STT -> LAS -> online streaming recognition (RNN-Transducer, NT, MoChA) [ 음성 분야의 다양한 태스크 ] - Audio Auto Tagging : 지.. 2020. 11. 1. [Deep Learning] GAN - Generative Adversarial Network (201029) # Gan 의 개념 위조 지폐 만드는 도둑놈 , 경찰의 비유를 많이 하는데, 여기서 위조지폐 만드는 놈은 Generator 경찰은 Descriminator Generator의 목적은 Descriminator가 구분 못하도록 실제 이미지와 유사한 이미지를 만드는 거고 Descriminator의 목적은 실제 이미지와 가짜 이미지를 구분해 내는 것 이 학습 알고리즘의 목표는 Discriminator 가 진짜 가짜를 아예 구분짓지 못하도록 만드는 후륭한 Generator만들기 ! Generator 는 latent space 를 기반으로 Fake image 를 만들어냄, Discriminator 는 0~1사이의 값으로 Fake 여부 판별 가령 1번 Fake image를 진짜 0.2, 가짜 0.8 확률로 판단했다면.. 2020. 10. 30. [Deep Learning] CNN의 stride, channel, feature map Q. CNN에서 stride, channel, feature map 이 무엇을 의미하는지 설명해주세요 (실제로 면접질문이었음) 1. CNN은 convolutional neural network이며 필터를 옮겨가며 입력 매트릭스를 학습하는 방식 필터가 2d 즉 좌우상하로 움직이는 경우는 데이터가 이미지 일때 그렇게 사용하고 필터가 1d 즉 상하로만 움직이는 경우는 데이터가 텍스트 일때다 그림을 통해 보자면 ! 일단 문제에서 물어본 stride, channel, featuremap 을 살펴보기 위해 이미지의 예를 들어 설명해보겠음. filter (= kernel) : 저 움직이는 네모박스 ! , 이미지의 특징을 잡아내는 학습 파라미터 stride : 필터의 이동량 (1칸씩 움직이는지 2칸씩 움직이는지 ) c.. 2020. 10. 15. 이전 1 다음 728x90 반응형
