[NLP] 자연어처리 임베딩 모델 총정리 (word2vec부터 BERT까지)
자연어처리 임베딩 모델들의 전체 컨셉 개념을 복습해보겠다. 이전 모델에 비해서 뭐가 다른지 간단하게만 정리해 둔거니 보다 자세한 자료는 참고링크에서 공부하시길 [ 임베딩 ] 인코딩은 어떤 단어 혹은 대상을 [0,1,0,0,0,0 ... ] 등 0과 1 둘 중 하나의 숫자로 표현하는 개념 임베딩은 이러한 [0,1,0,0,0,0 ... ] 벡터를 --> [0.1,0.2,0.5 ] 등 dense 한 벡터로 만들어줌 그럼 저 벡터를 어떻게 만드냐? 그거에 따라 임베딩 모델들 이름이 달라지게됨 0. Neural Probabilistic Language Model : 이전 단어들을 통해 다음 등장 단어 확률을 계산 ! word2vec의 시초같은 느낌 다음 등장할 단어의 확률을 계산하고, 이를 최대화 하는 방식으로 ..
2020. 11. 1.
