피터의 개발이야기

ㅁ Collapse 또는 Collapsing이란?ㅇ 사전적의미로 영어로 무너지다, 붕괴하다, 실패하다라는 뜻ㅇ 딥러닝 모델이 학습 과정에서 겪는 문제로, 모델의 출력이 제한된 범위나 특정 값으로 수렴하는 현상을 말한다.ㅁ Complete Collapseㅇ 모든 입력에 대해 동일한 embedding을 출력하는 현상이다.ㅇ 모델이 입력의 다양성을 무시하고 단일 출력으로 수렴된다.ㅁ Dimensional Collapse(차원 붕괴)ㅇ embedding space가 lower-dimensional subspace에만 span되는 현상ㅇ 특정 차원에서만 붕괴가 일어나 전체 특징 공간을 충분히 활용하지 못함ㅁ Mode Collapse ㅇ Mode Collapse 현상은 Generator가 다양한 출력을 생성하지 못..