[AI] Deep Learning에서의 Collapse (Collapsing) 현상

ㅁ Collapse 또는 Collapsing이란?

ㅇ 사전적의미로 영어로 무너지다, 붕괴하다, 실패하다라는 뜻
ㅇ 딥러닝 모델이 학습 과정에서 겪는 문제로, 모델의 출력이 제한된 범위나 특정 값으로 수렴하는 현상을 말한다.

ㅁ Complete Collapse

ㅇ 모든 입력에 대해 동일한 embedding을 출력하는 현상이다.

ㅇ 모델이 입력의 다양성을 무시하고 단일 출력으로 수렴된다.

ㅁ Dimensional Collapse(차원 붕괴)

ㅇ embedding space가 lower-dimensional subspace에만 span되는 현상

ㅇ 특정 차원에서만 붕괴가 일어나 전체 특징 공간을 충분히 활용하지 못함

ㅁ Mode Collapse 

ㅇ Mode Collapse 현상은 Generator가 다양한 출력을 생성하지 못하고 제한된 범위의 출력만을 생성하는 현상을 말한다.

ㅇ 다시 말해, 진짜 같은 다양한 데이터를 생성하는 본래의 목적을 잃고, 비슷하거나 거의 동일한 출력만을 생성하게 된다.

ㅁ Collapse가 발생하는 상황

ㅇ GAN(Generative Adversarial Network)에서의 Mode Collapse
  Generator와 Discriminator의 학습 속도 불균형으로 인해 발생한다. Discriminator가 너무 빠르게 학습되면, Generator는 Discriminator를 속이기 위해 제한된 범위의 '가짜' 이미지만 생성하게 된다.

 

ㅇ Contrastive Learning에서의 Collapse
  Positive pair만을 사용할 경우 발생할 수 있다. 네트워크가 모든 입력을 동일한 embedding으로 매핑하여 similarity를 1로 만드는 방향으로 학습될 수 있다.

ㅁ 마무리

  Collapse 현상은 딥러닝 모델, 특히 self-supervised learning 방법에서 자주 발생하는 문제다. 이를 해결하기 위해 다양한 기법들이 제안되고 있지만, 여전히 완벽한 해결책은 없는 상태다. 따라서 모델 설계와 학습 과정에서 이 문제를 주의 깊게 고려해야 하며, 지속적인 연구가 필요한 분야라고 할 수 있다.

 

ㅁ 함께 보면 좋은 사이트

ㅇ Deep learning에서 Collapse (Collapsing)란?

ㅇ 논문 읽기 [DirectCLR] - Understanding Dimension Collapse in Contrastive self-supervised learning

  ㄴ논문의 내용을 요약해서 설명함