[CVPR2024] Continual Learning 논문 리뷰 - Dataset Distillation via Disentangled Diffusion Model (작성중)

Introduction

• 방대한 데이터에 대한 학습이 필요한데, 데이터 규모 축소에 대한 기술이 필요해지고 있다.
• Dataset Distillation(DD: 데이터셋 증류): 큰 모델(Teacher Network)로부터 증류(distillation)한 지식을 작은 모델(Student Network)로 transfer 하는 일련의 과정, 의 프레임워크는 이차원레벨(bi-level) 최적화 기법으로 네트워크 업데이트 과정에서 데이터셋을 생성해내는 기법
• DD기법들이 CIFAR나 MNIST 같이 작거나 간단한 데이터셋에 중점을 두고있다. (ImageNet같은 더 큰 resolution에서는 성능이 떨어짐)
• DD의 또다른 숙제는 cross-architecture generalization
  • 기존 방법은 고정된 구조내에서 데이터 매칭을 시도해 원본 space에 편향가질 수 있다.
  • Figure2처럼, 원본 데이터를 모방하려다보니, sementic(의미가 담긴) 한 표현은 다소 부족한 모습.

 

 

Method

 

• Preliminaries on Diffusion Models(디퓨전 모델에서의 예비역할)

Algorithm1.

• 입력영상(T)와 거기에 맞는 레이블값(L)을 입력을 사전 학습된 인코더(E)
• LDM은 원본 픽셀 공간 X를 더 콥팩트한 z 공간으로 효과적으로 압축을 진행 -> 인코더-디코더 수행 훈련중에서 저차원 latent space로 최적화를 수행한다.
• 그러면, latent space는 효과적으로 고차원(high-frequency)

 

Results

• SRe2L 기법(bottom)보다 더욱 D4M 제안방법이 더욱 풍부한 영상을 생성해낸다.