Continual Learning using Memory-Efficient Parameter Generation

파라미터 생성 기반 지속학습은 이전 태스크에 대한 안정성 유지에는 탁월하지만, 새로운 태스크에 대한 적응력이 부족하여 점진적으로 파라미터 생성 능력이 저하되는 문제에 직면한다. 또한, 파라미터 생성 모델(메타모델)의 최적 크기를 사전에 설정하기 어려워 메모리 효율성 문제가 발생할 수 있다. 본 논문은 이를 해결하기 위해 두 가지 기법을 제안한다. 첫째, Chunk Save & Replay 기법은 생성형 신경망의 취약한 부분들을 선별적으로 저장 및 재생하여 파라미터 생성 모델의 다양성을 유지하면서도 메모리를 효율적으로 사용할 수 있도... View More