Latent Space Interpolation

https://towardsdatascience.com/understanding-latent-space-in-machine-learning-de5a7c687d8d

Latent

데이터를 압축하는 방식. 이 과정에서 '숨겨진', '잠재의' latent 단어를 사용하게 된 것.

데이터 압축은 원래 표현보다 적은 비트를 사용하여 정보를 encoding하는 과정. 이미지 분류 모델이 학습이 진행될 수록 이미지 차원이 기하 급수적으로 증가한다. 그래서 이전에 감소시키는 과정을 넣음.

여기서 압축된 데이터를 재구성하는 모델이 필요한데 decoder역할을 하게 된다. 그럼 noise를 무시하는 방법을 학습하여 불필요한 정보를 제거할 수 있다는 장점이 있다

 

 

Space

t-SNE와 같은 도구를 통해 2,3 차원 너머의 공간을 시각화할 수 있다.

 

공간에서의 유사성은 무엇을 의미할까? 아래 이미지에서 2개의 의자는 서로 비슷하고 책상은 두 이미지와 다르다고 이야기할 수 있다. 그런데 의자끼리 비교한다면 다리 사이 연결, 모서리, 각도 등의 패턴을 학습해야만 모델이 모두 이해할 수 있다. 이러한 특징들은 데이터의 잠재 공간에 표현된다.

 

따라서 차원이 감소할 수록 각 이미지의 중요한 특징만 잠재 공간에 저장되기에 색상같은 정보들은 제거될 수 있다. 결과적으로 차원을 줄이면 두 의자의 표현이 덜 구별되고 유사해지며 공간 상에서 '더 가까이' 있게 된다. ( 공간 상 거리에는 여러 정의가 있기 때문에 유클리디안 거리로 고려하지 말기)

 

공간의 중요성을 본다면 아래 두 그래프를 비교해보자. 3D의 결과와 2D의 결과에서 다른 것을 같은 것으로 인식할 수 있게 된다는 점을 느낄 수 있을 것이다.

 

 

잠재 공간에서 데이터의 '근접성'은 일반적으로 Auto Encoder를 통해 조절한다. 우리는 모델이 무엇을 출력하는지가 아닌 모델이 그 과정에서 무엇을 배우는지에 더 관심이 있기 때문에 이 과정이 필요.

 

 

 

 

Interpolation

압축한 이미지를 decoder에 보냈을 때 두 의자의 중간 지점의 새로운 이미지를 얻을 수 있다. 아래 예시는 잠재 공간에서 두 의자 사이의 선형 보간의 예.