Mutimodal 멀티모달

Multimodal Data?

우리의 경험은 실제로 복합적(multimodal)이다.

보고, 듣고, 촉감을 느끼고, 향기를 맡고, 맛을 음미한다.

Modality는 어떤 일이 일어나거나 우리가 무언가를 경험하는 다양한 방식을 말한다.

그리고 이것을 활용하기 위해서는 멀티모달로 특징화해야한다. 

Multimodal Data는 서로 다른 형태의 정보로 이루어져 뚜렷한 특성이 구분되는 데이터이다.

이미지 데이터, 텍스트 데이터, 센서 데이터 등 다양한 형태로 이루어진 데이터 특징을 효과적으로 학습하기 위한 방법을 Multimodal learning이라고 하고, 데이터 통학적인 분석을 하기 위해서 중요하다. 

 

Multimodal Deep Learning?

이렇게 성능을 개선하기 위해 서로 다른 modality를 가지고 있는 데이터를 결합하는 것은 재미있어 보이지만 실제로는 다양한 잡음과 modality간의 충돌이 일어나 어렵다.

 위 구조에서는 현실 상황과는 달리 sub-network에 중요성(weight)을 동일하게 취급해버릴 가능성이 있다.

 

 

따라서 이렇게 각 데이터의 형태에 따라 가중치를 달리한 subnetwork를 결합한다. 

 

정확성과 해석 가능성

Sentiment Intensity 데이터셋의 Multimodal 뭉치 (Text, Audio, Speech)

 

 

Reference

https://towardsdatascience.com/multimodal-deep-learning-ce7d1d994f4

Multimodal Deep Learning