Поздний фьюз
- Вместо того, чтобы сразу объединять данные в единое представление, мы каждой модальности предоставляем свой энкодер.
- Здесь фьюзить мы собираемся именно фичи, а не сырые данные.
- Такой поход делает нашу архитектуру более модульной и позволяет нам легче использовать чужие наработки.
- К примеру, вышел новый невероятно хороший камерный бекбон, который побил все бенчмарки. Мы можем, особо не напрягаясь, встроить его и провести эксперимент. При раннем фьюзе нам пришлось бы адаптировать бекбон под метод фьюза, или эту статью отбросить в принципе.
- В основном говорят о двух самых распространенных методов позднего фьюза: на основе BEV-представления и Query-Based подход.