Интересно, что здесь DL есть не только в процессе обучения параметров гауссиан.

⚙️ Для улучшения геометрии объектов необходимо в качестве регуляризации процедуры обучения использовать карты глубин. Карты глубин можно создать как с помощью классических алгоритмов из фотограмметрии, так и с помощью нейросетей из семейства Depth Anything. Это позволяет решать такие проблемы, как, например, полупрозрачные здания, где белый цвет однородной стены может происходить от гауссиан, расположенных сильно позади этой стены; в этом случае при просмотре с ракурсов, которых не было в обучающей выборке, модель получается "дырявой".

🚘 🧍‍♂️Для корректной реконструкции желательно, чтобы все объекты были неподвижны. В реальном мире это невозможно. Два самых распространённых подвижных класса объектов — машины и люди. Чтобы реконструкция не пыталась "нарисовать" в разных местах идущего человека, на каждом из таких изображений надо определить его положение и не производить реконструкцию в данной области. Для этого нужно использовать сегментацию — ищем машины и людей, создаём маски. Иногда даже можно применять impainting, чтобы чем-то заполнять области, покрытые масками на всех изображениях.

🗺 Для использования построенной модели нужно корректно определить её ориентацию на карте мира. В этом тоже помогают возможности различных нейросетей.