Нейросеть научилась создавать невероятные 3D-эффекты как при съемке квадрокоптером (но без использования квадрокоптера) и в перспективе подарит роботам зрение.

В этой теме Конференций обсуждаем статью "Нейросеть научилась создавать невероятные 3D-эффекты как при съемке квадрокоптером (но без использования квадрокоптера) и в перспективе подарит роботам зрение."

3D-технология Neural Radiance Field (NeRF) (переводится как «Поле Нейронного Сияния») развивается невероятно быстрыми темпами и уже достигла потрясающих результатов.



Нейронная сеть NeRF, разработанная Калифорнийским университетом и Google, впервые была анонсирована впервые в марте 2022 года на конференции разработчиков GTC.

Принцип этой технологии заключается в том, что Вы можете загружать свои фото и видео, сделанные на определенной местности с помощью Вашего смартфона на специальную компьютерную платформу, которая способна обработать с помощью искусственного интеллекта эти материалы таким образом, что создается визуальный эффект 3D-модели реального мира.

Теперь один человек, сможет сделать такие спецэффекты, на создание которых до этого требовалась целая команда специалистов. Такие 3D-модели можно использовать в видео-играх, имитировать разные пролеты камеры или воплощать фотореалистичные 3D-среды для VR-показов и т.д.

В сочетании с искусственным интеллектом, который способен преобразовывать текст в видео или в музыку эта технология сможет очень скоро реализовывать фантастические проекты, о которых сейчас даже сложно подумать.

Разработка Google Zip-NeRF сейчас находится на ранней стадии развития, но её достижения уже позволяют работать ей примерно в 22 раза быстрее, чем предыдущая версия mip-NeRF, и при этом допускать заметно меньше ошибок. Этот проект в перспективе однозанчно станет маст-хэвом для риэлторских компаний.

В недалекой перспективе NeRF-разработка по оцнкам специалистов может подарить работам "глаза". Например, если роботу, предложат убраться в квартире, он сможет зайти на вашу кухню или в спальню, и применяя NerF-технологию в сочетании с подсказками от текстового ИИ (на подобии чата GPT), найти совок для мусора, пылесос, разобраться где- находится раковина, кухонные шкафы и ящики и выполнить команду по уборке вплоть до выноса мусора.




В видеоиграх эта технология имеет практически неограниченные способности. Например, японские разработчики уже работают над рендерингом 3D-сцен, созданных на базе NeRF, в режиме реального времени в Unreal Engine. Японцы утверждают, что они достигли эффекта более 60 кадров в секунду на графическом процессоре nVidia RTX3070 с минимальным использованием памяти.