Подписаться на новости
brand brand
logo logo
Сообщество робототехников

Нейронная сеть от DeepMind научилась превращать 2D-картинки в 3D

Нейронная-сеть-от-DeepMind-научилась-превращать-2D-картинки-в-3D
Понедельник, 18 Июня 2018, в 17:21
Искусственный интеллект

Разработчики из DeepMind создали нейронную сеть, которая способна исследовать окружающее пространство и додумать, как представленные предметы могут выглядеть с разных ракурсов. И всё это – без помощи людей.

Современные системы машинного обучения работают благодаря нейронным сетям, которые для этого зачастую требуют много изображений с разметкой. Реализация такой системы занимает у разработчиков много времени, поскольку им необходимо мануально прописывать характеристики каждого изображения. Главный её изъян в том, что многие детали в описании опускаются, что ограничивает способность алгоритма к воссозданию объектов.

Чтобы исправить ситуацию, разработчики «очеловечили» алгоритм обучения: они организовали среду, в которой система сама может наблюдать трёхмерную сцену с нескольких углов, а потом рендерить полученное изображение с произвольного ракурса.

Так, группой исследователей во главе с Али Эслами был создан фреймворк Generative Query Network (GQN). Благодаря ему программа воссоздает окружающее пространство, полагаясь на полученные знания.

GQN состоит из двух сетей – репрезентативной и генеративной. Во время исследования окружающего пространства программа получает двухмерное изображение сцены, передающееся по репрезентативной сети. Она обрабатывает полученную информацию и преобразовывает в вектор. Таким образом, каждое новое наблюдение даёт программе возможность собрать максимум сведений об объектах, которые находятся в исследуемом пространстве.

 

Нейронная-сеть-от-DeepMind-научилась-превращать-2D-картинки-в-3D-2

 

Параллельно генеративная сеть, базируясь на обработанных данных, предполагает, как может выглядеть объект в неисследованных ракурсах.

GQN также учится извлекать важные детали и воспроизводить их из набора пикселей. В процессе тренировки генеративную сеть научили воссоздавать объекты с изображений – узнавать их расположение относительно друг друга, определять свойства помещения и выделять важные характеристики исследуемых объектов. Помимо этого, система умеет обобщать данные. К примеру, если на разных изображениях ей часто встречается небо – нейросеть запомнит, что оно голубого цвета.

Тестирование алгоритма показало, что GQN может реалистично воспроизводить увиденное без знаний основ перспективы, композиции, освещения и т.д. Более того, система умеет определять количество предметов в помещении – в независимости от того, видны ли все их части или нет.

Работа GQN, по мнению разработчиков, пока еще далека от идеала. В будущем DeepMind планирует воссоздавать с помощью своего софта уже реальные сцены.

 

Читайте также: «Искусственный интеллект Бенджамин создал фильм ужасов»

 

Подробнее о разработке читайте здесь.

рейтинг

951

просмотров

0

комментариев

порекомендовать друзьям

ЧИТАТЬ НА ЭТУ ТЕМУ

Loading

комментарии

Нет комментариев

Гость

Дорогие друзья! Помните, что администрация сайта будет удалять:

  • Комментарии с грубой и ненормативной лексикой
  • Прямые или косвенные оскорбления героя поста или читателей
  • Короткие оценочные комментарии ("ужасно", "класс", "отстой")
  • Комментарии, разжигающие национальную и социальную рознь
brand brand