Люди с легкостью могут представить каков тот или иной объект на ощупь, только взглянув на него. Также не будет сложностью описать предмет, пощупав его. Однако для машины это может стать невыполнимой задачей. Тем не менее, новый робот, разработанный в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института, пытается это сделать.
Команда снабдила руку-робота KUKA тактильным сенсором GelSight. Он был создан научной группой Теда Адельсона на базе лаборатории CSAIL. Информация, которую собирает сенсор, передается в ИИ, чтобы он мог установить взаимосвязь между внешним видом предмета и тактильными ощущениями.
Чтобы научить ИИ определять объект на ощупь, команда записала 12 тыс. видео о 200 объектах. Видео содержали изображения таких вещей как ткани, инструменты и домашняя утварь. Видео было разбито на множество неподвижных изображений. ИИ использовал этот набор данных для формирования связей между тактильной и визуальной информацией.
