Исследователи из Кембриджского университета демонстрируют новую возможность роботов — обучение на основе кулинарных видеороликов. Инженеры успешно обучили робота восьми простым рецептам салатов, используя видео-инструкции.
Более того, в результате эксперимента робот самостоятельно распознал и приготовил новый девятый рецепт, которому его не учили.
Исследователи разработали восемь простых салатных рецептов и записали видео, демонстрирующее процесс их приготовления. Затем они использовали общедоступную нейронную сеть для обучения своего робота-повара. Нейронная сеть была настроена на распознавание различных объектов, включая фрукты и овощи, используемые в рецептах (брокколи, морковь, яблоко, банан и апельсин).
С помощью методов компьютерного зрения робот проанализировал каждый кадр видео и успешно идентифицировал объекты и особенности, такие как нож, ингредиенты, руки, кисти и лицо человека. Рецепты и видео были преобразованы в векторы, и робот выполнил математические операции с векторами, чтобы определить сходство между демонстрацией и векторами.
Робот точно определял ингредиенты и действия повара-человека, позволяя ему определить, какой из рецептов готовился. Например, если человек держит нож в одной руке, а морковь в другой, робот понимал, что морковь будет нарезана. Из 16 просмотренных видео робот правильно распознал рецепт в 93% случаев, хотя он заметил только 83% действий повара.
Кроме того, робот успешно определял небольшие изменения в рецепте, такие как двойная порция или обычная ошибка, и рассматривал их как вариации, а не новые рецепты. Он также правильно распознал демонстрацию нового, девятого салата, добавил его в свою кулинарную книгу и приготовил.
Это исследование показывает, что визуальное обучение роботов в приготовлении пищи является возможным. В отличие от людей, которые изучают новые рецепты наблюдением за другими людьми или просмотром видео на YouTube, программирование робота-повара требует больших затрат и времени.
