Facebook открывает платформу Droidlet

Facebook открывает платформу Droidlet Блог

Facebook сегодня открыла Droidlet -платформу для создания роботов. Использующих обработку естественного языка и компьютерное зрение для понимания окружающего мира. Droidlet упрощает интеграцию алгоритмов машинного обучения в роботах. По словам Facebook облегчая быстрое прототипирование программного обеспечения.

Роботы сегодня могут быть хореографами, пылесосами чтобы пылесосить пол или исполнителями танцев. Но они изо всех сил пытаются достичь гораздо большего. Это происходит потому что они не могут обрабатывать информацию на глубоком уровне. Роботы не могут распознать что такое стул. Или знать что например наткнувшись на разлитую банку из-под содовой не нужно создавать еще больший беспорядок.

Droidlet-это не универсальное решение проблемы. А скорее способ проверить различные модели компьютерного зрения и обработки естественного языка. Он позволяет исследователям создавать системы, способные выполнять задачи в реальном мире или в имитируемых средах. Таких как среда обитания Minecraft или Facebook, поддерживая использование одной и той же системы на различных робототехниках путем замены компонентов по мере необходимости. Платформа предоставляет панель мониторинга, в которую исследователи могут добавлять виджеты и инструменты отладки и визуализации. А также интерфейс для исправления ошибок и аннотаций. А Droidlet поставляется с оболочками для подключения моделей машинного обучения к роботам. В дополнение к средам для тестирования моделей видения, точно настроенных для настройки робота.

Модульная конструкция Facebook Droidlet

Droidlet состоит из набора компонентов — некоторые эвристические, некоторые изученные — которые могут быть обучены статическим данным, когда это удобно, или динамическим данным, когда это уместно. Конструкция состоит из нескольких межмодульных интерфейсов:

  • Система памяти, которая действует как хранилище информации между различными модулями
  • Набор перцептивных модулей которые обрабатывают информацию из внешнего мира и хранят ее в памяти
  • Набор задач более низкого уровня, таких как “Переместиться на три фута вперед” и “Поместить предмет в руке в заданные координаты”, которые могут повлиять на изменения в окружающей среде робота.
  • Контроллер, который решает, какие задачи выполнять на основе состояния системы памяти

Каждый из этих модулей может быть дополнительно разбит на обучаемые или эвристические компоненты, говорит Facebook. А модули и панели мониторинга могут использоваться вне экосистемы Droidlet. Для исследователей и любителей Droidlet также предлагает “включенные батарейки” системы, которые могут воспринимать окружающую среду с помощью предварительно подготовленных моделей обнаружения объектов и оценки позы и хранить свои наблюдения в памяти робота. Используя это представление, системы могут реагировать на языковые команды типа “Иди к красному стулу”, используя предварительно обученный нейронный семантический анализатор, который преобразует естественный язык в программы.

Facebook открывает платформу Droidlet

Читайте также:КАК НАСТРОИТЬ ИЛИ ОТКЛЮЧИТЬ ПОДСВЕТКУ КЛАВИАТУРЫ НА MACBOOK

“Платформа Droidlet поддерживает исследователей, создающих воплощенные агенты в более общем плане. Уменьшая трения при интеграции моделей машинного обучения и новых возможностей. Будь то сценарии или выученные в свои системы а также предоставляя пользователю опыт взаимодействия человека и агента и аннотации данных”, – написал Facebook в своем блоге. – По мере того как все больше исследователей будут строить с помощью Droidlet, они будут улучшать его существующие компоненты и добавлять новые, которые другие, в свою очередь, затем смогут добавлять в свои собственные робототехнические проекты … С помощью Droidlet исследователи робототехники теперь могут воспользоваться значительным недавним прогрессом в области искусственного интеллекта и создать машины, способные эффективно реагировать на сложные устные команды, такие как”Поднимите синюю трубку рядом с пушистым стулом, в котором сидит Боб”.

Оцените статью
Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Наш сайт использует файлы cookies, чтобы улучшить работу и повысить эффективность сайта. Продолжая работу с сайтом, вы соглашаетесь с использованием нами cookies и политикой конфиденциальности.

Принять