Разработчики израильской компании Lightricks создают масштабируемую базовую модель для обучения робототехники. Платформа обучает роботов не только на видео, но и на целом наборе физических параметров среды.

Израильский стартап Lightricks
завершает процесс разделения бизнеса и выделяет подразделение искусственного интеллекта в независимую структуру LTX. Главной задачей новой платформы станет разработка так называемой "модели мира" – базовой системы, спроектированной для обучения физического ИИ и автономной робототехники.

Проект опирается на единую обработку информации от физических датчиков и видеопотока. Для точной ориентации в пространстве и управления манипуляторами робот должен считывать не только картинку с камер, но и динамику физических параметров: температуру, давление и тактильный контакт. Инженеры сводят эти разнородные данные к единому пространственному коду. Показания каждого отдельного датчика конвертируются в пиксели определенной яркости и цвета, создавая специальный "сенсорный кадр". Этот поток объединяется со стандартным видео с камер, формируя целостную визуальную матрицу всего окружающего мира.

На таком гибридном материале и обучается базовая модель. Обрабатывая последовательность кадров, алгоритм учится предсказывать не просто следующую картинку, а комплексное развитие событий. Получив на входе весь комплекс информации робот учится делать прогноз: как изменится картинка, как отреагируют его физические датчики на то или иное микродвижение. Модель фактически прогнозирует физику реальности, оценивая последствия любого действия.

Создание такой платформы требует больших объемов информации и вычислительных мощностей. "Самая дорогая часть – это обучение на всех данных, на огромных массивах видео из интернета. Мы тратим на это около 50 миллионов долларов в год, – цитирует экономическое издание Globes
руководителя LTX Зеева Фарбмана. – Но если у вас есть система, которая принимает кадр и умеет угадывать, как будут выглядеть следующие кадры, ее можно использовать в робототехнике".

По мере развертывания LTX многие команды инженеров смогут использовать готовый фундамент и адаптировать его под собственные типы роботов, не тратя бюджеты на первичное машинное обучение.

newsru.co.il