Мобильный робот-собиратель с возможностью обучения (на основе нейронных сетей)
Поиск – одна из задач, которая может быть решена за счет роботов. В первую очередь роботы используются для замены человека во время опасной и тяжелой работы, например при обследовании разрушенных зданий или зараженных радиацией территорий. Современный уровень развития техники и технологий привел к снижению стоимости роботов и сделал возможным их применение в быту и во время досуга. Поиск и сборка мусора, наведение порядка, подача мячей и других спортивных снарядов на тренировках могут быть автоматизированы за счет использование роботов. В этом случае говорят о сервисной робототехнике.

Для решение задачи поиска робот должен быть способен:
  1. передвигаться по характерному для задачи рельефу (например, пересеченная местность или внутреннее пространство зданий),
  2. выявлять объекты поиска за счет датчиков (например, видеокамеры или тепловизора),
  3. в зависимости от задачи сообщать координаты найденного объекта или самостоятельно захватывать и транспортировать его к месту назначения.

Цель проекта – создание прототипа робота, способного обследовать помещения, находить лежащие на полу объекты из заранее известного списка и доставлять их в место назначения.

Такой робот может быть использован для сбора разбросанных игрушек в детском саду, для уборки мусора, с которым не справляется робот-пылесос (бутылки, банки и т. п.) в кинозалах или досуговых помещениях, для подвоза теннисных мячиков во время тренировки спортсменов, для поиска забытых или потерянных вещей.

Исходными данным для робота являются:
  • карта помещения,
  • список объектов для поиска,
  • точка на карте для каждого объекта из списка, в которую его требуется доставить.

Предполагается, что робот "видит" окружающий мир при помощи видеокамеры. Для того, чтобы он мог найти заданный объект, необходимо анализировать видеопоток и выделять на изображениях объекты из списка. Для решения этой задачи хорошо подходит нейронная сеть, обученная на наборе фотографий тех объектов, которые требуется искать. Процесс обучения требует времени и больших вычислительных ресурсов. Поэтому этот шаг выполняется заранее, и готовая нейросеть передается роботу в дополнение к списку объектов для поиска.
Предыстория
В результате выполнения проекта "Мобильный робот для раздельного сбора мусора: разработка и моделирование" в Университетской гимназии в 2020 – 2022 годах был получен прототип робота, предназначенного для поиска и сбора некрупного мусора: банок и бутылок. Полученные наработки являются основой для создания более универсального робота в рамках текущего проекта.
Задачи
  • 1
    Конструирование робота
    Требуется создать прототип робота на базе мобильной платформы с дифференциальным приводом TurtleBro. Для этого нужно разработать систему захвата и транспортировки объектов, модифицировать при необходимости корпус мобильной платформы, изготовить детали по чертежам в мастерской Университетской гимназии (3D печать, лазерная резка, фрезерование, ручная обработка) и выполнить сборку робота.
  • 2
    Создание системы управления
    Система управления мобильной платформы основана на фреймворке ROS.
    Необходимо разработать и реализовать два основных алгоритма:
    • поиск объектов на территории с использованием карты,
    • подъезд к найденному объекту и его захват с использованием визуальной обратной связи (видеокамера).
  • 3
    Обучение нейросети для детектирования объектов на изображениях
    Для детектирования объектов на изображениях планируется использовать нейросеть YOLO.
    Необходимо освоить инструменты для подготовки данных и обучения нейросети, выбрать наиболее подходящую конфигурацию нейросети и программные библиотеки для ее использования на бортовом компьютере (Raspberry Pi 4). Далее процесс подготовки нейросети для заданного списка объектов нужно документировать и по возможности автоматизировать.
Участники проекта
  • Конструирование
    2 человека, 10 класс, инженерный профиль
    Приветствуется опыт работы в САПР (Компас-3D, SolidWorks и т. д.), программах для создания компьютерной 3D графики (Blender, 3dsMax, Tinkercad и т. д.), а также склонность к работе в мастерской.
  • Создание системы управления
    2 человека, 10 класс, математический или инженерный профиль
    Приветствуются навыки в прикладном программировании, опыт программирования роботов и знакомство с фреймворком ROS.
  • Обучение нейросети для детектирования объектов на изображениях
    1 человек, 10 класс, математический или инженерный профиль
    Приветствуется интерес к машинному зрению, нейронным сетям, а также способность к поиску информации в интернете и чтению документации/инструкций на английском языке.
Руководитель проекта

Злобин Дмитрий Васильевич

аспирант, кафедра НДСиПУ
ВМК МГУ им. М.В. Ломносова