Маёвцы рассказали о применении роя квадрокоптеров при поисковых операциях

Группа исследователей из Московского авиационного института (национального исследовательского университета) вместе с коллегами из других исследовательских центров России опубликовала статью под названием «Применение роя квадрокоптеров для поисковых операций» на интернет-портале ScienceDirect (принадлежит одному из системообразующих мировых научных издательств Elsevier). В своём материале эксперты рассказывают о прорывной технологии, осуществляющей поиск пропавших людей в лесу с помощью беспилотных летательных аппаратов.

Применение роя квадрокоптеров для поисковых операций

Согласно данным Министерства внутренних дел в России ежегодно пропадают более 120 тысяч человек. Причинами этого являются не только несчастные случаи и насилие, но также пропажа людей в лесах. На данный момент самым эффективным способом найти человека в лесу является систематическое линейное прочёсывание территории с изданием громких звуков, направленных на привлечение внимания потерявшегося. В большинстве случаев поисковый персонал состоит из волонтёров. Очень сложно формировать спасательные отряды удалённо и в малонасёленных районах. Кроме того, прочёсывание леса поисковыми группами — это длительный и ресурсоёмкий процесс с ограниченной зоной применения, особенно в отдалённых районах, обширных регионах и в сложных погодных условиях.

Иногда спасательные службы используют вертолёты, но в случае поиска в лесах довольно сложно увидеть человека под кронами деревьев. Потерявшийся человек должен находиться на открытом пространстве и издавать громкие звука, чтобы быть опознанным с высоты птичьего полёта. Тем не менее, при задействовании вертолёта успех спасательной операции всё равно не гарантируется, а также этот способ является ресурснозатратным. В этой связи он используется только в исключительных случаях.

Поиск потерявшихся — это операция, которая требует большого количества специально обученных людей, терпения, навыков, а также достаточную материально-техническую базу: воду, еду, одежду для различных метеоусловий и т. д. Поэтому необходимо выработать новое решение, основанное на современных технологиях. Мы предлагаем использовать рой беспилотных летательных аппаратов (БПЛА), которые способны летать под кронами деревьев.

Новый подход к решению задач поисковых операций

Чтобы вывести технологию поиска потерянных людей на новый уровень, используя при этом минимум ресурсов и исключая участие добровольцев, мы предлагаем рассмотреть новый подход к проблеме. Проект был реализован в рамках конкурса «Одиссея» от компании «Система». Суть соревнования — создать устройство или технологию, способную определять точные координаты местонахождения пропавшего человека в радиусе не менее 10 км в естественной среде (лесу), независимо от времени суток. Одно из условий — отсутствие инфраструктурной связи. Для соревнования была выделена площадь лесистой местности размером 10 км², в которой находился один «потерявшийся» человек. Задача — найти его, используя устройства и технологии, в течение 10 часов.

Руководитель школы дронов МАИ Кирилл Щукин

Стоит отметить, что обследуемая площадь превышает ту, которую может охватить спасательная команда из 10 человек. Средняя скорость движения человека на дороге составляет 4–6 км/ч; в случае прохождения через лесные районы и пристального поиска пропавших людей, фактическое значение скорости может упасть до 2–5 км/ч. Ширина линии не может превышать прямой видимости — в среднем 15–20 метров.

Оптимальным решением этой проблемы может стать использование БПЛА. Их использование намного дешевле по сравнению с вертолётами или поисково-спасательными полётами самолётов. Преимущества БПЛА перед другими роботизированными решениями — высокая проницаемость и оптимальная скорость.

Эффективность автоматического режима

В настоящее время существует два типа управления дронами — ручной и автоматический.

Используя БПЛА в ручном режиме, можно точно обследовать необходимую площадь. Этот тип управления не исключает человеческого фактора. Например, неправильная команда для дрона может привести к его повреждению. Поэтому основной сложностью ручного управления является необходимость присутствия квалифицированного оператора. Также необходимо учитывать дальность передачи сигнала, чтобы избежать потери сигнала.

Специалисты МАИ Михаил Колодочка и Александр Кунашук

В автоматическом режиме БПЛА получает команду и выполняет действия без участия оператора, например, рейс по маршруту с указанными точками. Для этого необходимо указать зону съёмки, а также предполагаемый маршрут. Следовательно, можно исключить неизведанные зоны. Для определения собственного местоположения относительно указанных точек требуется постоянный сигнал GPS для БПЛА.

Обнаружение людей с помощью БПЛА требует использования таких технических устройств, как тепловизор или инфракрасный томограф (сетка) и многоспектральная камера. Их установка позволяет обнаружить человека издалека, а также независимо от условий освещения.

Основным недостатком использования сетки оптического прибора является отражение и обратное рассеяние от окружающей среды (пыль, капли дождя, снег, туман), особенно в ближней зоне, когда размер снежинок или капель воды сопоставим с апертурой объектива. Это ограничивает их использование при полёте над лесами, особенно в жаркий период. Листья деревьев, нагретые солнечным светом, не дадут сенсорам наблюдать за поверхностью, где стоят люди. Привлечение группы беспилотников (роя), работающих под кронами деревьев, позволяет устранить этот недостаток. Такой подход позволяет достичь высокой точности обнаружения людей.

Система предотвращения столкновений и контроля

Как описано выше, БПЛА должен работать автоматически. Поэтому БПЛА должен быть оснащён контроллером полёта Pixhawk 4. Перед стартом оператор создает полётное задание — прямую траекторию с набором ключевых точек, расположенных на расстоянии 100 м друг от друга. Беспилотник движется по траектории от точки к точке, тем самым выполняя задачу полёта. Расположенные точки имеют действительную площадь 3 м и не связаны с высотой, так как невозможно учесть все особенности местности. 

Технические характеристики

Дрон оснащён:

• 900 МГц система телеметрии. Используется для ручного управления;
• 2,4 ГГц цифровая система передачи видео. Используется для передачи видеопотока на ретранслятор дрона;
• GPS / ГЛОНАСС. Требуется для определения дроном собственной позиции в режиме реального времени;
• Т-моторный двигатель, силовая установка квадрокоптера;
• датчик глубины камеры. Используется для создания карт глубины и необходим для системы предотвращения столкновений;
• 1,2 ГГц аналоговая система передачи видео для 16 Р.В. Для передачи видеопотока оператору;
• система распознавания (Nvidia Jetson TX2). Нейронный сетевой модуль с обученной системой распознавания человека;
• автономная навигационная система с датчиками предупреждения столкновения, контроллер полёта с алгоритмом предотвращения столкновений на борту;
• канальный вентилятор с обтекателем, предназначенный для защиты пропеллера, увеличивает тягу двигателей на 20 %.

Система предотвращения столкновений БПЛА

Система предотвращения столкновений БПЛА должна быть быстрой, точной и надёжной. Алгоритм обхода препятствий должен обнаруживать даже небольшие ветви, уклонение должно быть быстрым. Для реализации системы предотвращения столкновений был проведен сравнительный анализ существующих алгоритмов.

По завершении тестов лучшим решением стало использование библиотеки Intel Collision Avoidance Library в сочетании со стереокамерой Intel Realsense D435. С помощью камеры формируется карта глубин местности. Затвор камеры имеет угол обзора 85,2 ° x 58 ° и дальность действия до 10 м. Камера расположена на передней части БПЛА, а её угол обзора позволяет составить карту достаточной глубины для прямолинейного движения. Измерения проводятся постоянно во время движения БПЛА.

Избежание препятствий осуществляется с помощью метода потенциальных полей. Суть его заключается в следующем: беспилотник рассматривается как материальная точка в пространстве с нулевым потенциалом. Следующая ключевая точка в полётной задаче имеет привлекательное потенциальное поле, и каждое препятствие создаёт отталкивающее потенциальное поле (его сила обратно пропорциональна расстоянию до него). Таким образом БПЛА движется в результирующем направлении.

Управление роем квадрокоптеров

Выполнение миссии требует контроля более чем одного БПЛА. Путевые точки для квадрокоптера задаются в контроллере полёта головного устройства. На этом этапе испытания проводятся с помощью симуляции. Можно использовать централизованную и децентрализованную систему управления квадрокоптером. Децентрализованное управление роем необходимо для решения различных задач. Квадрокоптеры не зависят друг от друга, и каждый из них выполняет свою задачу. В этой статье мы рассмотрим централизованную систему управления с «ведущим» квадрокоптером (главный дрон). Беспилотник «Лидер» является центральным мультикоптером в «цепочке». Этот БПЛА движется впереди роя.

Мы планируем передавать информацию о местонахождении беспилотника «Лидер» остальным в рое в режиме реального времени через порты MAVLink. Положение GPS основного беспилотника корректируется с использованием известного смещения и отправляется на другие беспилотники в виде серии динамических путевых точек. Все БПЛА будут следовать за «лидером» на заданных расстояниях смещения. В случае выхода из строя или неисправности «ведущего» квадрокоптера ближайший дрон становится основным.

Алгоритмы обнаружения человека

В качестве учебного набора данных использовались данные UOpen и собственные данные, собранные в лесу. Сегодня, анализируя глобальные исследования в области разработки алгоритмов обнаружения, мы можем выделить два типа:

• классические алгоритмы обнаружения, не связанные с глубоким обучением. Такие алгоритмы включают, например, обнаружение человека на основе гистограмм направленных градиентов; на движение объекта (фоновый анализ) и т. д .;
• обнаружение человека с помощью свёрточных нейронных сетей. Эти алгоритмы включают в себя двухэтапные (Faster RCNN, Mask RCNN), одноэтапные (YOLO, SSD, RetinaNet) и каскадные (MTCNN).

Классические алгоритмы обнаружения работают быстро (даже без видеокарт), но обладают не очень высоким качеством обнаружения, поэтому не применимы в поисковых операциях. Следовательно, в качестве системы обнаружения на БПЛА используется свёрточная нейронная сеть (на основе одноэтапных алгоритмов YOLO). Через нейронные сети FPV-камера на гиростабилизированной платформе распознаёт изображение человека. Обучение нейронной сети проводится через помеченный набор данных с использованием алгоритма обратного распространения погрешностей. Из этого набора данных выбираются кластеры для распознавания человека, что позволяет не перегружать компьютер другими элементами.

Обнаружение людей осуществляется с использованием доверительного интервала: если точность распознавания достигает порогового значения, нейронная сеть учитывает человека, который будет обнаружен и найден. БПЛА сообщает оператору о найденном человеке, оператор проверяет данные, а затем принимает решение продолжить или прервать операцию поиска.

Выводы

Поиск человека — трудоёмкая и энергоёмкая задача. Важность поисково-спасательных миссий высока, они актуальны не только в России, но и во всем мире. Предлагаемое решение имеет существенное преимущество перед стандартными (привлечение вертолёта или цепочки людей). Мы уже внедрили наш подход для обнаружения людей и провели тесты по предотвращению столкновений. Задачи на будущее — выполнение обработки видео на борту беспилотного летательного аппарата, повышение автономности беспилотников во избежание привлечения второго оператора, а также проверка возможности использования радиорелейного беспилотного летательного аппарата для обеспечения связи и локальной навигации.

Авторы: Лесив Е. А., Колодочка М. А., Щукин К. О. — Московский авиационный институт (национальный исследовательский университет); Мещеряков Р. В., Трефилов П. М., Чехов А. В., Diane S. A. K, Русаков К. Д. — Институт проблем управления им. В. А. Трапезникова РАН; Новосельский А. К. — Институт кибернетики МИРЭА — Российского технологического университета; Гончарова Е. — Московский государственный технический университет им. Баумана.