Skip to content

Комп'ютерний зір (оптичний потік, MoCap, VIO, уникання)

Техніки комп'ютерного зору дозволяють комп'ютерам використовувати візуальні дані для розуміння їх оточення.

PX4 використовує системи комп'ютерного зору (переважно запущені на супутніх комп'ютерах) для підтримки наступних функцій:

  • Оцінка положення/швидкості:
    • Optical Flow забезпечує 2D оцінку швидкості (за допомогою камери, спрямованої вниз, та датчика відстані, спрямованого вниз).
    • Motion Capture забезпечує 3D-оцінку положення за допомогою системи комп'ютерного зору, яка є зовнішньою відносно апарату. Це переважно використовується для внутрішньої навігації.
    • Візуальна інерційна одометрія (VIO) забезпечує оцінку 3D-позиції та швидкості за допомогою бортової системи зору та IMU. Використовується для навігації, коли інформація про глобальне місцезнаходження відсутня або ненадійна.
  • Уникнення/планування шляху:
    • Obstacle Avoidance забезпечує повну навігацію навколо перешкод під час польоту за запланованим маршрутом (наразі підтримуються місії). Для цього використовується PX4/PX4-Avoidance, запущений на супутньому комп'ютері.
    • Collision Prevention використовується для зупинки транспортних засобів до того, як вони можуть зіткнутися з перешкодою (переважно під час польоту в ручному режимі).
    • Safe Landing допомагає транспортним засобам знаходити (і приземлятися на) рівну місцевість, вільну від стаціонарних перешкод.

TIP

PX4 Vision Autonomy Development Kit (Holybro) - це надійний і недорогий набір для розробників, які працюють з комп'ютерним зором на PX4. Він поставляється без попередньо встановленого програмного забезпечення, але включає приклад реалізації уникання перешкод для демонстрації можливостей платформи.

Додаткові ресурси

  • XTDrone - середовище моделювання ROS + PX4 v1.9 для комп'ютерного зору. У посібнику XTDrone є все необхідне для початку роботи!