# PX4 Vision 视觉自主开发套件

PX4 Vision 视觉自主开发套件 (opens new window) 是一个稳定且高性价比的套件,让你能够在自动化载具上开发计算机视觉。

综述

这个套件含有一个几乎到手即飞的碳纤维机架四旋翼,配备 Pixhawk 4飞控UP Core 机载计算机(4GB 内存和64GB eMMC),以及Structure Core 深度相机。

Note 无人机上没有预先安装的软件。 预成像U盘包含PX4/避障 本地规划软件的参考实现,由Auterion 提供。 该软件仅提供一个非常基本的示例,说明您可以使用 PX4 Vision 自主套件做什么。 开发者可以使用套件来尝试 PX4 避障 (opens new window) 项目提供的其他功能。 修改现有代码,或尝试全新的计算机视觉功能。

该指南阐述了无人机准备飞行所需的最少附加步骤(安装遥控器系统和电池等)。 也包括如何起飞,以及如何修改计算机视觉代码。

# PX4 Vision 自主无人机开发套件(先行者版)

# 警告&通知

# 开始了解你的开发套件

  1. 不要直接使用电源为 UP Core 计算机供电(可能会摧毁计算机)。 UP Core 只能使用电池供电。

  2. 该开发包使用前置摄像头,(它没有向下或后置深照相机)。 因此,它不能用于测试 安全着陆 或其他需要下方摄像头的功能。

  3. 只有在 GPS 工作正常时才能测试任务模式中的自主避障(飞行任务需要使用 GPS 配合)。 防撞功能需要在可获得位置的模式下进行测试,比如GPS或光流有比较好的定位。

  4. UP Core 只能使用电池供电(请勿卸下 UP Core 电源安全盖)。

    警告 - 不连接电源端口

# 包装内容

包装内容

原理图概述

该套件中包含了必要的无人机硬件:

  • 核心组件:

    • 一个Pixhawk 4飞控(包含定制化的PX4固件)
    • 一个 PMW3901 光流传感器
    • 一个 TOF 红外距离传感器(PSK‐CM8JL65‐CC5)
    • 一个 Structure Core 深度相机
      • 160 深度视图摄像机
      • 立体红外摄像头
      • 板载传感器
      • 强大的 NU3000 多核深度处理器
    • 一个 UP Core 计算机 (4GB 内存;64GB eMMC 带 Ubuntu 系统和 PX4 避障)
      • Intel® AtomTM x5-z8350 (up to 1.92 GHz)
      • 兼容的操作系统: Microsoft Windows 10 完整版本, Linux (ubilinux, Ubuntu, Yocto), Android
      • FTDI UART 连接到飞控
      • USB1:USB3-A 接口被用来从 USB2.0 储存器启动 PX4 避障环境(连接到 USB3.0 外设可能会导致GPS无法使用)。
      • USB2:USB 2.0 接口,用于连接 JST-GH 插接件。 可以用于第二个相机,LTE模块等。 (或开发期间使用的键盘/鼠标)。
      • USB3:USB 2.0 JST-GH 端口连接到深度摄像头
      • HDMI:HDMI 输出
      • SD 卡插槽
      • WiFi 802.11 b/g/n @ 2.4 GHz (连接到外部1号天线)。 允许计算机进行 WiFi 家庭网络访问/更新。
  • 机械规格:

    • 框架:全 5mm 3k 碳纤纹
    • 电机:T-MOTOR F60 PROⅢ KV1750
    • 电调: BEHEli-S 20A ESC
    • 桨:T6045
    • GPS: Pixhawk4 GPS 模块
    • 电源模块: Holybro PM07
    • 轴距:286毫米
    • 重量:854克(无电池和桨)
    • 数传:连接飞行控制器的ESP8266(连接外部2号天线)。 实现与地面站的无线连接。
  • 带有 Auterion 提供的预刷新软件的 USB2.0 盘,其附带:

  • 各种导线、8个螺旋桨、2个电池带(已安装)和其他附件(可用于连接其他外围设备)。

# 其他注意事项

该套件包含除电池和无线电控制系统之外的所有基本无人机硬件,这些必须单独购买:

  • 电池:
    • 带 XT60 母头的 4S 锂电池
    • 长度小于115毫米(以适合电源插座和 GPS 支架之间的空间)
  • 无线电控制系统
    • 可以使用各种 PX4 兼容的遥控系统
    • 带有 R-XSR 接收机的 FrSky Taranis 发射机是一个受欢迎的配置。
  • 一个 H2.0 头的内六角螺丝刀(用来打开顶部的螺丝来安装接收机)

此外,用户也需要地面站硬件/软件:

# 首次使用

  1. 将一个 兼容的遥控接收器 连接到无人机上(未随套件提供):

    • 使用 H2.0 头的内六角螺丝刀移除/取消顶部板块(在电池进入的地方)。
    • 将接收器连接到飞控
    • 重新安装上面的外壳。
    • 在无人机背部安装RC 接收器(使用双面胶或其他)。
    • 确保天线无障碍物阻挡并将天线和机架电隔离。例如,在减震板下方或机臂上。
  2. Bind 遥控和接收机配对(如果尚未完成)。 配对方法程序取决于接收机和遥控器(读取接收器手册)。

  3. GPS需要高于无人机,并固定到底板。

    提升GPS映射

  4. 将套件中预先烧录好镜像的U盘插入 UP Core 的端口 USB1 (下面高亮的)

    UP Core:USB1 端口

  5. 用充好电的电池的为无人机供电。

    Note 电池连接前移除螺旋桨。

  6. 使用以下默认凭据将地面站连接到无人机WiFi网络(几秒钟后):

    • SSID: pixhawk4
    • 密码: pixhawk4

    提示 WiFi网络 SSID、密码和其他凭据可以在连接后更改(如果需要), 使用 web 浏览器打开 URL: http://192. 68.4.1 波特率不得从921600更改。

  7. 在地面站启动 QGroundControl

  8. 配置/校准 无人机:

    Note 无人机要进行预先校准(例如使用固件、机架、电池和传感器所有安装)。 您需要校准无线电系统 (您刚刚连接) 并且进行以下的基本检查。

  9. 螺旋桨按照下面的方向安装:

    Note 模式也可以通过QGroundControl切换

    我们推荐的遥控设置为:

    • 默认情况下,PX4 Vision Kit运行 localplanner ,这是您自己的软件的推荐起点。
    • globalplanner 尚未用这个工具包测试。
    • 降落计划器 需要一个向下的摄像头,并且必须先修改相机的安装座才能使用。
  10. 按如下所示旋转连接螺旋桨:

    电机顺序示意图

    • 螺旋桨方向可以从标签中确定:6045 (顺时针) 和 6045 R (逆时针)。

      螺旋桨识别

    • 使用随附的螺旋桨螺母将其拧紧:

      螺旋桨螺母

# 测试飞行(带避障)

当无人机按上述安装完成时:

  1. 连接电池来给载具供电

  2. 找到一个安全的户外位置进行飞行,最好是用树或其他方便的障碍测试PX4视觉。

    Tip 从U盘启动/开始的流程大概会要1分钟(从内部存储大概需要30s)

  3. 检查避障系统是否已经正常启动

    • 使用套件中的 USB-JST电缆获取一个 USB A 连接器

      USB 转 JST 线

    • 如果键盘和鼠标具有单独的接口,则可以将USB集线器连接到电缆。

  4. 等待 GPS 的 LED 变成绿色。 这意味着无人机的GPS已定位并且准备好起飞!

  5. 将预先烧录的USB驱动器插入标有 USB1UP Core 端口中。

  6. 找到一个安全的户外位置进行飞行,最好是用树或其他方便的障碍测试PX4视觉。

  7. 测试 防止碰撞, 启用 位置模式 并手动向障碍飞行。 无人机应减速,然后在障碍物距离小于6米时悬停(通过 CP_DIST 参数,距离 可调整 )。

  8. 要测试 避障,创建一个被障碍阻止的路径。 然后切换到 任务模式 来运行任务。并观察无人机绕开障碍物,然后返回计划路线。

# 使用套件开发

以下各节说明如何将工具包用作开发计算机视觉软件的环境。

# PX4 避障概述

PX4 避障 系统由计算机视觉软件组成,这种软件运行在一个配套的计算机上(附着的深度摄像头),为运行在一个 飞控上的 PX4 飞行堆栈提供障碍和/或航线信息

关于配套计算机视觉/规划软件的文档可以在 github 上找到: PX4/avoidcen (opens new window)。 该项目提供了许多不同的规划程序实现(打包为ROS节点):

  • 您需要通过 USBQGroundControl 连接到套件的 Pixhawk 4 来更新固件。
  • 加载新固件后选择 PX4 Vision DevKit 机架:
  • 降落计划器 需要一个向下的摄像头,并且必须先修改相机的安装座才能使用。

PX4 和配套的计算机使用如下接口通过 MAVLink (opens new window) 交换数据:

# 在机载计算机上安装镜像

您可以在 UP Core 上安装镜像,并从内部内存启动(而不是U盘)。

建议这样做是因为从内部内存启动得更快。 释放USB端口,也能提供比U盘更多的内存。

提示 飞行无人机(带避障) 另外解释了如何验证避障系统是否有效。

将USB镜像刷新到UP Core:

  1. 将预先烧录的USB驱动器插入标有 USB1UP Core 端口中。

登录到配套计算机<0> (如上所述)。

1 打开终端,然后运行以下命令将映像复制到内部存储器(eMMC)。 终端将在刷新过程中提示您一些响应。

cd ~/catkin_ws/src/px4vision_ros
sudo ./flash_emmc.sh

Note 保存到 UP Core 计算机的所有信息将在执行此脚本时被删除

1 拔出U盘。

1 重启无人机, UP Core 计算机现在将从内部内存(eMMC)引导。

# 开启机载计算机 {#boot_mission_computer}

首先插入所提供的 USB2.0 盘 UP 核心 端口标签 USB1 然后用4S电池给无人机供电。 避障系统应在大约1分钟内启动(这取决于所提供的U盘)。

Tip 飞行无人机(带避障) 另外解释了如何验证避障系统是否有效。

如果您已经在机载计算机上安装了 镜像 您只需为该无人机供电(即不需要U盘)。 避障系统应在30秒内启动并运行。

机载计算机一旦启动,就可以用作计算机视力开发环境和运行软件的环境。

# 登录机载计算机

登录到机载计算机:

  1. 通过端口 USB2 将键盘和鼠标连接到 UP Core

    UP Core:USB2

    • 使用套件中的 USB-JST电缆获取一个 USB A 连接器

      USB 转 JST 线

    • 如果键盘和鼠标具有单独的接口,则可以将USB集线器连接到电缆。

      1. 连接显示器到 UP Core 的 HDMI 接口。 UP Core:HDMI 端口

Ubuntu 登录屏幕应显示在显示器上。

  1. 使用凭据登录到 UP Core
    • **用户名:**px4vision
    • **密码:**px4vision

# 开发/扩展 PX4 避障功能

PX4 视觉的 UP Core 计算机为扩展PX4规避软件(以及更广泛地用于使用ROS2开发新的计算机视觉算法)提供了完整且配置完整的环境。 您可以在无人机上开发和测试您的软件,将其同步到自己的git存储库,并在github PX4/Avoidance (opens new window) 存储库上与更广泛的PX4社区共享所有修复和改进。

Catkin工作区是 ~/catkin_ws,并且已预先配置为运行PX4避障本地计划程序。 引导启动文件 (撤销.launch) 位于 px4vision_ros 软件包中(修改此文件以更改启动计划程序的文件)。

避障程序包在引导时启动。 要集成其他规划,需要禁用此功能。

  1. 使用以下指令禁用避障程序:

    systemctl stop avoidance.service
    

您只需重启机器即可重启服务。

其他有用的指令是:

# restart service
systemctl start avoidance.service
# disable service (stop service and do not restart after boot)
systemctl disable avoidance.service
# enable service (start service and enable restart after boot)
systemctl enable avoidance.service  
  1. 避障碍包的源代码可在 https://github.com/PX4/evidence 中查找,该代码位于 ~/catkin_ws/src/evering 中。

  2. 更改代码! 要获取最新的避障代码,请从避障仓库中提取代码:

    git pull origin
    git checkout origin/master
    
  3. 构建软件包

    catkin build local_planner
    

ROS工作区位于 ~/catkin_ws。 关于在 ROS中开发和使用 catkin 工作区,请参阅 ROS catkin教程 (opens new window)

# 开发 PX4 固件

该套件旨在创建可在机载计算机上运行的计算机视觉软件,并与PX4的灵活路径规划和防撞界面集成在一起。

您也可以修改 PX4 本身,然后 将其安装为自定义固件

  • 您需要通过 USBQGroundControl 连接到套件的 Pixhawk 4 来更新固件。
  • 加载新固件后选择 PX4 Vision DevKit 机架: 机身选择 - PX4 Vision DevKit

Note 不需要 修改即可满足大多数计算机视觉用例的需要。 要讨论接口或如何集成其他功能,请加入PX4 slack 通道:#computer-vision。

# 其他拓展资源

硬件问题,请联系 Holybro: productservice@holybro.com

# 如何获得技术支持?

# 如何获得技术支持

软件问题,请使用以下 社区支持频道

软件问题,请使用以下社区支持频道: