产品概述
碎蜂 AI 智能视觉模组
面向无人机视觉感知与飞控协同应用,集成端侧 AI 目标识别、目标跟踪与运动轨迹预测功能,支持 GPS 融合视觉与多元感知处理,红外可选配。模组通过串口输出目标信息,支持目标位置、类别、置信度及识别框时间戳等结构化数据,为视觉数据与飞行状态信息的时间对齐提供基础。
核心能力
- 1080P 全画面识别:支持 1920 × 1080 图像输入,对全画面内的目标进行识别与定位。
- 高频识别与跟踪:支持 113fps 目标识别与跟踪输出,识别与跟踪同频。
- 多元感知处理:支持 GPS 融合视觉,红外可选配。
- 视觉与飞控时间同步:支持识别框时间戳与飞控时间同步,辅助对齐目标数据与飞行状态信息。
- 运动轨迹预测:结合目标运动信息与飞行器状态,动态预测目标位置;单套算法覆盖不同速度及静止、运动目标场景。
硬件与图像参数
| 参数 | 规格与说明 |
|---|---|
| 主控芯片 | RK3576 |
| AI 算力 | 6 TOPS |
| 内存 / 存储 | 4GB / 64GB |
| 输入图像分辨率 | 1920 × 1080 |
| 相机配置 | 黑白相机,8mm 镜头 |
| 视场角 FOV | 约 43.0° × 25.5° |
| 外形尺寸 | 52 × 40 × 15mm(不含镜头,含散热) |
| 重量 | 约 46g(含镜头及散热) |
识别、跟踪与对接能力
| 参数 | 规格与说明 |
|---|---|
| 识别覆盖范围 | 1080P 全画面识别 |
| 识别准确率 | 约 98%(资料标称) |
| AI 识别帧率 | 支持 113fps |
| 跟踪输出帧率 | 113fps,识别与跟踪同频 |
| 识别框时间戳 | 支持,可与飞控时间同步 |
| 运动轨迹预测 | 结合目标运动信息与飞行器状态,动态预测目标位置 |
| 目标场景 | 单套算法覆盖不同速度及静止、运动目标场景 |
| 控制接口 | TTL 串口,自定义串口协议(帧头 / 校验 / 时间戳) |
| 输出信息 | 串口输出目标位置信息,无视频输出 |
| 飞控适配 | 原生兼容 Betaflight |
| 红外配置 | 选配 |
| 多元感知处理 | 支持 GPS 融合视觉 |
后续规划
视觉返航处于规划中。
通信协议
通信接口规范
附件:AI 智能摄像头模组通信协议
串口参数配置
传输格式:8 个数据位,1 个起始位,1 个停止位
接收信息帧
接收信息数据帧的结构如下:
| 字段名称 | 字节数 | 描述 |
|---|---|---|
| 帧头 | 2 Byte | 帧起始标识,固定值(0x78 0x07) |
| 主命令 | 1 Byte | 主命令类型标识 |
| 子命令 | 1 Byte | 子命令类型标识 |
| 数据长度 | 1 Byte | 数据体长度 N;整帧为 N+7 Byte |
| 数据体 | N Byte | 数据内容 |
| 校验和 | 1 Byte | 从“主命令”起至“数据体”所有字节的和取后8位 |
| 帧尾 | 1 Byte | 帧结束标识,固定值(0x79) |
- “帧头”的首字节为0x78,第二个字节为0x07,是同步代码,表示一帧信息的开始;
- “数据长度”表示该数据帧的数据体包含多少字节,整帧长度为N+7;
- “主命令”和“子命令”表示发送或接收的命令类型;
- “数据体”表示发送或接收的命令的具体数据内容,详见数据协议的描述;
- “校验和”是从主命令起至数据体所有字节的和取后8位;“帧尾”为0x79。
发送信息帧
发送信息数据帧的结构如下:
| 字段名称 | 字节数 | 描述 |
|---|---|---|
| 帧头 | 2 Byte | 帧起始标识,固定值(0x78 0x07) |
| 主命令 | 1 Byte | 主命令类型标识 |
| 子命令 | 1 Byte | 子命令类型标识 |
| 数据长度 | 1 Byte | 数据体长度 N;整帧为 N+7 Byte |
| 数据体 | N Byte | 数据内容 |
| 校验和 | 1 Byte | 从“主命令”起至“数据体”所有字节的和取后8位 |
| 帧尾 | 1 Byte | 帧结束标识,固定值(0x79) |
- “帧头”的首字节为0x78,第二个字节为0x07,是同步代码,表示一帧信息的开始;
- “数据长度”表示该数据帧的数据体包含多少字节,整帧长度为N+7;
- “主命令”和“子命令”表示发送或接收的命令类型;
- “数据体”表示发送或接收的命令的具体数据内容,详见数据协议的描述;
- “校验和”是从主命令起至数据体所有字节的和取后8位;“帧尾”为0x79。
通信协议
数据协议
附件:AI 智能摄像头模组通信协议
接收信息
接收信息指跟踪器接受的命令字和数据体,数据体为可变长度格式,如果某一个信息需占用多个字节,则低位写入低字节,高位写入高字节。具体定义如表1所示。
| 命令类型 | 命令字 |
|---|---|
| 时间同步请求 | 主命令0x7F;子命令0x01 |
时间同步请求
主命令为0x7F,子命令为0x01,用于时间同步请求。数据帧格式如下:
| 编号 | 名称 | 内容 |
|---|---|---|
| 1 | 帧头1 | 0x78 |
| 2 | 帧头2 | 0x07 |
| 3 | 主命令 | 0x7F |
| 4 | 子命令 | 0x01 |
| 5 | 数据长度 | 0x0E(14 Byte) |
| 6 | 命令内容1 | 序列号,uint8 |
| 7 | 命令内容2 | t1:飞控发送时间,uint32,小端,单位µs |
| 8~11 | 命令内容3 | 保留,当前填0 |
| 12~15 | 命令内容4 | 保留,当前填0 |
| 16~19 | 命令内容5 | 从主命令到数据体所有字节的和取后8位 |
| 20 | 校验和 | 从“主命令”起至“数据体”所有字节的和取后8位 |
| 21 | 帧尾 | 0x79 |
发送信息
发送信息指跟踪器发送的命令字和数据体,数据体为可变长度格式,如果某一个信息需占用多个字节,则低位写入低字节,高位写入高字节。
| 命令类型 | 命令字 |
|---|---|
| 跟踪反馈 | 主命令0x00;子命令0x82 |
通信协议
跟踪锁定反馈
附件:AI 智能摄像头模组通信协议
主命令为0x00,子命令为0x82,用于目标信息的反馈。数据帧格式如下:
| 编号 | 名称 | 内容 |
|---|---|---|
| 1 | 帧头1 | 0x78 |
| 2 | 帧头2 | 0x07 |
| 3 | 主命令 | 0x00 |
| 4 | 子命令 | 0x82 |
| 5 | 数据长度 | 一条目标且含V2时间扩展时为0x1E(30 Byte) |
| 6 | 命令内容1 | 源帧序号frame_id,低8位,按256回绕 |
| 7 | 命令内容2 | detected_count,当前0或1 |
| 8 | 命令内容3 | reported_count,当前0或1;与detected_count相同 |
| 9 | 命令内容4 | 目标编号target_id:1~255 |
| 10 | 命令内容5 | 目标类型target_type:当前部署配置为4 |
| 11 | 命令内容6 | 置信度confidence:0~100 |
| 12~13 | 命令内容7 | 目标框左上角坐标x,左上角为0,uint16,小端 |
| 14~15 | 命令内容8 | 目标框左上角坐标y,左上角为0,uint16,小端 |
| 16~17 | 命令内容9 | 目标的宽度,uint16,小端 |
| 18~19 | 命令内容10 | 目标的高度,uint16,小端 |