🏠 项目主页
注意：项目文档档文目正在完善中，敬请期待。
🛒 购买链接
🐟 闲鱼搜索：
鸿尘客如有疑问可通过闲鱼私信联系卖家，支持定制化需求沟通。
📖 项目简介
黄油机器人（Butter Robot） 是一款基于 ROS2 Humble 的全功能自主移动机器人平台，采用 Rockchip RK3588S 作为主控芯片，搭配 ESP32S3 微控制器实现底层运动控制。项目涵盖感知、定位建图、运动控制、视觉处理和语音交互五大核心功能模块，是一个集成度较高的机器人学习与开发平台。
🔗 开源地址
| 平台 | 链接 |
|---|---|
| 个人博客 | https://zhcmqtt.top |
| CSDN博客 | https://blog.csdn.net |
| 立创硬件开源 | https://x.jlc.com |
| GitHub——ROS算法开源 | https://github.com/zhanghongchen1213/hy_ros |
| GitHub——驱动器算法开源 | https://github.com/zhanghongchen1213/hy_driver |
| GitHub——yolo训练算法开源 | https://github.com/zhanghongchen1213/butter_yolov8n_train |
| 开发教程开源 | https://hy-ros.readthedocs.io |
📷 产品外观
 |
 |
 |
 |
 |
 |
 |
 |
🏗️ 系统架构
系统采用分层模块化架构，主要分为以下五层：
感知层：集成 LDLiDAR 2D 激光雷达（360° 环境扫描）、1080P 摄像头、6 轴 IMU 惯性测量单元和轮式编码器里程计，提供多源环境感知能力。
定位与建图层：基于 slam_toolbox 实现在线异步 SLAM 建图，通过 robot_localization 扩展卡尔曼滤波（EKF）融合轮式里程计与 IMU 数据，并使用 laser_filters 过滤机器人自身遮挡。
控制层：通过 UART 串口（460800 波特率）与 ESP32S3 通信，实现差速驱动底盘的 PID 速度控制和舵机控制，支持键盘、手柄、语音等多种输入方式。
视觉处理层：利用 RK3588S 的 NPU（6TOPS 算力）硬件加速 YOLOv8 目标检测，三个视觉组件（采集、推理、推流）运行在同一 ComposableNodeContainer 中，通过零拷贝通信降低延迟。
交互层：集成 sherpa-onnx ASR 语音识别、RKLLM 本地大语言模型推理和百度大模型音色复刻 TTS 语音合成，实现全流式语音交互；同时通过 Foxglove Bridge 提供 Web 端远程监控与数字孪生可视化。
🎬 视频演示
📺 视频作者：B站 @鸿 🔗 视频链接：黄油机器人人器
⚙️ 硬件规格
| 项目 | 参数 |
|---|---|
| 主芯片 SOC | Rockchip RK3588S |
| CPU | 4 核 Cortex-A76(2.4GHZ)+4 核 Cortex-A5(1.8GHZ) |
| NPU | 6TOPS |
| VPU | H.264/H.265/JPEG 硬件编解码 |
| RAM | LPDDR5 8GB |
| TF | 32GB |
| Wi-Fi+蓝牙 | Wi-Fi 5+BT 5.0 |
| 驱动器 MCU | ESP32S3 |
| 电池容量 | 3000mAh 12V |
| 摄像头分辨率 | 1920x1080 30FPS |
| 操作系统 | Ubuntu22.04 |
| ROS 版本 | ROS2 Humble |
📐 硬件框图
🚀 产品功能
五大核心能力：语音交互 | 运动控制 | 视觉处理 | 定位导航 | 远程监控
🗣️ 语音交互 —— 全链路语音对话，开口即控制
| 模块 | 核心能力 | 技术方案 |
|---|---|---|
| ASR 语音识别 | 中英双语实时识别，增量输出无需等待整句 | sherpa-onnx + RKNN 加速 Zipformer，48kHz→16kHz 重采样，端点检测 |
| LLM 大语言模型 | 本地多模态推理，语音触发拍照+图像理解 | Qwen3-VL-2B W8A8 量化，RK3588 NPU 加速，4096 上下文，流式输出 |
| TTS 语音合成 | 自定义音色克隆，支持多种方言，边合成边播放 | 百度大模型音色复刻 API，句级分段合成，HTTP 流式推送（端口 8090） |
🎮 运动控制 —— 多模式操控，精准灵活
| 模块 | 核心能力 | 技术方案 |
|---|---|---|
| 差速驱动底盘 | PID 闭环控制，实时调参，最大线速度 0.15 m/s | UART 460800 波特率通信 ESP32S3，自定义二进制协议，左右电机独立控制 |
| 舵机控制 | 3 路舵机控制脊柱和双臂关节，URDF 实时联动 | /joint_states 话题发布关节状态，角度精确控制 |
| 键盘遥控 | WASD 八方向移动，0.1 秒无操作自动停车 | 100Hz 轮询频率 |
| 手柄遥控 | 摇杆模拟量控制速度，按键控制舵机（±5° 步进） | 线速度 + 角速度双轴控制 |
| 语音遥控 | 通过语音交互链路下发运动指令 | ASR → LLM → 运动指令 |
👁️ 视觉处理 —— NPU 硬件加速，零拷贝低延迟
| 模块 | 核心能力 | 技术方案 |
|---|---|---|
| 摄像头采集 | 1080P@30fps 硬件加速采集，支持 RGA 硬件旋转 | GStreamer + v4l2src，NV12 原生格式输出 |
| 目标检测 | 黄油/手掌检测 + 自主跟随 | YOLOv8 + RKNN NPU 加速，640x640，NMS 0.45 |
| 视频推流 | RTSP 实时推流，零拷贝进程内通信 | MPP 硬件 H.264 编码，ComposableNode 零拷贝 |
🖥️ 远程监控 —— Web 端数字孪生，随时随地掌控
| 能力 | 说明 |
|---|---|
| Foxglove 可视化 | WebSocket（端口 8765）实时查看机器人状态、话题数据和 TF 坐标树 |
| RTSP 视频流 | 远程查看摄像头画面及目标检测结果 |
| 远程控制 | Web 端发布控制指令，实现数字孪生效果 |