pico4UE(VR+手柄)使用

1、系统介绍

通过融合具身控制器、VR眼镜与深度相机,构建“感知-决策-控制-执行”一体化系统。通过VR实现沉浸式操控,通过深度相机实现三维环境感知,通过具身控制器实现毫秒级运动控制,适用于双臂升降机器人、灵巧手及具身机器人远程操作与示教场景。

2、系统架构

3、核心功能

  • VR沉浸式远程操控
  • 三维深度感知
  • 毫秒级运动控制
  • 双臂/灵巧手协同控制
  • 远程示教与动作复现
  • 遥操作控制频率50Hz

4、产品介绍

5、PICO设备

手柄与PICO体感追踪器在开机后会自动与PICO头显进行连接

电脑遥操作程序运行后,在PICO界面PicoVRunity软件才能正常连接。

5.1使用说明

长按头显电源键3s开机(白灯常亮),关机长按3s或在操作界面选择关机按钮进行关机。

5.2手柄按键说明

 

序号

菜单名称

功能

1

菜单键

保持原有功能

2

home键

保持原有功能,长按3秒视角复位

3

抓握键

左抓握键:左机械臂使能按键;右手:右机械臂使能按键;

4

电池盒

 

5

状态指示灯

 

6

摇杆

左摇杆:机器人底盘控制;右摇杆:机器人头部关节控制;按下右摇杆:头部恢复默认位置

7

截图+录屏键

长按:录屏;短按:抓拍

8

末端执行器控制键

按下闭合,松开张开

9

X/Y/A/B

X键为腰部后仰、Y键为腰部电机前倾;同时按下X、Y键:左臂复位;

A键为升降电机下降,B键为升降电机上升;同时按下A、B键:右臂复位;

 

5.2使用流程

  1. 机器人拆箱
  2. 机器人上电开机依次打开底盘电源开关和主控电源开关(注意急停未被拍下否则控制底盘,或者主控无法正常上电)
  3. 机器人连接WiFi,使用MobaXterm软件,电脑网线直连机器人配置WiFi连接(需和机器人同网段)


    查看WiFi命令输入后回车:nmcli device wifi list
    连接WiFi命令输入后回车:nmcli device wifi connect "WiFi名称" password "WiFi密码"

  4. 遥操作程序运行
  5. PICO设备开机与连接
    PICO会与手柄自动连接
  6. PICO设备WiFi连接
    PICO界面找到WiFi名称输入密码进行连接,连接后与电脑在同一局域网
  7. PICO视角复位
    手柄home键长按3s对视角进行复位,建议视角处于正前方。
  8. PicoVRUnity连接

  9. 开始遥操作
    注意在使用时动作幅度不要过快、过大,停止操作后需要将机械臂及灵巧手停止,停止完成后依次左臂右臂进行复位。
    初次使用尽量和机器人同视角,熟练后可在正前方或其他位置进行遥操作。
    注意:复位功能使用的前提为机械臂和灵巧手不在运动,不进行遥操作时需要停止。
  10. 停止遥操作,在VR中将send取消选中