跳转到内容

校准

校准,就是把三台各自独立的设备——一支机械臂、一台摄像头、一部手机——变成一套对「东西在哪儿」看法一致的 系统。向导走 10 步,每一步都要先证明点什么才往下走,所以到最后,agent 瞄准某个按钮的那一下,才真正 落在它上面。

在第二个终端里运行它(服务 必须已经在第一个终端里跑着):

bash
physiclaw setup hardware

服务启动时打开的那个浏览器向导,会以同样的顺序做同样的步骤——你喜欢哪个用哪个。无论哪种方式,本页都从 概念上讲清每一步:它在做什么,以及好的结果是什么样子。

  1. 连接手机。 向导确认手机已和桥接配对。如果你还没配对,它会给出二维码让你扫。**好:**手机的桥接页面显示 PhysiClaw,向导报告手机已连接。

  2. 架好装置。 把控制板插上 USB 和它的 12 V 电源,用 USB 接上摄像头,把手机卡进托架,让它的 左上角抵住托架的角——屏幕水平、正面朝上。保持手机解锁、桥接页面在前。**好:**没有任何晃动, 屏幕是平的,桥接页面可见。

  3. 连接机械臂。 控制板通电后,PhysiClaw 扫描电脑的串口并连上机械臂(它跑的是 FluidNC,运动固件)。好: 出现「Arm connected」。如果连不上,最常见的原因是 USB 线没接好,或 12 V 电源没开。

  4. 连接摄像头。 摄像头应当正好在手机的正上方。PhysiClaw 通过认出桥接页面画的那些彩色角标,自动判断哪台才是 对的摄像头——所以页面必须开着、屏幕必须醒着。**好:**出现「Camera N connected」。如果自动识别没 认出来,它会给你看预览,问你是哪一台。

  5. 定位屏幕。 手机显示一个全屏的橙色方块;你点一下 AssistiveTouch(截图)再点两下(上传)。PhysiClaw 用这张 截图把它的位置和真实像素对齐,好让之后的点击落在预期处。**好:**出现「Screen located」—— 意思是截图管线跑通了,而且视口也量好了。

  6. 校准机械臂。 手机在屏幕正中显示一个橙色圆圈;你把触控笔尖移到它上方,然后机械臂会点 18 个点,学会自身的 运动如何映射到屏幕上。**好:**出现「Arm calibrated — mapped 18 points」。如果它警告手机相对机械臂 像是转了角度,那就先把手机摆正,再去相信这个结果。

  7. 校准摄像头。 先做一次旋转和覆盖检查(让整块屏幕都在视野里、光照均匀、没有反光),然后摄像头去映射屏幕上画出的 15 个点。**好:**旋转读数符合预期、覆盖度高,并且「found all 15 dots」。反光或视野不全是这里 最常见的翻车点。

  8. 验证。 真正的考验:对每一个点,PhysiClaw 用摄像头找到它、用机械臂点它,再把这一点落下的位置和点原本画出 的位置作比较。通过这一步,校准才会被保存下来。 **好:**绝大多数或全部点击命中目标,出现 「Calibration saved」。如果失败,重做摄像头或机械臂那一步——别忽略它。

  9. 验证 AssistiveTouch。截图 + 剪贴板管线的最后一次检查:把 AssistiveTouch 按钮拖到一个橙色圆圈上,PhysiClaw 确认它 能截到一张图、并读回剪贴板里的文本。**好:**出现「Screenshot + clipboard verified」——想亲眼看它 工作的话,可以在「备忘录」里粘一下,看看同步过来的文本。

  10. 收尾。 PhysiClaw 让手机回到原位,并把自己标记为就绪。**好:**出现「PhysiClaw is ready」——机械臂、 摄像头和屏幕已一起校准完毕,每一个 MCP 工具现在都可供你的 agent 使用了。

真正值得盯着看的是第 6 步和第 8 步。第 6 步能完整映射满 18 个点,说明机械臂看到的是一块干净、 没有遮挡的屏幕。第 8 步通过,意味着摄像头的视野和机械臂的运动是真的一致——这正是校准的全部意义所在, 也是会被存下来的那个数字。验证一旦通过,点击就会落得准;要是它勉勉强强,先去修光照或装置,别硬着头皮往 下推。

校准捕捉的是这套装置在这个位置上的精确几何关系。一旦这套几何关系变了,就再跑一次 physiclaw setup hardware