Axis中文俱乐部 (@Axis_CN) header
Axis中文俱乐部 (@Axis_CN) profile picture

Axis中文俱乐部由社区驱动, 致力推动 Axis Robotics在华语区的发展, 引入华语力量,提升Axis Robotics全球影响力。@axisrobotics

Axis Robotics
Joined December 2024
Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)Photo by Axis中文俱乐部 (@Axis_CN)
我们刚刚发布了我们的技能地图。那么,一个人是如何将一个演示转化为机器人技能的呢? 您现在贡献的演示比以前走得更远。它需要四个步骤: 1. 一个人向机器人展示如何做:每个任务 30 到 100 个演示。 2. 专家从这些演示中学习并练习,直到完美掌握任务,在新的位置和物理条件下。 3. 我们改变世界的样子:新的场景、光照和材料。 4. 专家变成技能。 阅读完整博客: axisrobotics.ai/blogs/blog/w… @axisrobotics
This quoted post is unavailable.
1
1
60
8/9 这对贡献者意味着什么 你的演示比以往任何时候都重要。它们只是用于更难的任务。 每个任务只需 30 到 100 个演示。然后其专家模型会完成其余部分,因此重新录制简单任务几乎没有额外价值。这就是为什么简单任务被取消了。你之前的演示仍然有效。它们就是专家模型训练所依据的内容。 我们现在需要的工作是专家模型无法独自完成的部分:Hub 上的五星级任务。长、多步骤、双臂、精确的工作,需要人类先示范。 这里有六个:做吐司、在手臂间传递钥匙并在锁中转动、收起笔记本电脑和耳机、将工具分类放入工具箱、交换积木,以及堆叠碗。 任务更少、更难,但你完成的每一个都更有价值。
2
14
9/9 循环 你向机器人展示如何做。专家将其扩展。那些专家成为技能。 在我们的模拟到现实研究中,10 个真实演示加上 600 个精选模拟演示,将真实机器人的成功率从 16.7% 提高到 85.8%。 你的演示是起点。 在 AXIS Hub 上尝试一项任务:hub.axisrobotics.ai 浏览每个任务和技能:
7
机器人技能,从 11,199 个真实操作任务和 14.6 TB 开放数据中提炼而成。 介绍 AXIS 技能图谱:每个技能映射到不同具身形式,每个数字打开其背后的真实任务。 skills.axisrobotics.ai
Robotic skills, distilled from 11,199 real manipulation tasks and 14.6 TB of open data. Introducing the AXIS Skills Atlas: every skill mapped across embodiments, each number opening the real tasks behind it. skills.axisrobotics.ai/
1
1
72
6/7 任务浏览器 按任务名称搜索,或按以下条件筛选: • 技能 • 机器人 • 场景:厨房、工作间、办公室、家庭等 • 难度:1-5 星 观看演示,创建短名单并导出为 CSV。
1
13
7/7 基于开放数据 我们的开放 Franka 任务数据集采用 LeRobot v3.0 格式:Parquet + 15 fps 的 MP4,包含第三人称和腕部摄像头、每帧的关节状态、动作和末端执行器姿态。 14.6 TB 数据已在 Hugging Face 上开放,并提供了一个可下载的示例任务。 需要特定技能、自定义任务数据或商业许可?请告诉我们您的机器人、任务和评估目标:[email protected]
22
6/7 双向交互 大多数分层系统强调从代理到策略的指令。返回路径开发得较少,我们认为那里存在机会。 向下,一个正确的指令仍然可能是一个糟糕的控制接口。对齐和接触检测步骤可能在“插入连接器”失败时起作用。一些视觉语言代理更倾向于视觉捷径而非语言目标,因此可以通过在固定场景的同时更改指令来测试 grounding。 向上,二元成功是不够的。代理需要接触、物体保持、进展和可恢复性。FACT 将精度不足与力响应不佳区分开来,这需要不同的修复措施。将视觉、接触、力以及本体感觉证据总结为事件。 动作似然不是物理成功概率。反馈应帮助代理重新表述、切换技能、在改变条件下重试,或向人求助。循环是推理、执行、观察、诊断、适应。
1
21
7/7 对 Axis 的意义 四个优先事项: 1. 衡量灵巧数据所传授的内容。保留样本谱系、接触假设、被拒绝的生成内容以及校正成本。分别报告数据量、覆盖范围、物理有效性以及下游效用。 2. 将路径与成功经验进行比较。固定学生和物理评估;跟踪人类时间、计算资源、模拟器调用以及调试。衡量每个可转移技能的成本,而不是原始轨迹数量。 3. 通过操作条件和结果定义技能:目标、兼容的具身形式、前置条件、完成信号、失败模式以及恢复选项。 4. 使评估更难被操纵。将首次尝试成功与重试后的完成分开,记录干预和推理成本,并冻结一个留出集。 在能改变未来行为的地方使用人类努力。保持演示、校正干预以及进度反馈的区分。
5