# 自由形态身体

发表：IEEE ICRA 2024

作者：Muhan Li, David Matthews, Sam Kriegman

设计策略直接从底层材料单元出发，搭建内外结构任意的三维机器人。

- [论文](https://arxiv.org/abs/2310.05670)：Reinforcement Learning for Freeform Robot Design
- [代码](https://github.com/phenoweave/RL4design)
- [交互页面](https://www.beyond-infinity.top/zh/research/rl4design/)

## 步骤

### 1. 空白的空间

这里的强化学习智能体不学控制机器人，而是学着从一片空白开始，自己造一个。

- 网格：20 × 20 × 8
- 步数：00 / 40

![一个空的线框盒子，边上标着刻度，这就是智能体建造的空间。](https://www.beyond-infinity.top/agent/shots/rl4design_step1.jpg)

### 2. 一次选择，一块材料

每次选择放下一块被动组织或肌肉；山丘标出智能体最可能动手的位置。

- 步数：28 / 40
- 选择：肌肉 B

![三座由层层圆环叠成的山丘从盒子的三个面升起，山顶引出的虚线交汇在一块明亮的新方块上，旁边是已经搭好的暗淡身体。](https://www.beyond-infinity.top/agent/shots/rl4design_step2.jpg)

### 3. 身体成形

40 次选择之后，身体已经长成；散落的碎块舍去，只留下连成一体的部分作为机器人。

- 步数：40 / 40
- 选择：肌肉 B
- 方块：112
- 身体：102

![方块在盒子里一块接一块出现，直到长成一个身体，散落的碎块随后淡去，只留下连成一体的身体。](https://www.beyond-infinity.top/agent/shots/rl4design_step3.jpg)

### 4. 距离即奖励

这些小生物在仿真中按行进距离排名；智能体从排名中学习，更好的身体随之出现。

- 距离：8.7 体素
- 奖励：13.1 体素
- 回放：×0.5

![身体在六边形地面上爬行，地上的标尺记下它移动的距离。](https://www.beyond-infinity.top/agent/shots/rl4design_step4.jpg)