Talk预告 | 斯坦福大学计算机系博士后李昀烛：基于结构化世界模型的机器人操作和物理交互

​本期为TechBeat人工智能社区第447期线上Talk！

北京时间10月19日(周三)20:00，斯坦福大学计算机系博士后—李昀烛的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “基于结构化世界模型的机器人操作和物理交互”，届时将详细讲解我们如何在机器人系统中传感器(sensing)、感知(perception)、动力学建模(dynamics)、规划控制(planning&control)这四个重要板块进行创新并加入结构化信息，以建立世界模型(world models)来帮助机器人更好地适应不同的环境，拓展机器人的能力，并完成更复杂的操作和物理交互的任务。

 昀烛将于2023年秋季加入伊利诺伊大学香槟分校(UIUC)计算机科学系担任助理教授，欢迎感兴趣的同学与他联系~

Talk·信息

▼

主题：基于结构化世界模型的机器人操作和物理交互

嘉宾：斯坦福大学计算机系博士后李昀烛

时间：北京时间 10月19日 (周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

 点击下方链接，即可观看视频

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=723

Talk·介绍

▼

我们人对周围的环境有着直观的物理认知，这种认知能帮助我们实现很多对机器人来说难度很高的交互任务，特别是针对物理性质比较复杂的物体，比如水、粒状物质如洋葱碎、可形变材料如橡皮泥等等。

讲者的研究希望能帮助机器人拥有这样的物理认知能力，并建立结构化的世界模型(structured world models)，使其能像人类一样灵巧有效地感知物理世界并与周围环境进行交互，这样的能力在物流、制造、做菜、手术和陪护等领域都拥有大量的潜在应用场景。

本次分享将介绍我们如何在机器人系统中传感器(sensing)、感知(perception)、动力学建模(dynamics)、规划控制(planning&control)这四个重要板块进行创新并加入结构化信息，以建立世界模型(world models)来帮助机器人更好地适应不同的环境，拓展机器人的能力，并完成更复杂的操作和物理交互的任务。

讲者会首先介绍如何帮助机器人在和环境的交互中学习，并建立环境预测模型，以及讨论这种模型如何推广到由不同材料制成的一系列物体。这个方向工作背后的核心思想是引入全新的环境表征并将结构化的先验信息整合到学习系统中，构建在不同抽象层次的世界模型，从最细粒度的粒子表示到描述整个场景的潜在空间表示来对不同物理特性的物体进行建模。他将讨论这些结构如何使基于模型的规划算法更有效，并帮助机器人完成复杂的操作任务（例如，操作物体堆、倒一杯水，以及将可变形泡沫抓握成特定的形状）。

除了视觉感知之外，讲者还将讨论我们如何使用各种形式的密集触觉传感器（例如手套、袜子、背心和机器人外套等）构建多模态传感平台，以及它们如何帮助构建更加精细和结构化的交互模型。

Talk·预习资料

▼

• Learning Particle Dynamics for Manipulating Rigid Bodies, Deformable Objects, and Fluids (ICLR 2019)

  http://dpi.csail.mit.edu/

• RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects with Graph Networks (RSS 2022)

  http://hxu.rocks/robocraft/

• Keypoints into the Future: Self-Supervised Correspondence in Model-Based Reinforcement Learning (CoRL 2020)

  https://sites.google.com/view/keypointsintothefuture

• 3D Neural Scene Representations for Visuomotor Control (CoRL 2021)

  https://3d-representation-learning.github.io/nerf-dy/

• Learning the Signatures of the Human Grasp Using a Scalable Tactile Glove (Nature 2019)

  http://stag.csail.mit.edu/

• Learning Human-environment Interactions using Conformal Tactile Textiles (Nature Electronics 2021)

  http://senstextile.csail.mit.edu/

• Intelligent Carpet: Inferring 3D Human Pose from Tactile Signals (CVPR 2021)

  http://intcarpet.csail.mit.edu/

Talk·提问交流

▼

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题！

Talk·嘉宾介绍

▼

李昀烛

斯坦福大学计算机系博士后

李昀烛将于2023年秋季加入伊利诺伊大学香槟分校(UIUC)计算机科学系担任助理教授，现在是斯坦福大学的博士后，与Fei-Fei Li和Jiajun Wu教授合作。他在Antonio Torralba和Russ Tedrake教授的指导下从麻省理工学院获得了博士学位。他的研究方向是机器人学、计算机视觉和机器学习领域的交叉，旨在帮助机器人像人类一样灵巧有效地感知物理世界并与周围环境进行交互。

他曾获得Adobe Research Fellowship，并从麻省理工学院获得First Place Recipient of the Ernst A. Guillemin Master's Thesis Award in Artificial Intelligence and Decision Making。研究成果发表在 Nature、NeurIPS、CVPR 和 RSS 等顶级期刊和会议上。他本科毕业于北京大学计算机系，并曾在英伟达机器人研究实验室工作。

个人主页：

https://yunzhuli.github.io/

-The End-

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区