NC|清华团队研发一台专门用于肝脏超声的轻量化自主机器人,带上青藏高原和救护车

★ 星标「医工学人」,第一时间获取医工交叉领域新闻动态

1958 年,英国格拉斯哥大学的产科教授伊恩·唐纳德(Ian Donald)在《柳叶刀》上发表论文,报告了用脉冲超声检查腹部肿块的结果。他借用的,是一台原本用于检测船体焊缝和金属裂纹的工业探伤仪。这篇论文后来被视为腹部超声诊断的开端之一。

六十多年后,超声已经成为全世界使用最广泛的医学影像手段之一。它没有辐射、可以实时成像,机器也越做越小,有的已经和手机差不多大。

但论文指出,便携的机器并没有自然带来普及的检查。真正的瓶颈不是设备,而是会操作设备的人。超声医生需要一边看图像,一边凭手感调整探头的位置、角度和压力,这种本领往往要多年临床训练才能练成。在偏远农牧区、灾害现场和移动诊所,恰恰最缺这样的人。

近日,清华大学生物医学工程学院宁国琛、廖洪恩团队,联合北京清华长庚医院、青海省人民医院等机构,在 Nature Communications 上发表论文(目前为“在线优先”版本),报告了一台专门用于肝脏超声的轻量化自主机器人。

这台机器人直接用绑带固定在受检者的腹部,贴在身上的部分只有 588 克。它由一个从超声医生操作中“学”来的 AI 智能体控制,能自己找到肝脏超声的标准切面。在 102 名健康志愿者和 17 名肝病患者中,它获取的图像测量结果与资深超声医生在统计上等效。团队还把它带到了青藏高原上的西宁做包虫病筛查,并在救护车里、跑步机上和高原草地上做了演示。

简言之就是:把一位超声医生的“手艺”教给一台轻巧的机器人,再把机器人绑到病人身上。那么,为什么要“绑在身上”?机器人又是怎么学会找切面的?

最难做的超声之一

先说说为什么选肝脏。

肝脏超声是临床最常见的超声检查之一,也是肝病筛查、诊断和随访的核心手段。在很多偏远牧区,它还是对包虫病等地方病进行人群筛查时为数不多的可行工具。

但论文指出,肝脏超声也是技术难度最高的检查之一。肝脏藏在肋骨后面,标准切面分布在彼此不连续的区域,往往要通过剑突下和肋缘下狭窄的“声窗”才能看到。操作者还要同时应对呼吸带来的移动、组织形变、肋骨造成的声影,以及每个人体型和器官位置的巨大差异。

打个比方,这有点像隔着百叶窗的缝隙,去拍一个会随呼吸上下移动的物体,而且每个人家的百叶窗位置都不一样。

近年来,不少团队尝试用机器人做超声。但论文指出,现有系统大多基于工业机械臂或协作机械臂。它们工作空间大、控制精确,却又重又大,很难搬到车辆都开不进去的地方;底座固定在地上,病人一呼吸、一动,机器人就得靠复杂的柔顺控制去“追”,剧烈或突然的运动时尤其困难。

算法上,现有方法也多针对血管、甲状腺这类浅表器官,很少能像超声医生那样,从零开始“搜索”到不连续分布的深部切面。

所以,团队认为需要一种完全不同的设计:一台轻量化、直接与病人身体相连、只在局部区域工作的机器人。

把电机“搬走”的机器人

这台机器人最核心的设计思路,是把“动力”和“动作”分开。

传统机械臂的电机都装在关节上,越靠近末端,负担越重。团队则采用了绳驱方案:六台步进电机统一放在一个独立的驱动箱里,通过六对超高分子量聚乙烯绳索,远程拉动贴在病人身上的执行机构。每个关节由一对“一拉一放”的绳索控制,就像提线木偶。

图 1 | 用于多场景标准化成像的便携自主肝脏超声机器人。a:肝脏超声本身是便携的,但专业人员短缺和操作者依赖的图像质量限制了可靠检查的普及。b:一台重 588 克、固定在受检者身上的超声机器人可自主定位肝脏标准切面。c:该系统可在医院、资源匮乏地区和车载移动场景中进行自主超声检查(来源:Li et al., Nature Communications)
图 1 | 用于多场景标准化成像的便携自主肝脏超声机器人。a:肝脏超声本身是便携的,但专业人员短缺和操作者依赖的图像质量限制了可靠检查的普及。b:一台重 588 克、固定在受检者身上的超声机器人可自主定位肝脏标准切面。c:该系统可在医院、资源匮乏地区和车载移动场景中进行自主超声检查(来源:Li et al., Nature Communications)

贴在身上的执行机构有六个关节,提供六个自由度:两个关节负责探头在平面内的平移,三个关节负责俯仰、偏航和滚转三个方向的转动,第六个关节则藏在机构的“支脚”里。支脚用绑带固定在人体上之后,收紧绳索就能让整个机构下压,同时产生垂直方向的移动和探头与皮肤之间的接触力。

整个执行机构重 366 克,加上一个小型超声探头和六维力传感器(共 222 克),贴在身上的总重为 588 克,大约相当于一瓶 550 毫升装矿泉水的重量。

图 2 | 便携式六自由度超声机器人的设计与驱动。a:贴附于人体的轻量化末端执行机构,可实现探头的六维平移与旋转。b:解耦的驱动架构,六个绳驱驱动单元与贴在人体上的末端执行机构分开放置,每对拮抗绳索通过绞盘控制一个关节。c:末端执行机构的爆炸图,关节 1、2 控制平面平移,关节 3、4、5 控制俯仰、偏航和滚转,关节 6 控制垂直方向;六维力传感器位于小型超声探头上方。d:将超声医生的示范操作转移到机器人上,用光学追踪的探头采集的位姿,经坐标变换后转为机器人的六自由度指令(来源:Li et al., Nature Communications)
图 2 | 便携式六自由度超声机器人的设计与驱动。a:贴附于人体的轻量化末端执行机构,可实现探头的六维平移与旋转。b:解耦的驱动架构,六个绳驱驱动单元与贴在人体上的末端执行机构分开放置,每对拮抗绳索通过绞盘控制一个关节。c:末端执行机构的爆炸图,关节 1、2 控制平面平移,关节 3、4、5 控制俯仰、偏航和滚转,关节 6 控制垂直方向;六维力传感器位于小型超声探头上方。d:将超声医生的示范操作转移到机器人上,用光学追踪的探头采集的位姿,经坐标变换后转为机器人的六自由度指令(来源:Li et al., Nature Communications)

性能测试显示,在没有外力时,机器人的平移控制误差小于 1 毫米,转动误差小于 3°。论文称,这类检查中探头与身体的接触力通常低于 8 牛;在这个范围内,接触引起的探头偏移不超过 1.5 毫米。机器人最大能输出 22 牛的压力,足以满足按压需求。

“绑在身上”还有一个重要好处。论文解释,固定在地上的机器人,病人一动,探头和身体之间就会产生相对运动,必须实时检测并补偿,否则可能脱离接触或压力过大。而绑在身上的机器人会和身体一起移动,控制器只需应对呼吸、软组织形变等剩余的小幅运动。

这有点像手机云台和三脚架的区别:三脚架放在地上,人一走就拍不到;绑在身上的云台则跟着人走,只需修正细小的抖动。

跟超声医生“学手艺”

硬件之外,更关键的是“大脑”:机器人怎么知道往哪儿移、往哪儿转?

论文的思路是模仿学习,让 AI 直接从资深超声医生的操作中学习。

团队先搭建了一套数据采集系统:在一个手持超声探头上装上六维力传感器和光学追踪标记,让一位有 10 年以上临床经验的超声医生用它做常规的肝脏检查。系统同步记录三样东西:每一帧超声图像、探头当时的位置和姿态,以及探头和身体之间的接触力。分别对应超声医生的“眼”、“手的位置感”和“手感”。

针对四个标准切面,团队一共记录了 641 条从随机起点到目标切面的完整操作轨迹,包含约 18.7 万组“图像—位姿—力”数据。

图 3 | 自主智能体的设计与性能。a:多模态智能体框架,融合历史超声图像、探头位姿和六维力信号,由条件去噪扩散模型生成包含位姿和力的动作序列。b:多模态融合模块,图像与位姿通过交叉注意力融合并选出最重要的 k 帧,力与位姿通过 KAN(柯尔莫哥洛夫—阿诺德网络)生成“触觉”特征。c:图像域随机化,在训练中加入噪声、对比度、几何和声学变化,以应对个体差异和成像伪影。d:位姿统一,将所有位姿转换到以当前时刻为参照的自我中心坐标系,使训练与部署不依赖具体设备。e:在肝脏仿体上用商用机械臂(UR3e)对比示范数据、基线扩散策略和本方法的平移误差(左)与旋转误差(右)(来源:Li et al., Nature Communications)
图 3 | 自主智能体的设计与性能。a:多模态智能体框架,融合历史超声图像、探头位姿和六维力信号,由条件去噪扩散模型生成包含位姿和力的动作序列。b:多模态融合模块,图像与位姿通过交叉注意力融合并选出最重要的 k 帧,力与位姿通过 KAN(柯尔莫哥洛夫—阿诺德网络)生成“触觉”特征。c:图像域随机化,在训练中加入噪声、对比度、几何和声学变化,以应对个体差异和成像伪影。d:位姿统一,将所有位姿转换到以当前时刻为参照的自我中心坐标系,使训练与部署不依赖具体设备。e:在肝脏仿体上用商用机械臂(UR3e)对比示范数据、基线扩散策略和本方法的平移误差(左)与旋转误差(右)(来源:Li et al., Nature Communications)

这个智能体的设计,处处在模仿超声医生的思考方式。

超声医生找切面时,会在脑子里把一张张二维图像和手的位置拼成一张“腹部地图”。智能体也用交叉注意力把历史图像和探头位姿融合起来,并从中挑出 5 个最关键的画面,比如能看到肝脏分段标志的帧,作为导航的“路标”。触觉方面,它用一种名为 KAN 的网络,学习接触力与探头位姿之间的关系。最后,由一个扩散模型一次生成接下来 5 步的动作,包括探头该往哪里移、转多少度、压多重。

为了让一个人身上学到的经验能用到另一个人身上,团队还做了两项处理。一是“图像域随机化”:在训练时故意给超声图像加噪声、改对比度、让肝脏变形,模拟不同人体型、脂肪厚度带来的图像差异。二是“位姿统一”:不记录探头在空间中的绝对位置,只记录“相对于此刻往哪个方向动了多少”。这样,同一个智能体既能控制团队自制的机器人,也能控制商用机械臂。

在肝脏仿体上的测试中,团队从 14 个不同起点出发,比较了本方法与一种常用的扩散策略基线。结果显示,本方法的平移误差更低,整体误差水平与超声医生自己的示范相当。

102 名志愿者和 17 名患者

接下来是真人测试。研究经清华大学科技伦理委员会批准,所有受试者签署了知情同意书。

在北京清华长庚医院超声科,团队让未经训练的人员把机器人绑在志愿者肚子上,从随机的起始位置开始,让机器人在志愿者自由呼吸的状态下,自主寻找主动脉、下腔静脉和门静脉三个标准切面。

以主动脉切面为例,论文描述了机器人的“操作过程”:它先发现初始图像里看不到主动脉,于是边加压边向脚的方向平移约 1 厘米,找到主动脉的横截面;接着逐步转动探头,切换到主动脉的长轴;考虑到主动脉略偏左,它又一边向左倾斜、一边向右平移,以避开肋骨的遮挡;最后微调方向,得到一幅清晰显示主动脉、主要分支和肝脏边缘的长轴图像。整个过程中,接触力随呼吸保持稳定,接近目标切面时逐渐加大到约 3 牛,以改善声学耦合,这与临床上的操作习惯一致。

图 4 | 在医院中进行的自主肝脏超声扫描。a:系统部署实景,包括末端执行机构、驱动器、电脑、电源和超声主机。b:主动脉、下腔静脉(IVC)和门静脉三个切面的轨迹效率,对比超声医生示范与机器人。c–h:机器人自主定位主动脉切面(c、d)、下腔静脉切面(e、f)和门静脉切面(g、h)的过程,从“开始”经“搜索”到“定位”,上排为机器人动作和对应超声图像,下排为探头三维轨迹、位姿、接触力和图像相似度随进程的变化(来源:Li et al., Nature Communications)
图 4 | 在医院中进行的自主肝脏超声扫描。a:系统部署实景,包括末端执行机构、驱动器、电脑、电源和超声主机。b:主动脉、下腔静脉(IVC)和门静脉三个切面的轨迹效率,对比超声医生示范与机器人。c–h:机器人自主定位主动脉切面(c、d)、下腔静脉切面(e、f)和门静脉切面(g、h)的过程,从“开始”经“搜索”到“定位”,上排为机器人动作和对应超声图像,下排为探头三维轨迹、位姿、接触力和图像相似度随进程的变化(来源:Li et al., Nature Communications)

在 102 名健康志愿者(男性 42 人、女性 60 人,年龄 18 到 48 岁)中,团队对比了机器人和资深超声医生分别获取的图像,并在上面测量肝脏长度、肝脏厚度、门静脉宽度和下腔静脉塌陷指数四项指标。

结果显示,两者的测量值高度一致。四项指标的决定系数 R² 分别为 0.951、0.952、0.852 和 0.874,组内相关系数在 0.922 到 0.976 之间。等效性检验进一步表明,机器人的测量结果与超声医生在统计上等效。

在七个关键解剖结构中,有六个的成功显示率超过 90%,全部都在 85% 以上。用一种图像质量评分来衡量,机器人与超声医生获取的图像质量也没有显著差异。

图 5 | 机器人与超声医生获取图像的质量与一致性。a:研究人群(n = 102)的年龄、体重指数(BMI)和性别分布。b:机器人与资深超声医生获取的代表性标准切面,黄色虚线示意测量方法,标出七个关键解剖结构。c:四项测量指标(肝脏长度、肝脏厚度、门静脉宽度、下腔静脉塌陷指数)的相关性散点图,红线为 y = x,蓝色阴影为 95% 一致性界限。d:七个关键解剖结构的显示成功率,包括肝上缘(S1)、肝下缘(S2)、肝后缘(S3)、主动脉长轴(S4)、静脉韧带(S5)、下腔静脉横断面(S6)和下腔静脉长轴(S7)。e:三个切面的图像质量置信度评分(来源:Li et al., Nature Communications)
图 5 | 机器人与超声医生获取图像的质量与一致性。a:研究人群(n = 102)的年龄、体重指数(BMI)和性别分布。b:机器人与资深超声医生获取的代表性标准切面,黄色虚线示意测量方法,标出七个关键解剖结构。c:四项测量指标(肝脏长度、肝脏厚度、门静脉宽度、下腔静脉塌陷指数)的相关性散点图,红线为 y = x,蓝色阴影为 95% 一致性界限。d:七个关键解剖结构的显示成功率,包括肝上缘(S1)、肝下缘(S2)、肝后缘(S3)、主动脉长轴(S4)、静脉韧带(S5)、下腔静脉横断面(S6)和下腔静脉长轴(S7)。e:三个切面的图像质量置信度评分(来源:Li et al., Nature Communications)

更有临床意义的是患者测试。团队在 17 名患者(男性 7 人、女性 10 人,年龄 29 到 66 岁)身上测试了系统,他们患有肝肾囊肿、肝内钙化、肝血管瘤、肝脏恶性肿瘤或脂肪肝。

在一位 53 岁、肝右叶有约 5 厘米囊肿的女性患者身上,机器人自主找到了全部四个标准切面。在定位肝肾切面时,它主动调整探头角度避开肋骨,完整显示了囊肿的形态。在另一位脂肪肝患者身上,它获取的图像显示出肝脏回声增强、肝缘变钝等特征,测得的肝肾回声比为 1.36,高于 1.28 的临界值。

值得一提的是,这些病灶大多是机器人在“寻找标准切面的路上”顺带捕捉到的。论文解释,这正是团队选择让 AI 学习整个搜索过程、而不是直接跳到目标位置的原因:探头扫过肝脏的过程本身,就有发现病灶的价值。

图 6 | 患者评估。a:北京清华长庚医院患者人群(n = 17)的年龄和 BMI 分布。b:探头的三维平移与旋转轨迹,三角形示意成像平面。c:在一名肝囊肿患者身上自主定位肝肾标准切面的动作序列与对应超声图像(病灶以红色勾画),右侧为超声医生的结果。d:12 名患者中机器人与超声医生获取的病灶相关图像对比。e:三名患者(血管瘤、囊肿、脂肪肝)的初始画面、机器人获取的病灶画面、标准切面及超声医生画面,患者 16 的肝肾回声比为 1.36(正常 < 1.28),符合脂肪肝表现。f:16 名有局灶病变患者的病灶测量对比(来源:Li et al., Nature Communications)
图 6 | 患者评估。a:北京清华长庚医院患者人群(n = 17)的年龄和 BMI 分布。b:探头的三维平移与旋转轨迹,三角形示意成像平面。c:在一名肝囊肿患者身上自主定位肝肾标准切面的动作序列与对应超声图像(病灶以红色勾画),右侧为超声医生的结果。d:12 名患者中机器人与超声医生获取的病灶相关图像对比。e:三名患者(血管瘤、囊肿、脂肪肝)的初始画面、机器人获取的病灶画面、标准切面及超声医生画面,患者 16 的肝肾回声比为 1.36(正常 < 1.28),符合脂肪肝表现。f:16 名有局灶病变患者的病灶测量对比(来源:Li et al., Nature Communications)

上高原,进救护车

最后,团队把机器人带出了医院。

第一站是海拔 2,261 米的青海西宁。青藏高原是全球包虫病负担最重的地区之一。论文援引的数据称,当地年均发病率为每百万人 224.14 例,部分地区超过每百万人 500 例。包虫病是由棘球绦虫幼虫引起的寄生虫病,主要侵犯肝脏,超声是筛查的主要手段。

在一位 35 岁的女性患者身上,机器人在自主扫描中发现了三处肝包虫病灶,其中两处靠近门静脉,一处位于肝左叶。随后的 CT 检查证实了全部三处病灶,超声和 CT 测得的病灶尺寸也相当接近,例如其中一处病灶的长径,超声测得 5.24 厘米,CT 测得 5.48 厘米(编辑据图读取)。

图 7 | 医疗资源匮乏地区的包虫病筛查。a:机器人部署于青藏高原上的青海西宁(海拔 2,261 米),该地区为人体包虫病高流行区(地图为 2018 年中国人体包虫病流行率,引自已发表文献)。b:北京与青海优质医疗资源的对比。c:在一名 35 岁女性患者身上进行自主超声检查。d:CT 与机器人超声测得的病灶尺寸对比。e:自主定位门静脉矢状切面(i、ii)和主动脉标准切面(iii)过程中显示的三处病灶及其测量。f:对应的 CT 横断面与矢状面图像。g:包虫囊结构示意(来源:Li et al., Nature Communications)
图 7 | 医疗资源匮乏地区的包虫病筛查。a:机器人部署于青藏高原上的青海西宁(海拔 2,261 米),该地区为人体包虫病高流行区(地图为 2018 年中国人体包虫病流行率,引自已发表文献)。b:北京与青海优质医疗资源的对比。c:在一名 35 岁女性患者身上进行自主超声检查。d:CT 与机器人超声测得的病灶尺寸对比。e:自主定位门静脉矢状切面(i、ii)和主动脉标准切面(iii)过程中显示的三处病灶及其测量。f:对应的 CT 横断面与矢状面图像。g:包虫囊结构示意(来源:Li et al., Nature Communications)

团队还做了三组“极端场景”演示。

在救护车里,机器人固定在志愿者腹部,只占车厢一小块地方,不妨碍医护人员施救。车辆加速、减速、转弯和颠簸时,探头始终与身体保持稳定接触。

在跑步机上,志愿者背着装有超声主机、电脑、驱动器和电源的背包边走边测。论文称,乳头的最大位移达到 14.1 厘米,机器人仍然找到了下腔静脉的标准切面。

在青海的高原草地上,面对温度变化和大风,机器人也自主完成了主动脉标准切面的定位。

图 8 | 移动与野外场景中的自主超声检查。a、b:救护车内的部署,机器人固定在志愿者腹部,占用空间小。c:志愿者在跑步机上行走时的测试,机器人通过可调绑带固定于腹部。d:装有超声主机、电脑、驱动器和电源的便携背包系统。e:行走过程中乳头与肚脐相对初始位置的位移,以及两者间距离的变化。f:动态扫描中机器人的动作调整与下腔静脉切面的获取过程。g:青藏高原草地上的部署,以及自主定位主动脉切面过程中的超声图像序列(来源:Li et al., Nature Communications)
图 8 | 移动与野外场景中的自主超声检查。a、b:救护车内的部署,机器人固定在志愿者腹部,占用空间小。c:志愿者在跑步机上行走时的测试,机器人通过可调绑带固定于腹部。d:装有超声主机、电脑、驱动器和电源的便携背包系统。e:行走过程中乳头与肚脐相对初始位置的位移,以及两者间距离的变化。f:动态扫描中机器人的动作调整与下腔静脉切面的获取过程。g:青藏高原草地上的部署,以及自主定位主动脉切面过程中的超声图像序列(来源:Li et al., Nature Communications)

结语

值得注意的是,这项研究更接近一次全面的可行性验证,距离真正在基层大规模使用还有不少工作,论文也列出了多项局限。

首先,覆盖的任务有限。目前智能体只学习了四个代表性的肝脏标准切面,而完整的肝脏超声检查包含更多切面。论文提到,系统原则上可以扩展到其他器官和急救场景,但需要新的示范数据和匹配的探头。此外,所有示范数据来自一位超声医生,机器人学到的也是这一位医生的操作风格。

其次,受试人群仍有局限。102 名健康志愿者年龄在 18 到 48 岁之间,体重指数最高 29.4,缺少老年人和明显肥胖者,而后者恰恰是肝脏超声最难做的人群。患者组只有 17 人,在青海的实测只有 2 名患者。患者病灶的测量对比,论文也只描述为“大体一致”,没有给出系统的统计检验。

第三,“自主”主要指的是“自主采集图像”。机器人负责把切面找好、图像拍好,而图像的解读和诊断,目前仍需要本地或远程的医生完成。另外,机器人还需要有人把它绑到病人身上,尽管论文称这一步不需要超声专业知识,未经训练的人员即可完成。

第四,硬件仍是原型。论文承认,机器人采用定制材料和非标准化制造,机械耐用性不及商用机械臂;所用的商用探头和力传感器也限制了进一步减重。救护车、跑步机和草地场景的测试,都是在健康志愿者身上进行的演示。

路还很长。但至少,超声医生多年练就的那双“手”,开始有了可以被复制、被带走的可能。

参考资料

1.Li, Z., Xu, Y., Zhang, L. et al. A lightweight portable ultrasound robot for autonomous liver sonography. Nature Communications (2026). https://doi.org/10.1038/s41467-026-79007-5

2.宁国琛,张欣然,廖洪恩. 基于强化学习的多自由度智能超声机器人系统. 电子与信息学报, 44(1): 1–10 (2022). https://jeit.ac.cn/cn/article/doi/10.11999/JEIT210879


撰文 | 郝娅婷
审核 | 医工学人理事会
扫码加入医工学人,进入综合及细分领域群聊,参与线上线下交流活动
医工学人二维码

发表回复