第一作者:劉靜
通訊作者:羅堅義、陳智明
背景介紹及內容概述:
從啟蒙時代開始,人類就一直在試圖開發機器來代替人類執行繁重、乏味或不安全的操作。仿生機器人是機電智能的杰出代表,它融合了仿生學、機械工程、計算機科學、人工智能、傳感和驅動等先進科學技術。仿生機器人具有與人類相似的外形和配置,能夠適應人類的生活和工作環境,使用人類使用的工具工作。傳感和智能控制技術的進步使仿生機器人能夠通過模仿人類簡單的行走動作來適應外部環境。然而,仿生機器人的運動仍然是脫節的(見圖1a),缺乏人類運動的靈活性和自主性。
為了使仿生機器人的運動接近人類,需要對人類的運動進行捕捉并轉換為數字學習模型。目前開發的運動捕捉系統有五種類型:機械、電磁、聲學、光學系統和慣性運動捕捉系統。由于機械測量設備的靈活性差、精度低、對周圍環境電磁波產生的要求高,以及超聲檢測的時延大、分辨率低等原因,機械、電磁和聲學運動捕捉系統在實際應用中很少出現。光學動作捕捉系統是目前最成熟、最準確的動作捕捉技術,已廣泛應用于運動分析、虛擬現實(VR)、人機交互等領域。高速攝像機在光學動作捕捉系統中發揮著關鍵作用,它通過捕捉運動中的人體標記并將圖像傳輸到中央處理器(CPU),通過數據融合對標記物的位置信息進行解析,模擬人體姿態。高速攝像機安裝在運動空間,而不是安裝在人體上,所以人可以自由移動。然而,運動空間的低亮度和不規則照明限制了光學運動捕捉系統的應用。此外,光學運動捕捉系統只能提供關于人體運動姿勢的信息,但不能提供關于運動機制的深入信息,這對于仿人機器人學習人類行為是很重要的。慣性動作捕捉系統基于微機電系統(MEMS)慣性傳感器,通過測量人體在空間坐標系中沿X、Y、Z軸的加速速度和角速度數據來反映運動特性。MEMS慣性傳感器具有體積小、功耗低、信噪比高的優良特性,在運動捕捉中得到了廣泛的關注。然而,MEMS慣性傳感器由于其固有的剛性,與人體皮膚的兼容性較差,從而限制了人體的運動自由。為增加與人體皮膚的兼容性,各類柔性應變傳感器被開發用于運動捕捉,目前的研究已實現對皮膚拉伸和關節彎曲做出響應,從而檢測人類的動作,如手勢、抓取、行走和跑步等。但這些應變傳感器依賴于傳感材料的可拉伸性,對人體的細微應變運動(如肌肉收縮)的檢測并不靈敏。因此,開發一種高靈敏度的柔性應變傳感器,能夠捕捉和數字化人體運動,使仿生機器人學習人類行為仍然是一個挑戰(如圖1b和1c所示)。
圖1 面對仿生機器人的數字化運動 a)仿生機器人抓取對象的動作分解圖;b)人體抓取對象的運動狀態和傳感器分布在人體上肢的位置;c)未來仿生機器人抓取物體的運動狀態及傳感器對應的位置。
鑒于此,五邑大學應用物理與材料學院、柔性傳感材料與器件研究開發中心羅堅義教授、陳智明博士帶領團隊針對未來仿生機器人的運動形態,開發了一種可以將人體動作數字化的彎曲傳感器,以建立一個學習平臺,使仿生機器人以更接近人類運動的方式移動。該彎曲傳感器由碳纖維材料制成,采用級聯結構,具有良好的定量檢測能力、高GF、低遲滯、長期耐用和高頻響應等特點。因此,彎曲傳感器既可以識別關節彎曲的大尺度運動,也可以識別肌肉收縮的細微運動。與人手的14個指關節相對應的14個彎曲傳感器,可以準確地識別和數字化手勢。這些多通道傳感器與另外9個彎曲傳感器相結合,全面數字化人類上肢的抓取過程,并識別不同大小和重量的抓取物體。這些成功的應用表明,彎曲傳感器可以將人體運動數字化,為仿生機器人打開了一扇學習人類行為的窗口。本文以“Digitizing the human motion via bending sensors toward humanoid robot”為題已發表在Advanced Intelligent Systems期刊上。
論文具體內容:
圖2 碳基柔性彎曲傳感器的結構模型 a)碳基柔性彎曲傳感器的結構示意圖;b)碳基柔性彎曲傳感器工作原理。
圖3 碳基柔性彎曲傳感器的性能特點 a)碳基柔性彎曲傳感器固定在不同曲率的圓柱體表面上,用于監測傳感器的電阻響應;b)電阻隨曲率(彎曲角度)變化的數據及擬合曲線;c)傳感器的彎曲角度與電阻變化率的關系;d)計算角度與實測角的絕對誤差圖和百分比誤差圖;e)彎曲15°和25°時傳感器應變示意圖;f)0-10%應變范圍下傳感器的GF值;g)加載-卸載循環過程中彎曲傳感器電阻變化率的實時變化;h)碳基柔性彎曲傳感器在60°彎曲50,000次循環下的電阻響應;i)碳基柔性彎曲傳感器在不同響應頻率(0-100Hz)下的電阻響應。
圖4 碳基柔性彎曲傳感器實時監測人體運動 a)人體手指關節彎曲運動示意圖;b)手指關節彎曲時的電阻響應變化;c)肘部彎曲時肌肉收縮和松弛示意圖;d)站立啞鈴卷曲動作時的電阻響應變化。
圖5 多通道碳基柔性彎曲傳感器的手勢識別和數字化 a)人手關節結構示意圖;b)集成14個碳基柔性彎曲傳感器的可穿戴數據手套示意圖;c)從數字1到數字10手勢對應的14個碳基柔性彎曲傳感器的電阻變化率響應的實時演化。
圖6 多通道碳基柔性彎曲傳感器抓握過程的數字化 a)上肢數據采集設備示意圖;b)人類上肢抓取對象的整個過程的流程圖;c)在抓取過程中14個傳感器(針織手套)對應的電阻變化率響應的實時演化;d)在抓取過程中9個傳感器(袖口)對應的電阻變化率響應的實時演化。
圖7 上肢肌肉抓取不同物體時信號的變化 a)電阻變化率與色深的映射關系;b)抓取紙杯時肌肉所對應的HSB反應示意圖;c)抓取不銹鋼杯時肌肉所對應的HSB反應示意圖;d)抓取啞鈴時肌肉所對應的HSB反應示意圖。
總結與展望
本文開發了一種基于碳纖維材料、采用級聯結構的柔性彎曲傳感器,用于人體運動數字化。該碳基柔性彎曲傳感器具有能夠定量測量彎曲角度、在小應變下的GF高達210、低遲滯、長期動態彎曲耐久性和高頻響應等優良特性。這些特征使傳感器能夠識別關節彎曲的大范圍運動和肌肉收縮的細微運動。與人手的14個關節相對應的14個彎曲傳感器能夠識別從1到10的手勢,證明了彎曲傳感器在手勢識別和人體運動數字化方面的能力。將這14個彎曲傳感器與另外9個安裝在手腕關節、肘關節和上肢最活躍的肌肉上的傳感器相結合,實現了握杯動作的全面數字化。肌肉收縮的細微運動數據提供了抓取不同大小和重量物體時的運動反饋。實驗結果證明,碳基柔性彎曲傳感器是實現人體運動數字化的關鍵工具,為未來仿生機器人提供了學習平臺。
作者團隊介紹
第一作者:劉靜,女,五邑大學應用物理與材料學院材料與化工專業在讀碩士研究生。
通訊作者:羅堅義,男,工學博士,教授,博士生導師,現任五邑大學應用物理與材料學院院長,五邑大學柔性傳感材料與器件研究開發中心主任(創始人),廣東省杰出青年基金獲得者,國家重點研發計劃智能傳感重點專項會評專家,南粵優秀教師, 江門市首屆 “僑鄉青年榜樣”,江門市優秀科技工作者。主要研究領域包括:柔性傳感材料與器件應用(柔性觸覺傳感、溫度傳感、氣壓傳感和彎曲傳感等);納米功能材料合成;智能調光變色材料與器件。
通訊作者:陳智明,男,工學博士,講師,碩士生導師。2019年畢業于華南理工大學獲博士學位,工作以來一直從事柔性傳感器的材料開發、器件制備及其應用研究。
附文獻及DOI號:
Digitizing the human motion via bending sensors toward humanoid robot.
DOI:10.1002/aisy.202200337