5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

前不久,上海 「導盲犬排便爭議事件」 發生後,50 歲的盲人阿姨被質疑 「不像盲人」。正在加州大學伯克利讀博的李鍾毓,看到該新聞後,在朋友圈評論稱「這個時候就需要機器狗導盲」。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 相關新聞視頻截圖(來源:網絡)

就在最近,他已經和合作者將 MIT 四足機器人 Mini Cheetah,改造成導盲犬機器人(下稱導盲犬)。該團隊由三位本科生肖岸星、童聞哲、楊立之組成,博士生李鍾毓、曾俊、和導師 Prof. Koushil Sreenath 帶領。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 李鍾毓就「上海導盲犬排便爭議」時間發的一則朋友圈狀態(來源:受訪者)

如下圖,由導盲犬帶領的蒙眼小伙子,穿過迷宮般的紙板箱後,到達一條狹窄的小路時,導盲犬會停下來調整姿態、並拉上牽引繩,讓小伙子知道繼續前進是安全的。測試中,導盲犬成功地將他引向最終目標,且沒有發生任何碰撞。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 穿過紙板箱隔離出來的小路(來源:受訪者)

可做到分秒不離人

導盲犬的機身是 Mini Cheetah,是由麻省理工學院(MIT) Sangbae Kim 教授課題組開發的硬體平台,在 2019 年租借給李鍾毓所在實驗室用於算法研究。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

(來源:UC Berkeley)

導盲犬上的傳感器,由 2D 雷射雷達(LIDAR)、3D 相機、以及安裝在繩上的力傳感器組成,其中力傳感器用於探測牽引繩上的張力,相機則用於跟蹤被引導人員,並進行光檢測和測距定位。

它還帶有一個計算機大腦,從而實現四處走動,同時還可避免與物體發生碰撞、並能沿著預定路線行走。其中,相機安裝在機器人頂面的雲台上,經過編程以後,相機可以始終跟隨著被牽引的人。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

(來源:受訪者)

此外,憑藉 Mini Cheetah 現有的速度跟蹤控制器,其中的模型預測控制(model-predictive control,MPC),可用來計算導盲犬每隻腳所需的地面反作用力,從而來追蹤所需的速度。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 雷射測繪地圖(來源:受訪者)

雷射測繪系統,可用來定位導盲犬在全局地圖上的位置。研究中,李鍾毓的團隊還測繪出來了相關地圖,該地圖可進行重複利用,並能在已有地圖上規劃路徑。通過雷射雷達,就能實時獲悉導盲犬在地圖上的位置。

這樣的好處是,盲人在出行前,只需設置目的地,導盲犬就能規劃路線、並進行導航。零件價格上,2D 雷射雷達價格是 2000 元左右,3D 攝像頭不到 1400 元。李鍾毓告訴 DeepTech,這在同類機器人中,價格已經比較低廉。

開發首個端到端混合物理人機互動模型

研究中,李鍾毓的團隊提出了首個端到端混合物理人機互動( physical human-robot interaction,pHRI)模型,並用實驗數據驗證了該混合模型的有效性。據悉,pHRI 模型可用於捕獲人機系統的狀態,並有助於路線規劃和人機互動。

在路徑規劃器中,他們還制定了一個混合整數規劃方案,以便讓導盲犬在帶領盲人行走時,可以避開障礙物。

導盲犬在工作時,主要用繩子引導,之前所有基於機器人的導盲工作,是用剛性的機器手去拉盲人,經過非常狹窄的地方,機器手容易被卡住,使用繩子則可避免這種不足。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

(來源:受訪者)

李鍾毓告訴 DeepTech,引入繩子是在模仿動物導盲犬,並且繩子能在鬆弛狀態和張緊狀態之間切換。

實驗中,導盲犬通過不到 1m 寬的通道,為了讓自己和被牽引的人順利通過,它會調整姿態,讓繩子進入鬆弛狀態。這時,由於盲人手上沒有感受到力,就會停下腳步。

接下來,在通過狹窄通道後,導盲犬通過調整自身姿態,繩子可再次進入張緊狀態,盲人手上會重新感受到牽引力,從而跟著導盲犬繼續前進。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

(來源:受訪者)

為獲悉導航效果,團隊就不同情況做了測試,測試環境包含了較多元素,其中有兩個非常狹窄的通道,導盲犬如果不用繩子,就會無法帶領盲人通過。

而它身上的算法系統,可通過模擬的狹窄走廊、或者通過模擬的門等場景,來幫助盲人通過。

在苛刻的測試環境下,他們還換了不同的實驗對象,把要使用的地圖加載到導盲犬身上,只需簡單設置目的地,就可幫助盲人到達目的地。當盲人用手抓住繩子,即可開始行走。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

動圖 | 導盲測試(來源:受訪者)

此前,多數機器人的引導系統,都有很大的移動底盤,通常需要驅動剛性手臂來引導人類,較大的輪式平台和驅動臂,導致它們很難在狹窄和雜亂環境中操作。而使用繩子的導盲犬,則可避免這一問題。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 人機引導系統的模型(來源:受訪者)

研究中,他們把繩子搭載到四足機器人上,通過改變繩子的鬆弛程度,來適應狹窄的空間。

此外,他們還提出一個基於交互力的人機互動的混合模型,它可以用繩子的張力,來描述「導盲犬-牽引繩-人」系統中的動力學關係。

該混合模型可用於混合整數規劃問題,從而開發出一個在線軌跡規劃器,並利用鬆弛緊張兩個狀態的來回切換,來引導盲人在有限的空間中安全行走。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

(來源:受訪者)

目前,導盲犬主要用於室內平地的情況,未來會考慮戶外上斜坡、下斜坡、走台階甚至是室內坐電梯等場景。

就以上應用場景來說,相比輪式機器人,導盲犬這樣的四足機器人實現起來也比較有優勢。

現實生活中的狗,需要進過嚴格訓練後才能成為導盲犬。據李鍾毓介紹,在英國從預訂一隻動物導盲犬,到真正收到動物導盲犬,並可以為人類服務,需要一年時間左右。而使用這樣的導盲犬機器人,有望大規模生產,理論上無需等待太久。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

(來源:受訪者)

他還表示,動物導盲犬屬於稀缺資源,中國能用到動物導盲犬的人非常少,而且往往是「量身定製」。

一隻動物導盲犬訓練好的能力,無法移植到另一隻狗上,當另外的盲人需要屬於自己的導盲犬時,就需要重新訓練,這會重新耗費訓練人員的時間和精力。

此外,動物導盲犬的另一個缺點是它們無法閱讀地圖,也無法讓它導航到所需位置,假如想從家中到地鐵站,你對著狗說它也不明白,但對於盲人設置的出發地和目的地,導盲犬機器人是可以理解的。

此外,導盲犬機器人的相關代碼,可從 A 導盲犬直接複製到 B 導盲犬上,導盲能力也可得到大規模複製,從而惠澤更多盲人。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 導盲犬機器人系統一覽(來源:受訪者)

假如有 10 位盲人都需要導盲犬,那只需製備 10 台這樣的機器人,並將代碼進行複製,即可進行導盲工作。

實驗結果表明,本次開發的系統,可安全有效地指導、眼睛被完全蒙住的使用者通過狹窄空間,包括避障和混合狀態的轉換。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

(來源:受訪者)

如下圖所示,藉助導盲犬的引導,引導蒙住眼睛的人到達最終目標位置,耗時約 75 秒。

在任務開始時,導盲犬的繩子被拉緊。路程中,最狹窄的地方位於在第二個拐口,這時繩子會切換到鬆弛模式,從而引導被試者停止走動。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 導盲過程(來源:受訪者)

此外,如下圖所示,實驗開始時測得的牽引繩上的張力 F 為 12N,從 45 秒到 60 秒時,當導盲犬走近第二個拐口的狹窄位置時,隨著系統的切換模式,繩子上的張力變的極小並開始進入鬆弛模式。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 繩子張力(左)和被引導人速度(右)的實驗結果對比(來源:受訪者)

這時,導盲犬正在更改其姿態,以便它能夠引導人類通過拐口。在此期間,受試者停止移動,因為這時受試者不再能感受到繩上的牽引力,因此其運動速度接近零,即每秒鐘行走 0.05m。

60 秒之後,導盲犬改變自身位置,並切換到張緊模式,以便應用繩子的牽引力,受試者再次感受到繩子牽引力,從而跟隨導盲犬到達目的地。

相關論文已被機器人頂會收錄,未來會開發更新穎的功能

目前,該工作的相關論文已經被機器人頂會 IEEE ICRA 2021 收錄。除了導盲,它還可幫人類取物、以及進行安防監控等。

5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產

圖 | 相關論文(來源:受訪者)

未來,李鍾毓的團隊將專注於更細緻的系統建模,並嘗試研發出具備更新穎的功能的導盲犬,比如怎樣在不同樓層間做軌跡規劃、怎樣辨別紅綠燈以及帶領盲人過馬路等。

在落地方面,李鍾毓表示非常樂見有企業能採取本次研究提出的導盲解決方案,從而實現回報社會。對於價格,他表示:「導盲犬機器人的價格有望低於一萬美元。一旦開發了一種導盲算法,我們就可以為各種機器狗複製粘貼。不會太久,價格會越來越低。」

來源:kknews5位中國留學生研發機器導盲犬,通過「複製粘貼」可實現批量生產