眼睛可以說是大腦最精致的部件。

“而我們這些年來,
一直從事的研究
就是仿制眼睛這個部件
——仿生眼。”
中國科學院上海微系統與信息技術研究所(以下簡稱中科院上海微系統所)仿生視覺系統實驗室主任李嘉茂研究員向上海科技表示。
“中科院上海微系統所團隊的仿生眼就是模仿人類的視覺系統以及視覺信息在腦內的處理機制,賦予機器人以人的視覺。”
仿生視覺團隊研制的立體顯微鏡突破可見光顯微重建技術,取得了媲美日本某品牌激光共聚焦顯微鏡的精度,邊緣處細節精度優于其商用顯微鏡,成果發表IEEE測量領域旗艦刊物TIM。


高精度可見光立體顯微系統
仿生視覺團隊研制了大尺度全范圍可見-紅外光融合感知仿生鷹眼,在西藏完成了雪山冰川測量的可行性驗證。

基于仿生鷹眼的雪山冰川測量驗證
通過雙目的視差來恢復場景的三維信息
李嘉茂介紹,目前中科院上海微系統所的仿生視覺系統能夠實現所有的人類眼球運動,實現雙眼協調運動、平滑追蹤、視點切換、運動模糊抑制的功能,實現比傳統雙目視覺更加可靠的機器視覺系統。
“單個相機采集的信息是二維的,
與人的視覺信息處理一樣,
中科院上海微系統所可以通過雙目的視差
來恢復場景的三維信息。”

中科院上海微系統所實現了很多腦區皮層的算法,涉及空間信息感知、運動信息感知、語義信息感知,空間信息感知包括深度估計、視覺定位、三維重建,運動信息感知包括光流估計、運動分割、目標跟蹤,語義信息感知包括圖像分類、目標檢測、語義分割。也可以像人腦那樣多個腦區聯動來實現視覺的聯合任務,比如語義SLAM、實時立體場景圖等等。
搭載跨腦區算法的自主探索移動機器人
特別是在上海市“腦與類腦智能基礎轉化應用研究”市級科技重大專項的支持下,研制了面向智能機器人的多模態傳感、認知、分析和決策閉環的智能系統,機器人可以實現復雜場景的手眼協同抓取、面向未知環境的機器人自主探索和環境重建。

搭載仿生雙眼、具備視聽融合感知交互能力及決策執行控制功能的“機器頭腦”實現手眼協同抓取
基于研究所仿生視覺團隊自主可控的仿生雙眼技術,研制面向視聽多模態融合處理場景的移動機器人專用國產SoC芯片。
李嘉茂介紹,該芯片可在智能機器人系統中實現全腦的功能。
其中,BISP模塊類似于腦干可以實現機器人的多種感官同步和時序校準功能,CVPE模塊可以完成機器人高精度視覺導航和深度算法的加速,Bino神經加速單元可以通過軟件定義實現硬件的靈活配置,支持多種神經網絡中的特定加速算子,實現模擬人腦處理的視聽覺聯合任務中的腦區功能。該芯片可以提升機器人端側的感知、分析、決策的智能水平。
“我國語音麥克風陣列以及
圖像雙目視覺等核心算法
均國際領先水平,
未來我國有望繼續保持
在視聽覺融合領域的算法領先。”
李嘉茂說。
端用芯片可有效支撐在智能硬件終端上進行多通道、高通量數據的實時復雜處理,實現“端”和“云”高效協同。
“端用芯片是復雜算法落地關鍵路徑,
也是保護軟成果的主要方式。”
仿生眼領域的科研突破將如何給產業賦能?
將會推動哪些顛覆式變化?
中科院上海微系統所著重解決國家相關重大產業當中的關鍵性問題。中科院上海微系統所面向半導體行業的上下游,研究了一系列機器人。
“半導體的生產車間都是無塵的,
而且工序與工序之間的物料需要搬運,
有些環節由于物理空間限制,
天車還沒有辦法完全覆蓋,
只能人力去搬運。”
但是,其實在半導體生產的無塵車間里,
人其實是最大的一個污染源。
怎么辦?
李嘉茂對這些應用場景進行了深入了解。

在智能制造機器人領域,中科院上海微系統所設計的面向半導體柔性生產的自主搬運機器人,可以很好的解決這個問題,通過實現24小時的在線高效搬運,可大大提高整個自動化生產的運行效率,代替人工在無塵車間天車無法覆蓋的區域進行搬運,為企業降低無塵車間的污染提高產線的良品率,提高作業的安全性和效率提供了幫助。

晶圓搬運機器人
傳統機器人基本是通過預編程或者固定在某一位置上實現某一特定任務,中科院上海微系統所研發的機器人功能是集信息傳感、認知與分析決策一體的。
“所以面向柔性生產需求,基于我們研發的視覺系統可以非常方便地改變原有作業方案。”李嘉茂說。
中科院上海微系統所的仿生視覺系統模仿人眼但超越人眼。立體顯微系統可以實現近似于激光共聚焦顯微鏡的精度,在微小裂紋檢測、瑕疵檢測等場景上獲得了很好的效果;大尺度仿生雙眼系統實現了冰川、生態的實時三維動態檢測,在智慧城市、智慧安防、智慧生態方面取得了突破。
中科院上海微系統所的仿生雙眼融合可見光、紅外、紫外可以實現復雜工況的檢測,中科院上海微系統所與申通地鐵合作研制的軌道交通安全數字孿生系統可以實時檢測地鐵運行期間的弓網安全、軌行區障礙物等,為地鐵的安全運行和維護提供智能保障。

軌道交通數字孿生系統
“作為中國科學院研究團隊,
我們是‘國家隊’,
實驗室最終面向的
是仿生智能視覺感知技術的應用落地,
因此研究機器人感知的基礎上,
也致力于他們的行業應用。”
讓更多青年科技工作者站上科研舞臺
人才,是科技創新的源動力。
近年來,國家高度重視人才工作,在科研人員“減負”方面推出了系列有成效的改革舉措,剛剛又推出了開展減輕青年科研人員負擔專項行動,惠及了我們科研活動中的多個環節。
8月8日,科技部等五部門發文,正式開啟減負行動3.0。這一次減負的主體聚焦于青年科研人員,提供更多的支持,挑大梁、增機會、減考核、保時間、強身心多項舉措為青年科技工作者提供很好的發展環境。
“像我們實驗室就是一個35歲以下青年科技工作者占比很大的團隊,在實驗室項目攻關過程中,有不少青年科研人員沖在前面,敢擔當、能作為,相信在減負新行動的引領下,能創造更好的舞臺讓他們潛心攻關,激發創新潛能與活力,為國家科技自力自強做出更多貢獻。”李嘉茂表示。








