中玉金標記(北京)生物技術股份有限公司(以下簡稱中玉金公司),主要從事與基因檢測及農作物育種相關的技術開發、推廣、咨詢和技術培訓,擁有我國最先進、通量最高的分子標記實驗室。
2018年,中玉金公司啟動水稻種子的基因分子標記項目。其中,在對種子切片提取基因后,種子就要被保存在貼有密封膜的存儲盒中,以隔絕外界環境。該密封膜質厚、透明并且在貼附時有褶皺。
In-Sight8200正在對切片后的玉米種子進行識別定位
而在對切片進行基因提取時,需要人工揭開整個密封膜,用鑷子將種子從存儲盒中夾出。這樣的流程就帶來了兩個問題:1)揭開保護膜有可能導致整個存儲盒的種子被污染;2)人工夾取種子太慢,費時費力。
"在未采用視覺設備之前,我們都是人工從存儲盒中用鑷子把玉米種子夾出來,再放到對應的收料盒里面,在這之前還需要用掃碼槍讀取兩個盒上的條形碼信息,以便后續實驗做參照。"中玉金公司的實驗室主管張博士表示,"這套流程下來效率非常低,常常導致各種實驗項目延期。"
為了提高實驗效率,中玉金公司引進了一套裝備有視覺模塊的自動化設備,實現了用機械手自動夾取種子。
該自動化設備從結構上共分為3大模塊:堆棧式上料模塊、機械手視覺模塊、堆棧式下料模塊。堆棧式上、下料模塊用于種子存儲盒的自動送盒、收盒。機械手視覺模塊是該設備的核心,由4軸機械手、視覺系統、玉米種子夾取機構組成,主要功能是精確定位種子、引導機械手扎破密封膜,并吸取種子。
但是,如何扎破密封膜把種子取出來是應用該設備最大的難點。解決問題的關鍵就是怎樣透過反光、褶皺的密封膜精準地定位孔位。密封膜的扎破由機械手末端的6刃刀執行。如果定位失敗或偏差太大,刀具就會把存儲盒扎破,導致報廢。
設備啟用伊始,在使用傳統的模板匹配算法下,由于密封膜的反光和褶皺導致了10%-15%的識別錯誤率,多次試驗都以失敗告終。
密封種子存儲盒中的玉米種子
為了解決困擾設備正常運行的難題,中玉金公司的工程師們開始尋找解決方案。在一次展會上,他們結識了康耐視公司的銷售工程師,了解到康耐視對反光產品的識別有對應的項目經驗,于是就邀請康耐視的專家來實驗室進行現場評估。
在接到中玉金公司的項目需求后,康耐視迅速派出了技術工程師,在對該項目進行了詳細的論證和大量的實驗后,推薦使用帶有PatMax功能的In-Sight 8200視覺系統。
優化后的設備工作流程如下:
1)堆棧式料倉自動放出一盒儲料盒;
2)運行到抓取位后,識別儲料盒的條形碼并錄入控制系統,相機開始識別種子位置;
3)根據系統中確定需要挑選的孔位,機械手帶著相機移動到指定位置對孔位中的種子進行識別,識別成功后,相機返回種子的坐標信息給機械手;
4)末端執行器首先扎破密封膜,然后末端執行器上的吸盤把種子吸附起來;
5)堆棧式收料倉放出一個空盒,待空盒移動到定位點,讀碼器讀取料盒上的條形碼;
6)機械手移動并將種子并按依次放入收料盒中,系統保存收料盒條形碼信息、儲料盒條碼信息,使被挑取出來的種子信息一一對應。
在測試中,中玉金公司的工程師們驚喜地發現,在PatMax算法幫助下,再加上機械手末端的低角度隨動光源,即使某些反光強烈、褶皺較大的孔位也能進行準確定位。識別孔位的成功率高達97%-99%。
最終,借助In-Sight 8200視覺系統強大的軟件工具,完美解決了以下檢測挑戰:1)密封膜反光問題;2)孔位內種子打光不足,導致無法識別的問題;3)密封膜褶皺導致的無法識別的問題。
識別程序:首先判斷孔內是否有玉米粒?如果有的話定位孔的中心,并把坐標傳給機械手
In-Sight 8200視覺系統的順利導入,成功解決了設備瓶頸,極大降低了人工操作強度和人工輸入數據的概率,提高了設備運行穩定性和實驗室分子標記的速度,得到中玉金公司的一致肯定,為中國分子育種事業的快速發展添了濃重一筆。
"玉米種子實現了自動挑選,節省了實驗室的人力成本和種子的挑選速度,最重要是應用了單孔式扎破密封膜拿走種子的作業方式,避免了其它種子受到外部環境污染,最大限度保證了切片后種子和切片基因的相關性。"中玉金公司的實驗室主管張博士對該設備的研發成功給予了高度評價,"現在實驗室正在探討使用深度學習的算法進行水稻胚芽識別,將來我們也會和康耐視保持戰略合作,以確保該項目的順利實施。"