當(dāng)我們首次在網(wǎng)絡(luò)上接觸到國外先進(jìn)算法IDtracker,以及在《最強大腦》電視欄目中看到北京大學(xué)Dr.魏使用的開源工具DeepLabCut,我們無比興奮,因為這些跟蹤技術(shù)將為運動科學(xué)以及實驗室里的動物行為跟蹤帶來變革,開啟了對動作捕捉進(jìn)行計算機建模的新時代。同時,基于被動及主動標(biāo)記的技術(shù)更是讓快速精準(zhǔn)的動物運動和交互行為跟蹤成為了可能。
然而,驚喜之余,我們也發(fā)現(xiàn)了這2款工具的一些缺陷,一是效率低下,電腦資源消耗很嚴(yán)重,不能實時分析,二則這2個工具不能同時呈現(xiàn),三則因為這2個工具開源的屬性,不可避免的存在諸多隱藏的bug及準(zhǔn)確率無法有效保證;谝陨线@些現(xiàn)象,并綜合我們多年積累的圖像AI算法經(jīng)驗,SocialTrack AI多動物交互行為分析軟件應(yīng)運而生,同時軟件著力重點解決了以上“痛點”。
二、產(chǎn)品介紹
SocialTrack AI是我們使用人工智能AI算法的第一款軟件,可以定量和定性地測量單個場地中多只動物的攻擊行為與社交行為。該軟件在開放場中捕獲并跟蹤這些動物(小鼠或大鼠),并自動確定它們之間的各種攻擊行為或社交互動行為。
該系統(tǒng)可以自動確定是否有任何兩只動物正在積極地接近對方,一只正在追逐另一只,或者與另一只在打架(攻擊)。另外,當(dāng)動物之間沒有直接互動時,SocialTrack AI可以將動物視為不動,或獨立探索而不考慮其他動物。它還可以測量一只動物正在觀看或跟蹤另一只動物的動作的凝視事件。
SocialTrack AI在分析兩只動物之間的攻擊性社會行為方面具有幾個獨特而重要的功能。首先,當(dāng)多只動物在顏色與個體大小沒有明顯差異的情況下,通過我們強大的AI功能即可實時準(zhǔn)確區(qū)分動物的ID編號,知道他們誰是誰,系統(tǒng)就可以區(qū)分兩種動物而無需人工著色(標(biāo)記)它們。即使兩只動物聚在一起然后分開,系統(tǒng)也會自動確定誰是誰。該系統(tǒng)即使在多動物接觸時也可以自動區(qū)分兩只動物,這是一個極其重要的功能。
SocialTrack AI不僅在實時區(qū)分動物ID號上的表現(xiàn)卓越非凡,它在標(biāo)記識別每只動物的關(guān)鍵體位點上的表現(xiàn)同樣驚人,可以同時且實時跟蹤多只老鼠的鼻尖、眼睛(耳朵)、輪廓重心、后肢(四肢)及尾巴等,即使多只老鼠交互在一起的時候,也能盡可能的保持完整性。
三、應(yīng)用
• 攻擊性( Aggression)
• 社交凝視/焦慮(Social Staring/Anxiety)
• 居民入侵者分析(Resident Intruder Analysis)
四、技術(shù)特點
1.能夠在同一場景下區(qū)分2只或者2只以上動物的身份編號,4只及以上需單獨訓(xùn)練模型;
2.可以自動識別動物骨骼關(guān)鍵點,包括但不限于鼻尖、眼睛(耳朵)、輪廓重心、后肢(四肢)及尾巴;
3.軟件支持實時分析和離線分析2種模式;
4.第三方信號觸發(fā)功能,可與光遺傳、鈣成像等實驗同步記錄;
5.全自動識別、分析功能,實驗過程不需用戶介入;
6.支持時間分段數(shù)據(jù)輸出;
7.同一場景下的多只動物無需染色標(biāo)記、個體大小無差異,都能夠?qū)崟r跟蹤;
8.強大的排除干擾功能,對變化光照和非均勻光照自適應(yīng),支持自適應(yīng)實驗場景的動物模型訓(xùn)練,可應(yīng)用于多場景;
9.提供已分析實驗的雙擊復(fù)驗、數(shù)據(jù)可視化及智能糾錯的功能,方面后期實驗校準(zhǔn);
10.批處理模式允許無需用戶介入連續(xù)處理多個視頻;
11.可免費訓(xùn)練個性化、定制化實驗場景的動物模型;
五、測試指標(biāo)
常規(guī)指標(biāo):每只老鼠的運動路程、平均速度、靜止時間等指標(biāo)
特色指標(biāo):反應(yīng)老鼠之間的攻擊行為和社交行為:Body Sniffing、Head Sniffing、Anogenital Sniffing、Above (Crawling)、Following、Attack、WalkAlone、StandAlone、StandTogether等