混合實境(Mixed Reality,MR)近年由電競游戲,走入商業(yè)和醫(yī)療應(yīng)用等不同專業(yè)場景。自2021年成立的“云合科技”(Syngular Technology),專注開發(fā)MR手術(shù)輔助軟件,醫(yī)生只要在手術(shù)期間戴上配有軟件的MR眼鏡,就可如“透視眼”般即時比對病人的3D醫(yī)療影像,協(xié)助醫(yī)生確保手術(shù)步驟無誤,其產(chǎn)品更獲香港的公立醫(yī)院試用。
云合科技由香港城市大學(xué)(香港城大)的商學(xué)院博士生施君易(Louis)創(chuàng)立,不但為HK Tech 300天使基金投資100萬港元的初創(chuàng)企業(yè),隨后更成功加入香港科技園的生物醫(yī)藥科技培育計劃(Incu-Bio),最高可獲得共600萬元資助。
利用MR提升手術(shù)規(guī)劃與手術(shù)效率
Louis本身修讀生物醫(yī)學(xué)工程碩士,也是香港城大工商管理博士生,擁有十多年醫(yī)療3D打印及設(shè)計經(jīng)驗,深明其客戶群包括外科醫(yī)生等對新技術(shù)的需求殷切。
他指出,外科醫(yī)生在進(jìn)行手術(shù)規(guī)劃時,主要以平面圖像(例如X光片)或3D實體模型作為輔助,但要制作模型,往往需要將病人的數(shù)據(jù)傳送至其他單位,需時可達(dá)數(shù)天,亦較難精準(zhǔn)地規(guī)劃安裝植入物的位置及程序。手術(shù)途中,醫(yī)生也需要助手協(xié)助,多次來回手術(shù)臺與電腦之間,比對術(shù)前圖像與病人的現(xiàn)場身體狀況,從而確保手術(shù)步驟無誤。
Louis說:“我們早在2017年起已留意到MR技術(shù)有機(jī)會用于手術(shù)上,以提供高自動化、高互動性的醫(yī)療影像可視化體驗。不過,當(dāng)時市面上的硬件未能配合,直至2019年新版本的MR眼鏡發(fā)行,在重量、算力等均較上一代優(yōu)勝,我與另外兩名共同創(chuàng)辦人立即想像到醫(yī)生可以配戴這些MR眼鏡在手術(shù)室開刀。于是在2021年成立公司,2022年組隊做產(chǎn)品,2023年開始有第一版的產(chǎn)品面世。”
與游戲開發(fā)專家聯(lián)手
同步展示實境與3D醫(yī)療影像
Louis口中的兩名共同創(chuàng)辦人均為游戲開發(fā)專家,同是電競級3D可視化和軟件工程界的表表者。
團(tuán)隊開發(fā)的“云合混合實境平臺”(Syngular MR Platform),透過AI算法,把3D建模流程自動化,將磁力共振掃描(MRI)或電腦斷層掃描(CT)等2D醫(yī)療影像的DICOM格式數(shù)據(jù),生成3D全息圖(hologram)。原本DICOM只是一堆黑白影像,但在AI計算及分析后可變成立體3D模型,骨骼、肌肉、器官、血管等都可仔細(xì)重現(xiàn),甚至可標(biāo)示腫瘤位置所在,模型重建過程由原本需要幾天的工作時間,縮短至約30分鐘,而且仔細(xì)程度比3D打印模型更為豐富。
透過平臺,醫(yī)生可自行輸入醫(yī)學(xué)圖像以生成個人化的3D場景,規(guī)劃手術(shù)程序;手術(shù)期間,醫(yī)生只要配戴MR眼鏡即可達(dá)到“直觀的X光視覺”。Louis說:“舉例說,醫(yī)生在手術(shù)期間戴上MR眼鏡,就可把MRI或CT影像重疊在病人身上對位,并在皮膚上標(biāo)記相應(yīng)的腫瘤位置?!?/p>
眼球動態(tài)與手勢移動MR眼鏡內(nèi)手術(shù)模型
與此同時,醫(yī)生在手術(shù)過程中可透過手勢、眼球動態(tài)等移動MR眼鏡內(nèi)的手術(shù)模型,了解器官不同層面結(jié)構(gòu),并即時翻閱已預(yù)先匯入系統(tǒng)的相關(guān)檔案。在MR軟件輔助下,以復(fù)雜的腫瘤手術(shù)計,可縮減多達(dá)10%至20%的時間,提高手術(shù)效率。
另一方面,通過MR眼鏡的視像鏡頭亦可將手術(shù)實況傳送至遠(yuǎn)程用戶,同時建立數(shù)據(jù)庫,長遠(yuǎn)可助醫(yī)療研究、教學(xué)及培訓(xùn)等用途。
HK Tech 300助開發(fā)產(chǎn)品原型 公院試用
云合科技自2021年成立,于2022年獲得HK Tech 300計劃的天使投資。Louis形容,計劃的支持令公司有資源更快地完成第一個產(chǎn)品原型,也加快其獲得進(jìn)駐科學(xué)園的機(jī)會,從而在科學(xué)園一個線上展覽聯(lián)系上香港的醫(yī)院管理局。目前,團(tuán)隊的產(chǎn)品已在香港一間公立醫(yī)院開始試用,主要支援骨腫瘤科及神經(jīng)外科手術(shù),亦可應(yīng)付耳鼻喉科、牙科、整形科、脊柱側(cè)彎等醫(yī)療需要。團(tuán)隊亦為香港其中一所大學(xué)提供解決方案,將急癥室情況直播予學(xué)生觀看,也有為澳洲客戶提供物理治療相關(guān)設(shè)計,作教學(xué)用途。
“團(tuán)隊的成員都希望發(fā)揮所長,不只將MR用于娛樂,而是推廣其應(yīng)用層面,對應(yīng)社會需要。我們的技術(shù)可方便及輔助醫(yī)生的手術(shù)工作,提升效率,以達(dá)至‘enabling human’的目的?!盠ouis補(bǔ)充道。
團(tuán)隊過去已在第四十八屆日內(nèi)瓦國際發(fā)明展勇奪“評審團(tuán)嘉許金獎”,又于HK Tech 300東南亞創(chuàng)新創(chuàng)業(yè)千萬大賽獲勝。目前,公司不但應(yīng)用了香港城大的專利提升產(chǎn)品,亦正申請美國FDA醫(yī)療器械II類及其他同類認(rèn)證,并希望開發(fā)更多新功能,包括加入多位醫(yī)生共同參與的協(xié)作模式、人工智能腫瘤模型重建等,以拓展內(nèi)地及更多海外市場。