MR在醫(yī)學(xué)影像中的應(yīng)用

隨著科技的發(fā)展，AR與VR已經(jīng)融入到大眾的生活當(dāng)中，從2009年高通、可口可樂(lè)等知名企業(yè)對(duì)AR(Augmented Reality，增強(qiáng)現(xiàn)實(shí)技術(shù))和VR(Virtual Reality，虛擬現(xiàn)實(shí)技術(shù))深入研究開始，新穎的表達(dá)方式以及身臨其境的體驗(yàn)方式，使AR和VR吸引了一眾粉絲，而后興起的MR(Mixed Reality，混合現(xiàn)實(shí)技術(shù))等新型數(shù)字技術(shù)也展現(xiàn)出了極大的潛在價(jià)值。與AR和VR不同的是，MR是將虛擬世界與現(xiàn)實(shí)世界融合的同時(shí)進(jìn)行實(shí)時(shí)交互和信息的及時(shí)獲取，增強(qiáng)了用戶體驗(yàn)的真實(shí)感，具有真實(shí)性、實(shí)時(shí)互動(dòng)性以及構(gòu)想性等特點(diǎn)。混合現(xiàn)實(shí)不僅有潛力創(chuàng)造出新的市場(chǎng)，還將顛覆當(dāng)前的一些市場(chǎng)，醫(yī)療保健正是其中的一個(gè)領(lǐng)域。

借助微軟的HoloLens混合現(xiàn)實(shí)眼鏡，利用全息影像的方式解決了傳統(tǒng)醫(yī)療膠片平面化、不能共享的問(wèn)題，也解決了產(chǎn)品耗費(fèi)大量時(shí)間進(jìn)行深度學(xué)習(xí)的問(wèn)題。

·混合現(xiàn)實(shí)醫(yī)學(xué)產(chǎn)品(第一階段)：智能處理醫(yī)學(xué)影像數(shù)據(jù)并通過(guò)混合現(xiàn)實(shí)技術(shù)全息呈現(xiàn)，可視化臨床、教學(xué)過(guò)程。

·MR數(shù)字醫(yī)學(xué)平臺(tái)(第二階段)：云端智能存儲(chǔ)、處理、分享全息數(shù)據(jù)，混合現(xiàn)實(shí)連接異地醫(yī)療場(chǎng)景。

·可視化智能醫(yī)學(xué)生態(tài)(第三階段)：高度可視智能化醫(yī)學(xué)數(shù)據(jù)分析與臨床手術(shù)操作過(guò)程，通過(guò)“人+機(jī)器”的智能賦能醫(yī)生。

現(xiàn)階段混合現(xiàn)實(shí)醫(yī)學(xué)產(chǎn)品和MR數(shù)字醫(yī)學(xué)平臺(tái)已經(jīng)實(shí)現(xiàn)，可視化智能醫(yī)學(xué)生態(tài)還處在研發(fā)階段，高度可視化的醫(yī)學(xué)數(shù)據(jù)分析需要大量的醫(yī)學(xué)影像學(xué)數(shù)據(jù)，但是鑒于醫(yī)院的影像數(shù)據(jù)屬于非公開資源，所以目前還沒有更好辦法實(shí)現(xiàn)補(bǔ)償算法的訓(xùn)練。

星影混合現(xiàn)實(shí)顯示系統(tǒng)是一款基于混合現(xiàn)實(shí)技術(shù)的影像數(shù)據(jù)全息體素渲染閱片工具，在醫(yī)生需要快速識(shí)別影像做診斷的時(shí)候，應(yīng)用星影進(jìn)行輔助。星影不需要人工操作和學(xué)習(xí)，醫(yī)生只需要把CT、核磁影像數(shù)據(jù)導(dǎo)入影像數(shù)據(jù)，通過(guò)系統(tǒng)智能分析并體繪制渲染至混合現(xiàn)實(shí)眼鏡，無(wú)需人工重建3D模型，就可以在眼鏡里出現(xiàn)實(shí)時(shí)的全息模型，包括模型重建也可以在系統(tǒng)里面完成。醫(yī)生需要搭配混合現(xiàn)實(shí)眼鏡，通過(guò)二維結(jié)合三維的體素渲染方式來(lái)觀看影像數(shù)據(jù)，或者可以體驗(yàn)在立體影像數(shù)據(jù)上模擬手術(shù)路徑、置入植入體等臨床環(huán)節(jié)，有利于手術(shù)方案策劃與制定，以便于做出更科學(xué)更高效的診斷。

星圖混合現(xiàn)實(shí)顯示系統(tǒng)是一款混合現(xiàn)實(shí)醫(yī)學(xué)影像閱片工具，在導(dǎo)入醫(yī)學(xué)影像數(shù)據(jù)后，經(jīng)系統(tǒng)智能處理，醫(yī)生可以通過(guò)混合現(xiàn)實(shí)眼鏡從任意角度全息瀏覽病例立體模型，提高醫(yī)生對(duì)病灶中各組織空間位置關(guān)系的認(rèn)知能力。星圖的特點(diǎn)是支持多人觀看，目前最多支持七臺(tái)眼鏡同時(shí)觀看。但它不同于星影的平面繪制，在星圖中，病例的各個(gè)單獨(dú)模型都能獨(dú)立拆分，換成任意想要的顏色，每個(gè)單獨(dú)的模型都能進(jìn)行顯示隱藏的操作或是調(diào)節(jié)透明度。比如隱藏掉皮膚，只看血管和腫瘤的位置關(guān)系，也可以做一些標(biāo)注，支持從任何角度去觀看模型，適合深度的觀察和討論病例。星圖為醫(yī)生提供了更具參考價(jià)值的影像信息，把手術(shù)部位立體模型置于手術(shù)視野中，通過(guò)調(diào)整位置、透明度、大小等參數(shù)，獲取更多與病灶相關(guān)的信息。

星航是一款用于術(shù)中實(shí)時(shí)導(dǎo)航和教學(xué)培訓(xùn)方面的系統(tǒng)，可以跟蹤手術(shù)器械的實(shí)時(shí)位置信息，比如探針的深度和角度的位置信息，將空間信息在混合現(xiàn)實(shí)中進(jìn)行呈現(xiàn)。是一套非常精準(zhǔn)的導(dǎo)航工具，能夠幫助醫(yī)生高效精準(zhǔn)的完成手術(shù)。它用在醫(yī)學(xué)教學(xué)上，可以幫助學(xué)生做臨床醫(yī)學(xué)操作上的培訓(xùn)。

星云是一套在線混合現(xiàn)實(shí)協(xié)同系統(tǒng)，在線注冊(cè)賬號(hào)并在HoloLens和網(wǎng)頁(yè)上登陸后，可以上傳立體模型，并且還可以對(duì)立體模型進(jìn)行編輯、處理、存儲(chǔ)、分享，在戴上HoloLens之后,也可以瀏覽自己的或者被分享的立體病例，同時(shí)也可用于遠(yuǎn)程醫(yī)療。

?