Med3D - Spletno vizualizacijsko ogrodje volumetricnihmedicinskih podatkov s podporo oddaljenemu sodelovanju

Ciril Bohak, Primož Lavric, Matija MaroltFaculty for Computer and Information Science

University of LjubljanaVecna pot 113

1000 Ljubljana, Sloveniaciril.bohak@fri.uni-lj.si

ABSTRACTV tem clanku predstavljamo spletno vizualizacijsko ogrodje,ki se v osnovi osredotoca na vizualizacijo medicinskih podat-kov v mrezni in volumetricni obliki. Ogrodje omogoca 3Dupodabljanje mreznih modelov, navigiranje po sceni in po-sredno upodabljanje volumetricnih podatkov z integriranopretvorbo v mrezni model z uporabo racunsko ucinkovitegapristopa Marching cubes. Ogrodje omogoca uporabnikomtudi oddaljeno sodelovanje z deljenjem pogleda, deljenjemanotacij in interaktivnim klepetom.

1. UVODZ razvojem novih tehnologij se v vsakdanje zivljenje vse boljvkljucujejo 3D vizualizacije podatkov na stevilnih podrocjih,na primer medicine, strojnistva in geodezije. V medicini do-bra in pravilna 3D vizualizacija zajetih podatkov v velikoprimerih mocno pripomore k dolocanju pravilne koncne di-agnoze pacientov, saj omogoca natancnejsi vpogled v no-tranjost cloveskega telesa in s tem zmanjsuje potrebo poinvazivnejsih posegih. Volumetricni medicinski podatki so vvecini primerov zajeti s pomocjo tehnik volumetricnega ske-niranja s tehnikami racunske tomografije (angl. computedtomography - CT) [4, 7], slikanja s pomocjo magnetne reso-nance (angl. magnetic resonance imaging - MRI) [16], slika-nja s pomocjo pozitronske emisijske tomografije (angl. posi-tron emission tomography - PET) [15] in ultrazvoka (angl.ultrasound - US) [8]. Tako zajeti podatki so vecinoma ob-sezni in posledicno predstavlja njihova vizualizacija svojevr-sten izziv. V vecini primerov se izvaja na namenski, dovoljzmogljivi strojni in programski opremi. Taksna oprema jedraga in stacionarna ter zdravnikom ne omogoca podajanjadiagnoze in priprave na poseg na daljavo, kar otezuje prido-bivanje drugega mnenja ali mnenja specialista na oddaljenilokaciji.

Nacine vizualizacije locimo na posredne in neposredne. Priposrednem upodabljanju podatke vecinoma najprej pretvo-rimo v predstavitev s 3D mreznimi modeli [13, 11, 5], ki jihnato izrisemo [3]. Pri neposrednem upodabljanju podatkevizualiziramo brez predhodne pretvorbe. Pri tem se upora-bljajo tehnike volumetricnega upodabljanja [6, 12] in njihovesodobne izpeljanke [10].

Za namene vizualizacije volumetricnih podatkov je bilo raz-

vitih vec ogrodij in aplikacij. Exposure Renderer [9] in Sim-Vascular1 sta namenjeni lokalni vizualizaciji volumetricnihpodatkov in podpirata napredne osvetlitvene tehnike. Pa-raView2 omogoca paralelno obravnavo in vizualiziranje ob-seznih podatkov z uporabo namenskih streznikov. Predsta-vljena orodja ne podpirajo sirokega nabora platform in soomejena na uporabo na namiznih racunalnikih ali preno-snikih. ParaViewWeb3 omogoca uporabo preko spletnegabrskalnika s pomocjo oddaljenega upodabljanja, a je pravzato njena uporaba nekoliko omejena zaradi manjse odzivno-sti. Predstavljeno orodje sicer deluje na veliko platformah, aenako kot prejsnja ne omogoca oddaljenega sodelovanja meduporabniki.

V clanku predstavimo ogrodje Med3D, razvito z namenomvizualizacije volumetricnih podatkov neposredno v spletnembrskalniku z moznostjo oddaljenega sodelovanja med upo-rabniki. Ogrodje delno temelji na predhodno razvitem ogrodjuNeck Veins [2]. Spletna implementacija poveca doseg upo-rabnikov in omogoca uporabo tudi na mobilnih napravah.Uporabniku omogoca lokalno obdelavo in vizualizacijo po-datkov v okviru zmoznosti naprave, na kateri deluje, in s temomogoca visoko stopnjo interaktivnosti. V primeru zahtev-nejsih vizualizacij in slabsih uporabniskih naprav (mobilnenaprave) ogrodje omogoca izvajanje zahtevnejsih izracunovna strezniku, kar lahko zajema zgolj obdelavo ali pretvorbopodatkov ali celostno oddaljeno upodabljanje. Oddaljenosodelovanje obsega moznost deljenja pogleda z oddaljenimuporabnikom in s tem njegov vpogled v dejansko stanje pa-cienta.

1.1 Vizualizacijsko ogrodje na spletuRazvoja v obliki spletne aplikacije smo se lotili, ker je sple-tna platforma najbolj razsirjena in dostopna tako na osebnihracunalnikih kot mobilnih napravah. Vizualizacijsko ogrodjeje primarno namenjeno vizualizaciji 3D medicinskih podat-kov, lahko pa prikazuje tudi ostale 3D podatke tako v oblikipoligonske mreze kot tudi volumetricne podatke, ki jih pre-tvori v poligonsko mrezo. Spletna platforma omogoca boljsodostopnost aplikacije cim sirsemu krogu uporabnikov ter po-enostavi moznost uporabe oddaljenega upodabljanja in od-daljenega sodelovanja med uporabniki. Na sliki 1 je prikazanvmesnik razvitega ogrodja, oblikovan z namenom uporabena razlicnih napravah z razlicnimi zaslonskimi locljivostmi.

1http://simvascular.github.io/2http://www.paraview.org/overview/3http://paraviewweb.kitware.com/

Figure 1: Slika prikazuje uporabniski vmesnikogrodja Med3D.

1.2 Pretvorba volumetricnih podatkov v mre-žni model

Vecina neobdelanih volumetricnih medicinskih podatkov jepodana v obliki tridimenzionalnega skalarnega polja. Zaradizelje po hitrejsem in racunsko manj zahtevnem upodablja-nju, kot tudi zaradi zelje po hitrejsem prenosu podatkov douporabnikov, se najpogosteje uporablja pretvorba volume-tricnih podatkov v mrezni model.

Za namen pretvorbe podatkov iz volumetricne oblike v mre-zni model smo v ogrodju implementirali metodo Marchingcubes. Za pretvorbo obstajajo tudi sodobnejse metode [14],a smo se za uporabo Marching cubes odlocili zaradi relativnonizke casovne in prostorske zahtevnosti in moznosti visokestopnje paralelizacije [1]. To je pomembno zaradi dejstva,da se lahko algoritem poganja tudi v spletnem brskalnikuna strani uporabnika, ki ponuja omejen dostop do sistem-skih virov, se posebej pomnilnika. Pretvorba volumetricnihpodatkov je pomembna tudi zaradi oddaljenega sodelovanja,saj je velikost poligonske mreze precej manjsa od tridimen-zionalnega skalarnega polja in posledicno omogoca hitrejsosinhronizacijo podatkov med uporabniki.

Glede na performancne rezultate razlicnih implementacij smose odlocili za implementacijo z uporabo ogrodja ASM.js4, kipredstavlja nizkonivojsko podmnozico programskega jezikaJavascript in dosega visoke pohitritve v primerjavi z osnov-nimi implementacijami. Prav tako smo izkoristili moznostiparalelizacije z uporabo aplikacijskega vmesnika Web Wor-kers5.

2. ODDALJENO SODELOVANJEPri vizualizaciji podatkov se velikokrat pojavi potreba podelitvi in skupni interpretaciji vizualizacij z oddaljenimi ose-bami. V primeru medicine to pogosto pomeni pridobivanjemnenja oddaljenih specialistov. Delitev podatkov, lokalnovizualiziranje ter interpretacija so pogosto precej neucinko-viti tako z vidika casovne potratnosti kot tudi z vidika pre-nosa informacij med uporabniki. Ta problem smo v pred-stavljanem vizualizacijskem ogrodju resili z implementacijooddaljenega sodelovanja.

Implementacija oddaljenega sodelovanja omogoca delitev vi-

4http://asmjs.org/5https://www.w3.org/TR/workers/

zualiziranih podatkov in realnocasovno sinhroniziranje pri-kaza podatkov (scene), pogleda kamere in delitev anota-cij modela med uporabniki ter vgrajeni interaktivni klepet.Uporabniki lahko z ustreznimi dovoljenji tudi prevzamejonadzor nad kamero in podatki. Tako implementirano sode-lovanje omogoca bistveno hitrejso interpretacijo vizualiza-cije podatkov, hitrejso medsebojno komunikacijo in prenosinformacij ter znanja med uporabniki.

2.1 Anotacije podatkovV ogrodju smo omogocili dodajanje prostorsko definiranihanotacij na prikazan model. Uporabnik lahko na zeleno me-sto na modelu s klikom pripne anotacijo, ki jo lahko kasnejetudi deli z ostalimi uporabniki. Primer taksnih anotacij jeprikazan v sliki 2.

Figure 2: Prikaz anotacij na modelu zil.

2.2 KlepetZa potrebe hitrejse komunikacije smo v ogrodje vdelali tudimoznost interaktivnega klepeta med uporabniki v isti seji.Tako lahko uporabniki med pregledom podatkov medsebojnokomunicirajo in s tem izmenjujejo mnenja. Primer vgraje-nega klepeta je predstavljen v sliki 3.

Figure 3: Prikaz vgrajenega interaktivnega klepeta.

2.3 Sinhronizacija scene med uporabnikiKo uporabnik vzpostavi zeleno sceno, lahko ta prikaz pricnedeliti z ostalimi uporabniki vizualizacijskega ogrodja. Gosti-telj seje svojo sceno sinhronizira s streznikom, ta pa zacne

posiljati posodobitve v obliki sprememb deljenih parametrovobjektov v sceni. Tako lahko uporabnik prenese spremembetransformacij objektov, spremembe geometrije, anotacije indruge podatke. Minimalni cas med posodobitvami se nastavidinamicno in ga je mogoce prilagajati glede na kvaliteto po-vezave med gostiteljem in streznikom. Prejeto sceno strezniklokalno shrani in jo posodablja s posodobitvami gostiteljaseje. S tem gostitelja seje razbremenimo razposiljanja ce-lotne scene novim udelezencem, saj lahko novi udelezenecpridobi trenutno sceno in njeno zadnje stanje neposredno izstreznika.

Figure 4: Slika prikazuje shemo komunikacije pri od-daljenem sodelovanju. Levo zgoraj je gostitelj seje,ki deli sceno z ostalimi uporabniki spletne aplika-cije. Gostitelj je na shemi ze sinhroniziral sceno sstreznikom (spodaj desno) in mu posreduje posodo-bitev deljene scene, katero streznik razposlje vsemnarocnikom in posodobi svojo lokalno kopijo scene.Zgoraj na sredini je prikazan udelezenec seje, ki je zeprenesel sceno iz streznika in sedaj prejema posodo-bitve gostitelja. Desno zgoraj pa je nov udelezenecseje, ki iz streznika prenasa zadnjo verzijo scene.

Shema komunikacije pri oddaljenem sodelovanju je prika-zana na sliki 4, kjer je prikazano, kako poteka sinhroniza-cija scene med dvema povezanima uporabnikoma na primeruspremembe orientacije kamere in potek priklopa novega upo-rabnika, ki prejme celoten opis scene.

Taksna implementacija oddaljenega sodelovanja omogoca zeloodzivno interakcijo z objekti v sceni in ponuja enak vpogledv podatke vec uporabnikom ogrodja socasno.

3. ZAKLJUCKI IN NADALJNJE DELOPredstavili smo spletno vizualizacijsko ogrodje, razvito z na-menom sirse dostopnosti vizualizacije 3D medicinskih in vo-

lumetricnih podatkov z moznostjo oddaljenega sodelovanjamed uporabniki. V prihodnosti nameravamo v ogrodje do-dati naprednejse algoritme za pretvorbo v mrezni model invgraditi tako podporo za neposredno upodabljanje volume-tricnih podatkov kot tudi oddaljeno upodabljanje na stranistreznika. Kot je v delu omenjeno, zelimo z ogrodjem pod-preti tudi performancno manj zmogljive naprave in omogo-citi racunsko zelo kompleksne vizualizacije s pomocjo odda-ljenega upodabljanja.

4. REFERENCE[1] C. Bohak, A. Sodja, M. Marolt, U. Mitrovic, and

F. Pernus. Fast segmentation, conversion and rendering ofvolumetric data using gpu. In IWSSIP 2014 Proceedings,pages 239–242, May 2014.

[2] C. Bohak, S. Zagar, A. Sodja, P. Skrlj, U. Mitrovic,F. Pernus, and M. Marolt. Neck veins: an interactive 3Dvisualization of head veins. In Proceedings of the 4thInternational Conference World Usability Day Slovenia2013, 25 Nov, Ljubljana, Slovenia, E. Stojmenova (Ed.),pages 64–66, 2013.

[3] W. J. Bouknight. A procedure for generation ofthree-dimensional half-toned computer graphicspresentations. Commun. ACM, 13(9):527–536, Sept. 1970.

[4] C. R. Crawford and K. F. King. Computed tomographyscanning with simultaneous patient translation. MedicalPhysics, (17):967 – 982, 1990.

[5] M. T. Dehkordi, S. Sadri, and A. Doosthoseini. A review ofcoronary vessel segmentation algorithms. J Med SignalsSens, 1(1):49–54, 2011.

[6] R. A. Drebin, L. Carpenter, and P. Hanrahan. Volumerendering. SIGGRAPH Comput. Graph., 22(4):65–74, June1988.

[7] W. A. Kalender, W. Seissler, E. Klotz, and P. Vock. Spiralvolumetric CT with single-breath-hold technique,continuous transport and continuous scanner rotation.Radiology, (176):181 – 183, 1990.

[8] D. Krakow, J. Williams, M. Poehl, D. L. Rimoin, and L. D.Platt. Use of three-dimensional ultrasound imaging in thediagnosis of prenatal-onset skeletal dysplasias. Ultrasoundin Obstetrics and Gynecology, 21(5):467–472, 2003.

[9] T. Kroes, F. H. Post, and C. P. Botha. Exposure render:An interactive photo-realistic volume rendering framework.PLoS ONE, 7(7):1–10, July 2012.

[10] E. P. Lafortune and Y. D. Willems. Bi-directional pathtracing. In Proceedings if Third International Conferenceon Computational Graphics and Visualization Techiques(COMPUGRAPHICS ’93, pages 145–153, 1993.

[11] D. Lesage, E. D. Angelini, I. Bloch, and G. Funka-Lea. Areview of 3d vessel lumen segmentation techniques: Models,features and extraction schemes. Medical Image Analysis,13(6):819 – 845, 2009.

[12] M. Levoy. Display of surfaces from volume data. ComputerGraphics and Applications, IEEE, 8(3):29–37, 1988.

[13] W. E. Lorensen and H. E. Cline. Marching cubes: A highresolution 3d surface construction algorithm. SIGGRAPHComput. Graph., 21(4):163–169, Aug. 1987.

[14] Y. Ohtake, A. Belyaev, M. Alexa, G. Turk, and H.-P.Seidel. Multi-level partition of unity implicits. ACM Trans.Graph., 22(3):463–470, July 2003.

[15] J. M. Ollinger and J. A. Fessler. Positron-emissiontomography. IEEE Signal Processing Magazine,14(1):43–55, Jan 1997.

[16] P. A. Rinck. Magnetic Resonance in Medicine. The BasicTextbook of the European Magnetic Resonance Forum. 9thedition, volume 9.1. TRTF, 2016. E-Version.