In de zomervakantie van 2019 deed ik een maand stage op de dienst MRI van het UZ Jette. Dit onder begeleiding van de aanwezige fysici Peter Van Schuerbeek, Maarten Naeyaert en Hubert Raeymaekers. Het doel van de stage was om een nieuwe methode te onderzoeken voor de analyse van MRI beelden.
De focus lag op 3D beelden van de hersenen. Op deze beelden zijn 3 hersenweefsels te onderscheiden: grijze stof, witte stof en cerebrospinal fluid (CSF). Een medisch interessante vraag is om in deze MRI beelden voor elke voxel (3D pixel) te bepalen welke van deze 3 hersenweefsels het bevat. Zo krijgt men een idee van het totale volume en de verdeling van de verschillende hersenweefsels. Dit proces noemt men segmentatie van de hersenen.
Tot nu toe gebeurt deze segmentatie in het UZ Jette op basis het software programma SPM. Dit programma werkt met atlassen van de drie hersenweefsels, meer info is te vinden op de website van SPM. Een gebruikelijke manier om de kwaliteit van deze segmentaties te beoordelen is de Dice coëfficient. We noemen A de verzameling van de pixels die gesegmenteerd zijn in een bepaalde klasse en B de verzameling van de pixels die daadwerkelijk in deze klasse zitten. Dan is de Dice score gedefinieerd als
Deze score ligt steeds tussen 0 en 1. Hoe hoger de score, hoe beter de segmentatie. Met behulp van het programma SPM worden Dice scores bereikt van ongeveer 0.80 volgens een studie uit 2014 [1].
De meest nauwkeurige segmentaties worden vandaag bereikt door een radioloog. Deze bekijkt de beelden en deelt ze manueel op in de verschillende hersenweefsels. Dit proces is zeer tijdrovend, zeker voor 3D beelden. Een bijkomend probleem is dat ook deze segmentatie niet perfect is. Als twee radiologen dezelfde beelden segmenteren kunnen deze significant verschillen. Zelfs wanneer men de segmentaties vergelijkt die gemaakt zijn door dezelfde radioloog op verschillende tijdstippen, merkt men dat ze kunnen verschillen [2].
De laatste jaren komt artificiële intelligentie steeds meer onder de aandacht. Vooral een recente ontwikkeling binnen de artificiële intelligentie genaamd deep learning wordt steeds vaker toegepast in onderzoek of de bedrijfswereld. Deep learning is een verzameling van algoritmes die kunnen leren uit data. Ze worden onder meer gebruikt voor spraakherkenning (link), het genereren van schilderijen (link) of het herkennen van katten en honden op foto's (link). Een deep learning techniek kan worden toegepast op het probleem van hersensegmentatie, met name het convolutioneel netwerk. Onderstaande tabel uit [2] toont de Dice score voor enkele convolutionele netwerken. In deze paper werd het netwerk toegepast om te bepalen of een pixel wel of niet tot het hersenvolume behoort. Meteen is te zien dat de Dice scores hoger liggen dan de 0.80 die met SPM bereikt worden. Het is zelfs zo dat deep learning erin slaagt om een Dice score te bereiken die hoger ligt dan die voor manuele segmentatie door een radioloog. In de tabel staan ook enkele andere metrieken om de goedheid van de segmentatie te bepalen, maar daar gaan we verder niet op in.
Een belangrijk voordeel van convolutionele netwerken ten opzichte van andere technieken is dat het een oplossing biedt voor het Partial Volume Effect (PVE). Dit effect is een gevolg van de eindige grootte van de voxels in een hersenscan. Als een voxel op de rand ligt tussen witte en grijze stof, dan kan deze beide weefsels bevatten. Een segmentatie zal deze voxel echter in één enkele klasse willen indelen en zo een fout moeten maken. Een oplossing voor dit probleem is fuzzy clustering. In deze techniek wordt een voxel niet toegewezen tot een welbepaalde klasse, maar tot verschillende klassen met een bepaalde waarschijnlijkheid. Zo zal een voxel bijvoorbeeld witte stof zijn met een kans van 70% en grijze stof zijn met een kans van 10%. Merk op dat deze kansen niet optellen tot 100%. Het zijn immers de kansen dat een pixel wel of niet tot een klasse behoort, deze kans is onafhankelijk van de overige klassen. Een convolutioneel netwerk geeft dezelfde output als in de techniek van fuzzy clustering. Zo vormen convolutionele netwerken een oplossing voor het Partial Volume Effect (PVE).
Dit project heb ik gedaan als Externe Mobiliteit B, opleidingsonderdeel van de master Fysica en Sterrenkunde aan de VUB. Hiervoor heb ik 4 weken meegewerkt in de onderzoeksgroep van de afdeling MRI aan het UZ Jette. Het project onderzocht hoe convolutionele netwerken kunnen worden ingezet voor de segmentatie van MRI beelden van de hersenen. Het project begon met een literatuurstudie over convolutionele netwerken en hoe ze toegepast worden op segmentatie van de hersenen. Vervolgens heb ik gewerkt met enkele MRI hersenscans ter beschikking gesteld door het UZ Jette. Deze scans heb ik dan gesegmenteerd met het software pakket SPM12. Deze segmentaties werden gebruikt als "ground truth". Vervolgens trainde ik een netwerk geïnspireerd door het artikel in [2]. Dit netwerk is in staat om nieuwe hersenscans te segmenteren en behaalt een Dice score van 0.83. Op deze website bespreek ik hoe dit netwerk gemaakt is en hoe men het zou kunnen verbeteren.
Een overzicht van de literatuurstudie is te vinden in de tabs Intro en U-net. Intro geeft een korte introductie tot de toepassing van convolutionele netwerken op de segmentatie van afbeeldingen. In de tab U-net vindt u meer uitleg over het netwerk waarop ik me gebaseerd heb. U-net is de naam van een convolutioneel netwerk dat zeer populair is in de medische beeldanalyse. De resultaten en de implementatie van het netwerk dat ik zelf maakte vindt u in de tab Resultaten.
[1] K. Kazemi, N. Noorizadeh (2014) Quantitative Comparison of SPM, FSL, and Brainsuite for Brain MR Image Segmentation, J Biomed Phys Eng. 2014 Mar; 4(1): 13–26 (link).
[2] Kolařík, M., Burget, R., Uher, V., Říha, K., & Dutta, M. K. (2019). Optimized High Resolution 3D Dense-U-Net Network for Brain and Spine Segmentation. Applied Sciences, 9(3), vol. 9, no. 3 (link).