Kürzlich konnte man sie auf der Gamescon in Köln in Massen beobachten: Menschen mit großen Datenbrillen, die wild gestikulierten und völlig versunken waren in ihrer eigenen, dreidimensionalen virtuellen Welt. Aber sie spielten nur. Forscher an der Technischen Universität (TU) München arbeiten hingegen daran, die Technik der Virtuellen Realität (VR) in der Medizin nutzbar zu machen. Bei ihnen ist das keine Spielerei, sondern  Ernst.

Eines der aufregendsten Projekte bearbeiten zurzeit Nassir Navab und Kollegen am Münchner TU-Lehrstuhl für Informatikanwendungen in der Medizin & Augmented Reality. Der Informatikprofessor entwickelt zusammen mit mehreren Teams aus Informatikern und Ärzten Geräte, mit denen ein Chirurg während der OP ins Innere des Patienten blicken kann, ohne große Schnitte zu setzen.

Datenbrille auf dem Kopf

Bisher gibt es für den Chirurgen nur den Blick von außen, wenn er zu operieren beginnt, beispielsweise um gesplitterte Knochen wieder zusammenzufügen. Die Röntgenbilder hängen an der Wand, das heißt, er muss die Daten in seinem Kopf zusammenführen und die Schnitte entsprechend planen.

Wie das in Zukunft sehr viel einfacher und zudem genauer geschehen könnte, stellen sich die Forscher so vor: Der Chirurg betritt den Operationssaal und setzt sich ein kleines Gerät mit einer Datenbrille auf den Kopf. Auf dem Bildschirm in der Brille sieht er den Patienten genau so, wie er in Wirklichkeit auf dem OP-Tisch liegt.

Präzise Navigation

Aber auf Knopfdruck erkennt er noch viel mehr: Er kann Schicht für Schicht in den Körper hineinblicken, durch Haut und Muskeln hindurch, bis auf die Knochen. Nachdem er sich einen Überblick verschafft hat, beginnt der Chirurg den Eingriff. Er macht eine kleine Öffnung in den Körper, durch die er seine Instrumente einführt. Wo er den Schnitt setzen muss, ist in der Datenbrille auf dem Bildschirm markiert. Dort kann er auch genau verfolgen, wo sich die Instrumente jeweils befinden. So ist er in der Lage,  sehr präzise zu navigieren. Das System warnt ihn zum Beispiel, wenn er zu nahe an ein Blutgefäß oder eine Nervenbahn kommt.

Um das technisch zu verwirklichen, überlagern die Forscher die realen Bilder des Patienten millimetergenau mit vorher gemachten Röntgen-CT-Bildern. Dazu muss der Computer die Position des Chirurgen und seiner Instrumente genau räumlich registrieren, damit die Perspektive stimmt, auch wenn der Operateur sich bewegt. Das Kamerasystem erfasst dazu alle Positionen. Die Synthese funktioniert über eine hochpräzise räumliche Aufbereitung der verschiedenen digitalisierten Daten.

Ohne schnelle Computer geht es nicht

In das Head Mounted Display sind zwei Farbkameras integriert, die das Livebild aufzeichnen. Sie wurden leicht versetzt angebracht – wie zwei Augen. Dadurch wird das zusammengesetzte Bild beider Kameras dreidimensional. Ein zusätzliches Tracking-System aus Infrarotkameras verfolgt Referenzpunkte und bestimmt so die Position des Patienten und der Datenbrille auf Millimeterbruchteile genau. Dreht der Chirurg den Kopf, sorgt es dafür, dass das Computerbild vom Inneren des Körpers exakt seinem Blickwinkel entspricht. Außerdem verfolgt es die Lage der Instrumente in der Hand des Arztes und berechnet daraus ihre genaue Position im Körper.

Gleichzeitig muss der Computer sehr schnell sein. Denn das System muss jede Bewegung des Chirurgen in Echtzeit wiedergeben können. Für den Chirurgen entsteht in der Datenbrille der Eindruck, als blicke er durch die Haut hindurch in die verschiedenen Schichten des Körpers, dreidimensional und farbig. Was wie Science-Fiction anmutet, befindet sich schon in der Erprobung.

„Unser Ziel ist ein System, das dem Arzt während der OP ein dreidimensionales Bild des Körperinneren und seiner Instrumente zeigt – und zwar nicht auf einem zusätzlichen Bildschirm, sondern direkt beim Blick auf den Patienten“, sagt Nassir Navab. „Natürlich muss das System leicht bedienbar sein und nicht zu viel störende Technik beinhalten.“

Zwar gibt es schon VR-Programme zur Ausbildung von Medizinern. Dazu gehören etwa die virtuelle Darstellung einer Geburt in einer App der britischen University of East Anglia oder Planungsprogramme für chirurgische Eingriffe am Hoag Hospital in Newport Beach, Kalifornien, oder am Ronald Reagan UCLA Medical Center in Los Angeles. Mit ihnen kann der Operateur im Voraus Probleme erkennen und sein Vorgehen darauf abstimmen.

Haargenaue Überlagerung

Aber Nassir Navab geht noch einen entscheidenden Schritt weiter, denn bei seinem Projekt geht es  um echte Patienten und um wirkliche Operationen, nicht nur um Ausbildung oder Planung. Die Techniken aus Computerspielen können die Forscher dabei nur sehr begrenzt anwenden, auch wenn beides von außen ziemlich ähnlich erscheint. Denn während es bei Computerspielen mehr um die Effekte geht, kommt es in der Chirurgie entscheidend darauf an, ganz exakt zu arbeiten. Deshalb ist es eines der vorrangigen Ziele des Forschungsprojekts, die Daten aus den unterschiedlichsten bildgebenden Verfahren haargenau zu überlagern. Riesige Datenmengen müssen da in Echtzeit einander angeglichen und zu scharfen 3D-Bildern verrechnet werden.

Die Entwicklungen testen die Forscher der TU München in enger Zusammenarbeit mit Medizinern der Chirurgischen Klinik der Münchner Ludwig-Maximilians-Universität. So können sie das System den Anforderungen der Chirurgen anpassen. Dass das Testlabor der Informatiker direkt neben dem Operationssaal der Unfallchirurgie liegt, erleichtert das Teamwork zwischen Theorie und Praxis zusätzlich. „Sobald ein Programm entwickelt wird, probieren es die Chirurgen aus und sagen uns, welche Änderungen sie brauchen“, sagt Navab. „So haben wir sofortiges Feedback für unsere Arbeit.“