Wie hat sich der Markt bei der medizinischen Spracherkennung in den letzten Jahren entwickelt? Wie hoch ist die Durchdringung mittlerweile in Deutschland?
Mehr als die Hälfte der Krankenhäuser hat in irgendeiner Form eine Spracherkennung von Nuance im Einsatz. Dabei gibt es verschiedene Iterationen der Technologie. Das Spektrum geht von ganz alten Installationen vom Anfang der Nullerjahre bis zu neuesten Cloud-Produkten, wo sich natürlich die höchste Dynamik abspielt. Nuance hat alle alten Produkte, die nicht cloudbasiert sind, abgekündigt und damit bewusst Dynamik initiiert. Das Wachstum findet aktuell vor allem in den Bereichen statt, die früher noch keine Spracherkennung hatten, weil die Technologie dort noch nicht so gut funktionierte – also außerhalb der klassischen Workflowdisziplinen. Spracherkennung geht jetzt in die Breite, auch wenn sie sicher noch nicht überall da ist, wo sie sein könnte.
Wie ist die Dynamik im deutschen Markt verglichen mit anderen Märkten?
Der deutsche Markt hat später angefangen, aber wächst jetzt schneller als andere. Ich habe den Eindruck, dass langsam das Verständnis dafür steigt, was der Nutzen einer Spracherkennung als Cloud-Anwendung sein kann, und dass sich die Einrichtungen lösen von irrationalen Bedenken.
Abgesehen von der Verbreiterung der Fachrichtungen: Welche anderen Trends sind zu beobachten?
Die größte Änderung besteht darin, dass die Technologie heute sehr einfach verfügbar ist. Text erscheint zwar immer noch am Cursor, aber das ist mittlerweile völlig unabhängig vom technischen Aufbau. Ob das virtualisierte Umgebungen sind, welche Mikrofone genutzt werden, welcher Sprecher das ist, das spielt alles kaum noch eine Rolle. Es wurde eine Menge Arbeit hinter den Kulissen gemacht, um da hinzukommen, wo wir jetzt sind.
Wie viel Kooperation aufseiten der Primärsystemhersteller brauchen Sie noch? Um den Text am Cursor erscheinen zu lassen? Gar keine mehr. Egal welches KIS oder PVS? Egal wie alt?
Das ist genau die Arbeit, die im Hintergrund gelaufen ist. Es spielt fast keine Rolle mehr, welches System genutzt wird. Das Einzige ist, dass es bei Nuance ein Windows-System sein sollte, aber auch wenn das nicht der Fall ist, gibt es Möglichkeiten. Dann reden wir etwa von Browser-basierter Spracherkennung, und dann braucht es auch noch einen Integrationspartner. Hardware brauchen wir streng genommen auch nicht mehr, das geht mit Mobil-telefonen. Das wird ja häufig belächelt: Warum erscheint mein Text denn nicht gleich auf dem Handy? Der Grund ist, dass wir wollen, dass wirklich jedes Handy auch außerhalb des Krankenhausnetzwerkes benutzt werden kann, legal und datenschutzkonform.
Seit einiger Zeit ist die maschinelle Erstellung von Texten in aller Munde, Stichwort generative KI und große Sprachmodelle (Large Language Model, LLM). Inwieweit spielen Maschinenlernen bzw. KI-Modelle denn bei der bisherigen Spracherkennung schon eine Rolle?
Die spielen eine große Rolle, es sind nur andere Modelle, also keine LLM. Es gibt bei der Spracherkennung mehrere Modellebenen. Zum einen gibt es ein akustisches Modell, das aus dem Audiosignal gewissermaßen die menschliche Stimme als Phoneme heraussucht. Das Zweite ist dann die Spracherkennung im engeren Sinne. Die hat mehrere Ebenen. Ein Stichwort sind die Phonemfolgewahrscheinlichkeiten. Hier wird in einer Art rekursiver Analyse mit Hidden-Markov-Modellen analysiert, welche Phonemfolgen mit welcher Wortfolge assoziiert sind. Das engt die Zahl der möglichen Worte ein. Dann gibt es Homophone, z.B. Meer mit Doppel-e oder mehr mit h. Da wird auf einer dritten Modellebene analysiert, mit welcher Wahrscheinlichkeit welches der Homophone jeweils gemeint ist. Generell wird auf dieser Ebene permanent in Echtzeit analysiert, wie die Worte am wahrscheinlichsten zusammenpassen. Das wurde früher auf Trigrammebene gemacht, heute sind wir regelhaft bei vier Wörtern, aber das sind natürlich immer noch keine Large-Language-Modelle, sondern als neurale Netzwerke damit verwandte Modelle. Diese Art der Echtzeitanalytik ist übrigens der Grund, warum das Ergebnis einer Spracherkennung immer etwas verzögert erscheint. Die Software kontrolliert permanent, ob die Wortketten noch zusammenpassen und zeigt dann das jeweils wahrscheinlichste Ergebnis an. Zum Schluss gibt es dann noch ein Semantik-Layer, da geht es um die Formatierung, also zum Beispiel beim Blutdruck, wo „120 zu 80 Millimeter HG“ gesprochen, aber „120/80 mmHg“ geschrieben wird. Das ist bisher die letzte Stufe, und jetzt sind wir dank LLM quasi gerade dabei, noch eine weitere Stufe dranzuhängen. Außerdem gibt es mit den sogenannten End-to-End-Modellen weitere leistungsfähige Möglichkeiten für Spracherkennung.
Könnte das Meiste von dem, was Sie beschrieben haben, nicht direkt von LLMs erledigt werden?
Naja. Diese Modelle arbeiten alle unterschiedlich. Es ist eher so, dass die LLMs das, was wir heute nutzen, ergänzen können. Was Nuance und andere da einbringen können, sind fach- und auch landesspezifische Ausleuchtungen, über die die großen Modelle nicht ohne Weiteres verfügen. Der Kauf von Nuance durch Microsoft ist deswegen auch folgerichtig, da hat man sich schon eine Menge bei gedacht.
Lassen Sie uns ein bisschen spekulativ auf die Anwendungsebene runtergehen. Wie könnte sich die medizinische Textgenerierung durch die Kombination von existierender Spracherkennung mit LLM weiterentwickeln?
Die wird sich dramatisch weiterentwickeln. Der Begriff, den wir dafür verwenden, ist Ambient Recognition. Die Software „hört einfach zu“, und dann wird am Ende gefragt, was genau gesagt wurde. Wenn wir so etwas heute machen wollten, dann wäre das relativ aufwendig. Es bräuchte eine Aufnahme, und jemand müsste sich ins stille Kämmerchen setzen und die Aufnahme anhören. Ein Ambient-Recognition-System liefert eine solche Zusammenfassung relativ schnell. Beispiel: Sie kommen als Patient in eine Arztpraxis, die über so ein System verfügt. Der Arzt der Zukunft macht seine ganz normale Untersuchung: Anamnese, Befunde der körperlichen Untersuchung und so weiter. Und danach geht der Arzt an seinen Computer und weite Teile des Berichts sind schon fertig – so als hätte die ganze Zeit ein Assistent danebengestanden und mitgeschrieben.
Und der Bericht klingt dann auch so, wie der Arzt will, dass er klingt?
Ja, denn dem LLM können Sie sagen, wie der Bericht aussehen soll. Das System erhält etwa einen Beispielbericht, den es als Ausgangsdokument nutzt. Dann übernimmt es die patientenspezifischen Befunde aus dem Gespräch und nimmt für alles, was nicht extra erwähnt wurde, einen Normalbefund an. Das ist sozusagen der „Prompt“, der dem LLM gegeben wird. So etwas kann man als Hersteller von Spracherkennung sehr gut adaptieren und benutzen, und als Microsoft lässt sich so etwas sehr gut skalieren. Das wird das Gesundheitswesen massiv verändern.
OP-Berichte ließen sich auch auf dieser Weise teilautomatisieren…
OP-Berichte sind ein anderer Klassiker, ja. Eine Operation läuft ja häufig recht gleichförmig ab, beziehungsweise bestimmte Operationen oder Interventionen unterscheiden sich oft nur in Details wie meinetwegen einer Stentlänge oder der Anzahl Materialien. Das kann ich dann während der OP sagen, und dann kann es protokolliert werden. Ziel ist nicht, diese Dokumente automatisch fertigzustellen. Ziel ist, eine Unterstützung dahingehend zu bieten, dass bestimmte Dokumente, die ohnehin erstellt werden müssen, zumindest schon vorausgefüllt sind. Das ist die Idee. Ein weiteres Anwendungsszenario ist beispielsweise der Schockraum. Da ist Dokumentation sehr wichtig, aber niemand hat einen Kopf dafür.
Nun gibt es ja bei diesen LLMs das viel beschriebene Konfabulierungsproblem. Wie kann eine professionelle medizinische Anwendung wie jene, die Sie jetzt beschrieben haben, damit umgehen?
Ich glaube, es gibt da mehrere Antworten. Zum einen muss man unterscheiden zwischen den Applications Programming Interfaces (APIs) und den jetzt öffentlich zugänglichen Chat-Funktionen. Bei den Chat-Funktionen geht es nicht zuletzt darum, überhaupt mal eine Awareness zu schaffen für das, was technisch möglich ist. Punkt zwei ist, dass die nicht öffentlichen Zugänge und Modelle möglicherweise noch etwas anders arbeiten als das, was wir jetzt von ChatGPT kennen, und dass das Konfabulierungs-Problem deswegen vielleicht gar nicht so groß ist, wie es aussehen mag. Wenn wir über medizinische Dokumentation reden: Da sollen diese Modelle gar nichts erfinden. Die offene Frage ist ja in der medizinischen Dokumentation nicht das Einsatzszenario. In der medizinischen Dokumentation möchte ich, dass mir auf Basis vorhandener in diesem Fall Sprach-Information und vorhandener Textstruktur Arbeit abgenommen wird. Das ist also ein völlig anderer Use Case als bei ChatGPT.
Aber es ist schon so, dass ChatGPT, wenn man es zum Beispiel mit einer klinischen Studie füttert und es bittet, die Studie zusammenzufassen, teilweise Dinge dazuerfindet, die nicht in der Studie drinstehen. Es fabuliert mitunter auch dann, wenn es eigentlich gar nicht zu fabulieren bräuchte.
Das ist am Ende eine Frage des Prompt-Designs. „Fasse zusammen“ ist eventuell noch nicht der richtige Prompt für das LLM. Vielleicht wäre der richtige Prompt gewesen: „Fasse zusammen ohne Verwendung von Dingen, die nicht im Text vorkommen.“ Anderes Beispiel: Wenn ich einem LLM einen Orphanet-Code für eine bestimmte seltene Erkrankung gebe und frage, was das für eine Erkrankung ist, dann erklärt es mir, was seltene Erkrankungen sind und sagt mir dann, der und der Code sei eine seltene Erkrankung namens akute lymphozytäre Leukämie. Das stimmt aber nicht, es ist eine ganz andere Nummer. Was passiert da? Das LLM assoziiert „seltene Erkrankung“, und es assoziiert dann die häufigste seltene Erkrankung, und das ist die ALL. Wenn ich dem LLM aber auf Basis einer anderen Datenbank eine Idee gebe, welcher Erkrankung der jeweilige Code entspricht, dann bekomme ich eine korrekte Erklärung des jeweiligen Syndroms, auch wenn die Erklärung in der Datenbank gar nicht drinsteht. Hier wird also das LLM mithilfe eines passenden Prompts, in dem Fall eines zusätzlichen Verweises auf eine existierende Datenbank, in die richtige Richtung gelenkt.
Hersteller, die ein LLM in ihren Anwendungen nutzen, würden also die Prompts konkretisieren?
Genau, darum geht es letztlich. Das ist das Faszinierende daran, und das haben bestimmt auch längst noch nicht alle Hersteller verstanden. Entsprechend macht es für Microsoft Sinn, diese Funktionen als Plattform anzubieten und nicht von vornherein selbst lauter Lösungen zu entwickeln.
Gibt es denn in Ihrem Bereich, als Tochterunternehmen von Microsoft, schon Pilotinstallationen oder Entwicklungsprojekte, die austesten, was da möglich wird?
Wir haben bei der HIMSS in Chicago kürzlich DAX Express vorgestellt, die erste Lösung, die bewährte Nuance-KI mit der neuesten und leistungsfähigsten generativen KI-Technologie, also LLMs kombiniert. Der Use Case ist das, was wir besprochen haben, ein Arzt-Patienten-Gespräch über ein beliebiges Smartphone zu begleiten. Da wird im Hintergrund ein Transkript erstellt, basierend auf unserer normalen, cloudbasierten Spracherkennung. Und das wird dann mit einem LLM umgewandelt in einen ärztlichen Befund. Für den Arzt sieht das so aus, dass ein zusätzliches Fenster erscheint, in dem der jeweilige Befund oder das Ergebnis der Konversation in ärztlicher Sprache zusammengefasst ist. Das kann dann in einen Brief kopiert oder in eine Dokumentation übernommen werden. Das ist derzeit ein Prototyp, das Produkt gibt es noch nicht, aber da geht die Reise hin.
Das Interview führte Philipp Grätzel von Grätz