Blog Bad Science

Bad Science



Mediziner und Informatiker: Eine Geschichte voller Missverständnisse. Die einen wünschen sich die Nerds in den Keller zurück, damit sie ihrem Handwerk in Ruhe mit schmierenden Kugelschreibern nachgehen können, wie es altehrwürdige Sitte ist, statt mit Tablets voll rätselhafter Fehlermeldungen. Die anderen wünschen sich ihre Unschuld zurück: Hätten sie doch besser nie erfahren, dass ihr Überleben im Notfall von Windows XP abhängt. Doch wie in einer griechischen Tragödie führt das Schicksal beide Seiten unausweichlich zusammen. Einige sonderbare Vertreter beider Parteien scheinen das sogar für wünschenswert zu halten.

Einer dieser Unerschrockenen ist der Wissenschaftsjournalist Hanno Böck. Eigentlich in der IT-Sicherheit zu Hause, hielt Böck bereits auf dem Hackertreffen Chaos Communication Congress Ende 2016 den Vortrag „In Search of Evidence-Based IT Security“. Bekanntlich war in der Medizin der Weg zur evidenzbasierten Entscheidungsfindung schon lang und steinig genug, doch es sind Etappenziele zu verzeichnen. Böck wagte es nun, darauf hinzuweisen, dass die Kollegen aus der IT-Sicherheitsbranche sich in dieser Hinsicht bisher nicht mal die Schuhe angezogen haben: „IT security is largely a science-free field“, so der Untertitel des Vortrags. In einer halben Stunde legte er dem Fachpublikum dar, warum randomisierte kontrollierte Studien (RCT), Meta-Analysen und Studienregister in der Medizin heute weitgehend als gute Idee gelten, welche statistischen Verzerrungen man damit vermeiden kann – und dass es in der IT-Sicherheit praktisch die gleichen Fehlerquellen gibt, die dort aber nicht durch entsprechende Studiendesigns abgefangen werden. Auch in der informellen Diskussion nach dem Vortrag zeigte sich: Für die meisten Software-Entwickler ist der Gedanke fremd, dass die Wirksamkeit ihrer Lösungen sich unter realen Bedingungen bewähren muss, nicht unter Laborbedingungen. Während kein Mediziner das Outcome einer Therapie vorhersagen würde, wenn ihm nur die Molekularstruktur des Wirkstoffs vorliegt, gehen viele Informatiker davon aus, dass der Quelltext einer Software alle Informationen enthält, die man zu ihrer Prüfung braucht. 

Böck ließ sich von dem Gegenwind nicht abschrecken und griff das Thema zum diesjährigen Kongress wieder auf. Fazit seines aktuellen Vortrags „Science is Broken“: Die Mediziner haben sich mühsam ein Verständnis dafür erarbeitet, wie unzuverlässig und fehleranfällig die Ergebnisse wissenschaftlicher Studien sind, und haben einige Kontrollmechanismen wie Studienregister eingeführt. Das Aufkommen von Big Data und Machine Learning führe allerdings zu einem Zustrom von Informatikern und Leuten aus verwandten Fachbereichen in die Medizin, die ihre eigenen wissenschaftlichen Standards mit sich bringen; Standards, die nicht für die Anwendung in der realen – von Menschen bevölkerten – Welt geeignet seien.

Fazit?  Im Aufeinanderprallen der Kulturen werden sich sowohl Mediziner als auch Informatiker mit Dingen auseinandersetzen müssen, die sie eigentlich gar nicht so genau hätten wissen wollen. Aber in der eigenen Filterblase ist kaum jemals etwas Interessantes entstanden.

Quellen:
Vortrag Hanno Böck CCC 2016: https://media.ccc.de/v/33c3-8169-in_search_of_evidence-based_it-security
Vortrag Hanno Böck CCC 2017: https://media.ccc.de/v/34c3-9055-science_is_broken   

Dr. med. Christina Czeschik
ist Ärztin für Medizinische Informatik und Fachautorin für eHealth und Informationssicherheit.