Das Zi entwickelt Patientenvignetten zur Bewertung von Software zur medizinischen Selbsteinschätzung oder Notrufabfrage. Diese werden aus realen SmED-Assessments per Clusterung generiert, kuratiert und hinsichtlich der geeigneten Versorgungsebene, Dringlichkeit sowie des Versorgungsbedarfes konsentiert. Die Bewertung erfolgt in Zusammenarbeit mit medizinischen Fachgesellschaften. Der Vignettensatz wird sukzessive angepasst bzw. erweitert. Die Software-Produkte (Symptomchecker, KIs, SNA) werden dann mittels LLM auf Basis des Vignetten-Satzes hinsichtlich ihrer Abweichungen analysiert und bewertet.

Hintergrund

Gesundheitspolitisch wird perspektivisch ein digitaler Zugang zur medizinischen Versorgung angestrebt. Digitale Selbsteinschätzungssysteme sollen ermöglichen, die Inanspruchnahme der Versicherten effektiv zu steuern. Sowohl die Reform der Notfallversorgung als auch der aktuelle Entwurf des Gesetzes für Daten und digitale Innovationen im Gesundheitswesen (GeDIG) ebnen diesen fortschrittlichen Weg.

Diese politisch unterstützte Entwicklung bewirkt, dass hohe Anforderungen an die Auswahl und Verlässlichkeit von digitalen Selbsteinschätzungssysteme gestellt werden. Widersprüchliche und potenziell gefährliche Empfehlungen müssen erkannt und vermieden werden. Neben strukturierten Systemen kommen zunehmend KI-Systeme auf den Markt und der Einfluss etablierter Angebote generativer KI (Large Language Models – LLM) nimmt zu. Bemerkenswert ist, dass die Ergebnisse dieser Systeme, auch wenn diese als Medizinprodukt zertifiziert sind, sich sehr stark unterscheiden können, sodass ein Nutzer mehrerer Systeme für die gleiche Fragestellung teils recht widersprüchliche Empfehlungen erhalten kann.

Der Vergleich komplexer Ersteinschätzungssysteme basiert in der Regel auf „Patientenvignetten“, also exemplarischen Patientenanfragen, die im Hinblick auf Behandlungsdringlichkeit und Versorgungsebene durch Experten konsentiert wurden. Wird sichergestellt, dass Patientenvignetten repräsentativ für die tatsächlichen Anliegen der Versicherten sind, und können die angemessenen Empfehlungen zu Behandlungsdringlichkeit und Versorgungsebene hierzu auf breiter Basis konsentiert werden, soll ein Referenzsystem zur Bewertung von digitalen Ersteinschätzungssystemen für Deutschland entstehen.

Patientenfallvignetten

Die inhaltliche Grundlage der Zi-Fallvignetten bildet eine große repräsentative Stichprobe aus realen SmED-Assessments. Diese medizinischen Ersteinschätzungen erfolgten entweder telefonisch über die 116117, oder wurden digital im Rahmen einer Selbsteinschätzung über das Patienten-Navi durchgeführt, in beiden Fällen unter Nutzung der Software SmED (Strukturierte medizinische Ersteinschätzung in Deutschland). 

Die SmED-Assessments der Stichprobe wurden analysiert und Cluster gebildet. Jedes Cluster repräsentiert dabei eine große Anzahl an ähnlichen Assessments und dient als Grundlage für eine Fallvignette. Der daraus entstandene Vignettendatensatz repräsentiert damit häufige Anliegen, mit denen sich Patient*innen akut an die 116117 wenden oder selbst medizinisch ersteinschätzen. Die Fallvignetten wurden durch ein ärztliches Team des Zi kuratiert. Anschließend wurde in einem zweistufigen Konsentierungsprozess für jede Vignette eine ärztliche Empfehlung zur Versorgungsdringlichkeit und Versorgungsebene festgelegt. Der daraus entstandene Datensatz umfasst aktuell 494 Vignetten und dient als vorläufige Referenz für die Bewertung von Softwareprodukten zur akutmedizinischen Selbsteinschätzung.

Zusammenarbeit mit Fachgesellschaften

Da die aktuellen Zi-Empfehlungen zur Versorgungsdringlichkeit und geeigneter Struktur einen vorläufigen Charakter haben, wird zur Schaffung eines fachlichen Benchmarks im Sinne eines “Goldstandards” die Zusammenarbeit mit medizinischen Fachgesellschaften angestrebt. Die Einladung zur Mitwirkung im Projekt ist bereits erfolgt.

Berücksichtigt werden sollen im Projekt auch Aspekte wie die Versorgung durch nichtärztliches Gesundheitsfachpersonal oder die Definition von benötigten Versorgungsressourcen bei der Erstbehandlung.

Bewertung und Vergleich von digitalen Ersteinschätzungssystemen

Der Datensatz aus Patientenfallvignetten in Kombination mit definierten Versorgungsempfehlungen ermöglicht einen Systemvergleich. Das Zi hat eine Methodik entwickelt, um für jede Fallvignette ein Ergebnis in einem Ersteinschätzungssystem zu erzeugen. Dieses kann anschließend mit der ärztlichen Empfehlung verglichen werden. Wie sich ein solcher Vergleich darstellen lässt, ist der Publikation von Kroll et al. (siehe unten, Publikationen) zu entnehmen.

Publikationen

• Anja Seidel, Edgar Steiger, Josephine Schuster, Lars Eric Kroll. A Data-Driven Framework for Generating Population-Linked Case Vignettes from Nationwide Triage Data. medRxiv 2026.06.08.26354886; doi: https://doi.org/10.64898/2026.06.08.26354886 (öffnet in neuem Tab)

• Lars Eric Kroll, Anja Seidel, Josephine Schuster, Edgar Steiger, Timo Schöpke, Dominik von Stillfried, BeST Study Group.Benchmark Self-Triage (BeST): Comparing Self-Triage Systems and Multiple Generations of OpenAI Models Against Preliminary Expert Consensus. medRxiv 2026.10.12.26365287; doi: https://doi.org/10.64898/2026.10.12.26365287  (öffnet in neuem Tab)