Test- und Berichtsergebnisse der ANSI/AAMI EC57-Algorithmen zur Herzfrequenz- und ST-Streckenmessung

Der gemeinsam vom American National Standards Institute (ANSI) und der Association for Medical Device Improvement (AAMI) veröffentlichte Standard „ANSI/AAMI EC57 Testing and Reporting Performance Results of Heart Rhythm and ST Segment Measurement Algorithms“ beschreibt eine Methode zur Prüfung und Berichterstattung über die Leistung von Algorithmen, die zur Erkennung von Herzrhythmusstörungen, einschließlich des ST-Segments, eingesetzt werden.

Die Verfügbarkeit annotierter Arrhythmie- und ST-Datenbanken ermöglichte die Erprobung verschiedener automatisierter Arrhythmie-Erkennungsalgorithmen anhand derselben Daten. Diese Anwendung stellt ein Protokoll für einen reproduzierbaren Test mit realistischen klinischen Anforderungen bereit und betont die datensatzbasierte Ergebnisdarstellung, die die Fähigkeit eines Algorithmus zur Erkennung klinisch relevanter Ereignisse widerspiegelt. Dieser Standard verwendet Schlag-für-Schlag-Vergleiche zur Messung der Leistungsfähigkeit bei der Erkennung von QRS-Komplexen, ventrikulären Extrasystolen (VES) und supraventrikulären Extrasystolen. Zusätzlich werden Studienvergleiche herangezogen, um die Fähigkeit eines Algorithmus zur Erkennung aufeinanderfolgender VES und supraventrikulärer Extrasystolen zu messen.

Ventrikuläres Flattern, Vorhofflattern, Kammerflimmern und die Erkennung von Vorhofflimmern werden behandelt. Auch die Evaluierung von Algorithmen zur Messung der Herzfrequenzvariabilität und der ST-Strecke wird untersucht. Obwohl dieser Standard klinisch relevante Leistungskennzahlen für den Vergleich von Algorithmen festlegen soll, müssen einige klinische Aspekte im Rahmen dieser Anwendung berücksichtigt werden. Bestehende Datenbanken enthalten noch keine repräsentative Stichprobe nicht-ventrikulärer Arrhythmien im klinischen Alltag, von Patienten mit Herzschrittmachern oder von Artefakten, die einen signifikanten Anteil der EKG-Signale betreffen. Zudem weisen diese Datenbanken eine begrenzte Bandbreite auf und sollten bei der Prüfung von Algorithmen für Geräte mit voller EKG-Diagnosebandbreite mit Vorsicht verwendet werden. Daher sind die klinischen Implikationen eines Tests durch Größe, Umfang und Eigenschaften der verwendeten Datenbanken begrenzt. Leistungskennzahlen, die aus solchen Tests abgeleitet werden, sollten im klinischen Alltag als unsichere Leistungsindikatoren bewertet werden.

Diese Anwendung dient dem Testen von Algorithmen, nicht von kompletten Systemen. Sie stellt keinen Leistungsstandard dar, sondern Empfehlungen für die Prüfung von Herzrhythmus- und ST-Strecken-Messungen sowie die Berichterstattung der Testergebnisse. Ziel der Anwendung ist die Sicherstellung der Reproduzierbarkeit automatisierter Testmethoden.

Dieses vorgeschlagene Verfahren gilt für Algorithmen, die in Geräten oder Systemen implementiert sind, welche EKGs mithilfe automatisierter Methoden analysieren. Dieser Standard ist anwendbar auf von Menschen bediente, eigenständige Geräte, die aufgezeichnete EKGs mithilfe automatisierter Methoden analysieren, sowie auf Echtzeit-Ereignisrekorder, die abnormale Ereignisse mithilfe automatisierter Methoden aufzeichnen.

Taktgenaue Analyseverfahren und Testmethoden, die nicht die spezifizierte Rhythmus- und ST-Streckenanalyse umfassen, fallen nicht unter diese Norm. Auch die Bewertung von Systemen, die stark auf Benutzerinteraktion angewiesen sind, ist nicht Gegenstand dieser Norm. Werden jedoch taktgenaue Analysen durchgeführt, müssen die Ergebnisse dieser Tests mit der hier vorgeschlagenen Vorgehensweise übereinstimmen.

In der medizinischen Diagnostik spielt die Elektrokardiogramm-(EKG-)Analyse eine entscheidende Rolle bei der Erkennung von Herzrhythmusstörungen und ischämischen Ereignissen. Mit dem Fortschritt der Medizintechnik, insbesondere durch die Integration künstlicher Intelligenz und automatisierter Algorithmen, gewinnt die Zuverlässigkeit und Genauigkeit dieser Instrumente zunehmend an Bedeutung. Hier setzt der ANSI/AAMI EC57-Standard an: Er bietet einen umfassenden Rahmen für die Prüfung und Berichterstattung der Leistungsfähigkeit von Algorithmen zur Erkennung von Herzrhythmusstörungen und zur Messung von ST-Strecken-Abweichungen in EKG-Signalen. Dieser Standard wurde entwickelt, um der steigenden Komplexität von EKG-Interpretationssoftware gerecht zu werden und ist somit ein unverzichtbarer Maßstab für Hersteller, Forscher und Kliniker.

Die Norm ANSI/AAMI EC57 ist keine beschreibende Konstruktionsnorm, sondern vielmehr ein methodischer Leitfaden zur Leistungsbewertung. Die grundlegenden Ziele dieser Norm sind zweifach:

• Standardisierte Testprotokolle: Diese beschreiben Verfahren zur Bewertung der Genauigkeit von Algorithmen unter Verwendung von Referenz-EKG-Datenbanken, wodurch subjektive Interpretationen minimiert werden.
• Transparente Berichterstattung: Um fundierte Vergleiche zwischen Systemen zu gewährleisten, sind detaillierte Beschreibungen der Testbedingungen, Ausfallraten und Einschränkungen erforderlich.

Dieser Standard gilt sowohl für eigenständige EKG-Analysesoftware als auch für integrierte Systeme in Geräten wie Holter-Monitoren, Belastungs-EKG-Geräten und implantierbaren Kardioverter-Defibrillatoren. Er konzentriert sich insbesondere auf Black-Box-Tests, bei denen Eingangs- und Ausgangsdaten ohne interne Algorithmen ausgewertet werden, um die Reproduzierbarkeit in Laboren weltweit zu gewährleisten.

Kernstück des ANSI/AAMI EC57-Standards ist ein Klassifizierungsschema für EKG-Schläge, das die Arrhythmieerkennung in klinisch relevante Kategorien unterteilt. Dieser Standard unterteilt 23 ursprüngliche Schlagtypen in fünf übergeordnete Klassen:

• Normaler Herzschlag oder Schenkelblock: Beispiele hierfür sind der normale Sinusrhythmus und der Links-/Rechtsschenkelblock. Klinisch relevant sind grundlegende gesunde Rhythmen; in manchen Fällen auch beschleunigte Herzschläge.
• Supraventrikuläre Extrasystolen: Beispiele hierfür sind Vorhof- und Knotenextremitäten. Klinische Bedeutung: Extrasystolen, die ihren Ursprung im oberen Bereich der Ventrikel haben; meist harmlos, aber ein Hinweis auf Vorhofprobleme.
• V. Ventrikuläre Extrasystolen: Beispiele hierfür sind ventrikuläre Extrasystolen (VES) und ventrikuläre Ersatzrhythmen. Klinisch relevant, können ektopische Erregungsherde in den Ventrikeln auf ein erhöhtes Risiko für Herzrhythmusstörungen hinweisen.
• F Fusionsschläge: Beispiele hierfür sind die Verschmelzung von ventrikulären und normalen Schlägen. Klinische Bedeutung: Hybridschläge, die durch konkurrierende Schrittmacher verursacht werden, sind selten, aber wichtig für die Beurteilung der Rhythmusstabilität.
• Q Nicht klassifizierbare oder beschleunigte Pulse: Beispiele hierfür sind beschleunigte, Fusions- oder unbekannte Pulse. Die klinische Bedeutung umfasst alle mehrdeutigen Signale und bietet somit eine umfassende Abdeckung.

Diese Klassifizierung ist in Forschung und Entwicklung üblich geworden und ermöglicht einen direkten Vergleich in Studien zu EKG-Maschinenlernmodellen.

Diese Norm beschreibt ein mehrstufiges Testverfahren:

• Datenbankauswahl: Algorithmen sollten anhand von mindestens zwei unabhängigen Datensätzen evaluiert werden. Diese enthalten Tausende von Impulsen mit unterschiedlichen demografischen Merkmalen.
• Leistungskennzahlen: Sensitivität (Trefferquote), positiver Vorhersagewert (Genauigkeit) und Gesamtgenauigkeit werden pro Klasse berechnet. Mittlerer absoluter Fehler und Standardabweichung werden für die ST-Strecken-Messung benötigt.
• Kreuzvalidierung: Die Tests sollten sowohl Within-Sample- (Trainingsdaten) als auch Out-of-Sample-Bewertungen (unbekannte Daten) umfassen, um Overfitting zu erkennen.
• Extremfälle: Algorithmen zur Simulation klinischer Variabilität stoßen auf Probleme mit Rauschen, Artefakten und Konfigurationen der Variablenableitung.

Die Berichterstattung sollte tabellarische Konfusionsmatrizen, detaillierte Beschreibungen der einzelnen Schusssequenzen und statistische Konfidenzintervalle enthalten, um Klarheit zu gewährleisten.

Seit vielen Jahren versteht unser Unternehmen mit seinem kompetenten und erfahrenen Team die Bedürfnisse seiner Kunden, bietet ihnen die benötigten fortschrittlichen Testdienstleistungen und unterstützt sie beim Aufbau, der Implementierung und der Optimierung von Managementsystemen. In diesem Rahmen bieten wir Unternehmen auch Testdienstleistungen gemäß dem Standard „ANSI/AAMI EC57 Testing of Heart Rate and ST Segment Measurement Algorithms and Reporting of Performance Results“ an.