Testning och rapportering av prestandaresultat för ANSI/AAMI EC57-algoritmer för hjärtfrekvens och ST-segmentmätning

Standarden "ANSI/AAMI EC57 Testing and Reporting Performance Results of Heart Rhythm and ST Segment Measurement Algorithms", gemensamt publicerad av American National Standards Institute (ANSI) och Association for Medical Device Improvement (AAMI), beskriver en metod som används för att testa och rapportera prestandan hos algoritmer som används för att upptäcka hjärtrytmavvikelser, inklusive ST-segmentet.

Tillgången till kommenterade arytmi- och ST-databaser har möjliggjort testning av olika automatiserade arytmidetektionsalgoritmer på samma data. Denna föreslagna applikation tillhandahåller ett protokoll för ett reproducerbart test med realistiska kliniska krav och betonar den journalbaserade presentationen av resultat som återspeglar en algoritms förmåga att detektera kliniskt signifikanta händelser. Denna standard använder slag-för-slag-jämförelser för att mäta prestanda vid QRS, detektion av ventrikulära ektopiska slag (VEB) och supraventrikulära ektopiska slag. Dessutom används jämförelser mellan studier för att mäta en algoritms förmåga att detektera konsekutiva VEB- och supraventrikulära ektopiska slag.

Ventrikelfladder, förmaksfladder, ventrikelflimmer och detektion av förmaksflimmer behandlas. Utvärdering av algoritmer för mätning av hjärtfrekvensvariabilitet och ST-segmentmätningsalgoritmer undersöks också. Även om denna standard syftar till att fastställa kliniskt signifikanta prestandamått för att jämföra algoritmer, måste det erkännas att vissa kliniska problem inte kan hanteras inom ramen för denna föreslagna tillämpning. Befintliga databaser inkluderar ännu inte ett representativt urval av icke-ventrikulära arytmier som förekommer i en klinisk miljö, patienter med pacemakerimplantation eller artefakter specifika för en betydande del av EKG-signalerna. Dessutom har dessa databaser begränsad bandbredd och bör användas med försiktighet vid testning av algoritmer utformade för enheter med full EKG-diagnostisk bandbredd. Därför begränsas de kliniska implikationerna av ett test av storleken, omfattningen och egenskaperna hos de databaser som används för testet. Prestandamät som härrör från sådana tester bör utvärderas som osäkra prestandaindikatorer i kliniska miljöer.

Denna föreslagna applikation är utformad för att testa algoritmer, inte hela system. Det är inte en prestandastandard, utan snarare en uppsättning rekommendationer för att testa hjärtrytm- och ST-mätningar och rapportera resultaten av dessa tester. Syftet med denna föreslagna applikation är att säkerställa reproducerbarheten hos automatiserade testmetoder.

Denna föreslagna praxis gäller algoritmer som implementeras i enheter eller system som använder automatiserade metoder för att analysera EKG. Denna standard är tillämplig på människostyrda, fristående enheter som använder automatiserade metoder för att analysera inspelade EKG, och på händelseinspelare i realtid som använder automatiserade metoder för att registrera onormala händelser.

Andra slag-för-slag-tekniker och testmetoder än den specificerade rytmanalysen och ST-segmentanalysen omfattas inte av denna standard. Utvärdering av system som i hög grad förlitar sig på användarinteraktion omfattas också inte av denna standard. Om dock slag-för-slag-utvärderingar utförs måste resultaten av dessa tester överensstämma med denna föreslagna praxis.

Inom medicinsk diagnostik spelar elektrokardiogram (EKG) en avgörande roll för att upptäcka hjärtarytmier och ischemiska händelser. I takt med att hälso- och sjukvårdstekniken utvecklas, särskilt med integrationen av artificiell intelligens och automatiserade algoritmer, blir det allt viktigare att säkerställa tillförlitligheten och noggrannheten hos dessa verktyg. Det är här ANSI/AAMI EC57-standarden kommer in i bilden, som tillhandahåller ett omfattande ramverk för testning och rapportering av prestandan hos algoritmer utformade för att upptäcka hjärtrytmstörningar och mäta ST-segmentavvikelser i EKG-signaler. Denna standard utvecklades för att hantera den ökande komplexiteten hos EKG-tolkningsprogramvara, vilket gör den till ett oumbärligt riktmärke för tillverkare, forskare och kliniker.

ANSI/AAMI EC57-standarden är inte en beskrivande designstandard, utan snarare en metodologisk riktlinje för prestandautvärdering. De grundläggande målen för denna standard är tvåfaldiga:

• Standardiserade testprotokoll: Dessa beskriver procedurer för att utvärdera algoritmens noggrannhet med hjälp av referens-EKG-databaser, vilket minimerar subjektiv tolkning.
• Transparent rapportering: För att säkerställa välgrundade jämförelser mellan system krävs detaljerade beskrivningar av testförhållanden, felfrekvenser och begränsningar.

Denna standard gäller både fristående EKG-analysprogramvara och integrerade system i enheter som Holter-monitorer, belastningstestare och implanterbara defibrillatorer. Specifikt fokuserar den på black-box-testning, som utvärderar in- och utdata utan att tillgripa interna algoritmiska processer för att säkerställa reproducerbarhet i laboratorier över hela världen.

Kärnan i ANSI/AAMI EC57-standarden är ett klassificeringsschema för EKG-slag som delar in arytmidetektion i kliniskt signifikanta kategorier. Denna standard delar in 23 ursprungliga slagtyper i fem övergripande klasser:

• Normala slag eller slag med grenblock: Exempel inkluderar normal sinusrytm, vänster/höger grenblock. Klinisk betydelse inkluderar grundläggande hälsosamma rytmer; i vissa fall accelererade slag.
• Supraventrikulära ektopiska slag: Exempel inkluderar förmaksförtida hjärtslag och lymfkörtelförtida hjärtslag. Klinisk betydelse: Förtida hjärtslag med ursprung från toppen av kamrarna; vanligtvis godartade, men tyder på förmaksproblem.
• V. Ektopiska hjärtslag i ventriklarna: Exempel inkluderar för tidiga ventrikulära kontraktioner (PVC) och ventrikulärt utbrott. Kliniskt signifikanta ektopiska foci i ventriklarna kan indikera en ökad risk för arytmier.
• F. Fusionsslag: Exempel inkluderar fusion av ventrikulära och normala slag. Klinisk betydelse: Hybridslag till följd av konkurrerande pacemakers är sällsynta men viktiga för att bedöma rytmstabilitet.
• Q Oklassificerbara eller accelererade pulser: Exempel inkluderar accelererade, fusionspulser eller okända pulser. Klinisk betydelse omfattar allt för tvetydiga signaler och ger heltäckande täckning.

Denna klassificering har blivit vanlig inom forskning och utveckling, vilket underlättar jämförelser av äpplen med äpplen i studier av EKG-maskininlärningsmodeller.

Denna standard beskriver en testprocess i flera steg:

• Val av databas: Algoritmer bör utvärderas på minst två oberoende datamängder. Dessa innehåller tusentals pulser från olika demografiska egenskaper.
• Prestandamätningar: Känslighet (sann positiv frekvens), positiv prediktiv kraft (noggrannhet) och total noggrannhet beräknas per klass. Medelabsolut fel och standardavvikelse krävs för ST-segmentmätning.
• Korsvalidering: Tester bör inkludera både bedömningar inom urvalet (träningsdata) och utanför urvalet (osynlig data) för att identifiera överanpassning.
• Extrema fall: Algoritmer för simulering av klinisk variabilitet utmanas av brus, artefakter och konfigurationer för variabel härledning.

Rapporteringen bör innehålla tabellformade förvirringsmatriser, beskrivningar bild för bild och statistiska konfidensintervall för att säkerställa tydlighet.

I många år har vår organisation, med sitt kompetenta och erfarna team, förstått sina kunders behov, tillhandahållit de avancerade testtjänster de behöver och hjälpt till med etablering, implementering och förbättring av ledningssystem. Inom detta ramverk tillhandahåller vi även testtjänster till företag i enlighet med standarden "ANSI/AAMI EC57 Testing of Heart Rate and ST Segment Measurement Algorithms and Reporting of Performance Results".