Validering och pilottest regionalt och nationellt och nationellt

Innan PrimärvårdsKvalitet sprids i stor skala i organisationen rekommenderas att göra pilottest och validering. SKR stödjer gärna processen och samlar in synpunkter om systemet för att hela tiden göra det bättre. Nedan finns anvisning om hur man kan gå till väga.

Validering behöver även utföras innan data visas nationellt på Vården i siffror. Kompetens kring det finns samlad i den Nationella Valideringsgruppen, där alla regioner finns representerade.

Regional validering

Här följer ett förslag på hur man kan validera indikatorerna, i samband med införandet i regionen och vid tillägg av nya indikatorer. Se även Valideringshandboken nedan, som beskriver hur man hittar olika felkällor, vad man ska tänka på och tips kring validering.

1. Läs specifikationen för indikatorn
Gå in på den aktuella indikatorn i Kvalitetsindikatorkatalogen (KIK) och läs specifikationen.

2. Validera grunddata
Jämför data utdata för PrimärvårdsKvalitet mot grunddata från annat utdata-system om möjligt. Man kan även undersöka enskilda variabler som är inkluderade i indikatorerna. Detta steg visar om det finns stora differenser.

a. Jämför regionssnitten för till exempel Dem3A, Inf24 och Äld2. Inkludera:

• alla ålderskategorier
• alla vårdenheter
• båda könen

b. Välj ut en väletablerad vårdcentral med genomsnittlig befolkning och resultat, och studera eventuella avvikelser mellan de olika datakällorna för till exempel:

• Män, alla åldrar i Inf24
• Kvinnor, alla åldrar i Dem3A
• Båda könen, åldersgruppen 75-79 år i Äld2

3. Stämmer uthämtad data med specifikationen
Detta steg kräver lokalkännedom och tillgång till journaldata.

• Välj ut 5-10 patienter från täljaren i en indikator för en åldersgrupp för vidare analys.
• Jämför med journaldata att patienten uppfyller specifikationen för täljaren
• Titta på ca 5 patienter i nämnaren som inte återfinns i täljaren. Stämmer det att de ej uppfyller kraven för täljaren enligt specifikationen?

4. Kontroll av att patienter med känd variabel återfinns i data

Gör stickprov på några patienter vars diagnos/annan variabel som är känd sedan tidigare och kontrollera att de återfinns i täljaren. ( Ta exempelvis hjälp av kallelselistor/tidbok/lablista)

Om något är avvikande vid testningen

• Anteckna vilken indikator och individ det gäller.
• Vad är det som inte stämmer? Försök skriva ned detaljerna.
• Återfinns individen i täljaren, men borde inte vara där?
• Återfinns individen i nämnaren, men borde inte vara där?
• Saknas individen i nämnare/täljare där den borde återfinnas?

Återkoppla till utdata-leverantör alternativt nationella arbetsgruppen för PrimärvårdsKvalitet.

Kända eventuella felkällor

• Kontroll av att uppdatering av listning på VC sker regelbundet, behöver ibland göras manuellt
• Kolla vilken version av Primärvårds-ICD-koden är formulerad, t.ex .-, .-P, - ibland kan detta leda till fel beroende på hur den är inmatad när indikatorn programmerades.

Processen pilottest och validering i Region Stockholm.

Rekommendation - indikatorer att validera efter indikatorrevision 2021

Validering av data från PrimärvårdsKvalitet till Vården i siffror

Validering av indikatorvärden från Aggregeringstjänsten görs som sista instans, en förhandsvisning, innan publik presentation via Vården i siffror och andra konsumentsystem. Värden från regionens egna system har:

1) Hämtats till Aggregeringstjänsten

2) Aggregerats till regions-nivå

3) Transformerats enligt definition i Kvalitetsindikatorkatalogen

4) Behandlats för att minska ev. röjanderisk genom att ta bort värden =>99% samt =<1%.

Efter godkänd validering så kommer följande genomföras innan publik presentation:

5) Tröskelvärdesbehandling genom att ta bort värden där populationen är < 100 individer (per region).

Mindre skillnader mellan data från Medrave/aktuellt utdata-system och data som hämtas av Aggregeringstjänsten kan förekomma. Exempelvis så uppdateras sista perioden under två månader innan den låses i Medrave varför det kan skilja ett par individer där beroende på när filerna är hämtade. Regionen avgör själv vad som är godtagbart.

Protokoll för validering

1. Stämmer grunddata (se ovan)?

Gå till steg 2 om detta redan är utfört.

Jämför data i Medrave/aktuellt utdata-system eller aktuellt utdata-system mot grunddata från annat utdata-system Nedanstående indikatorer är utvalda som exempel för att se att se att diagnoser, återbesök, förskrivna läkemedel och information från lablista hämtas rätt.

a. Jämför regionssnitten för Dem3A, Inf4 och Äld2. Inkludera:

• alla ålderskategorier
• alla vårdenheter
• båda könen

b. Välj ut en väletablerad vårdcentral med genomsnittlig befolkning och resultat, och studera eventuella avvikelser mellan de olika datakällorna för:

• Män, alla åldrar i Äld2
• Kvinnor, alla åldrar i Dem3A
• Båda könen, åldersgruppen <1 år i Inf4

2. Är alla vårdcentraler/rehabenheter inkluderade?

Kontrollera i Excelfilen från Aggregeringstjänsten att alla enheter i regionen finns med.

3. Hämtas rätt data från Medrave/aktuellt utdata-system till Aggregeringstjänsten?

a. Jämför regionssnittet för respektive indikator i Medrave/aktuellt utdata-system med data i Excelfilen från Aggregeringstjänsten. Inkludera:

• alla ålderskategorier
• alla vårdenheter
• alla kön
  

b. Gör enstaka stickprov på enhetsnivå avseende valfri ålderskategori och kön. Om siffrorna på regionnivå ej stämmer - gå ner på vårdenhetsnivå.

4. Rimlighetsbedömning av data som har skickats till Aggregeringstjänsten

Titta på regionssnitt för respektive indikator 0,-6,-12 och -18 månader bakåt, dvs fyra mätpunkter i Excelfilen från aggregeringstjänsten jämfört med motsvarande period från Medrave/aktuellt utdata-system. Inkludera:

• alla ålderskategorier
• alla vårdenheter
• alla kön

Dokumentet nedan är i Excel och öppnas i nytt fönster. Detta för att du ska kunna redigera i dokumentet.

Valideringsprotokoll (Excel)

Valideringshandboken beskriver hur man hittar olika felkällor, vad man ska tänka på och tips kring validering:

Valideringshandboken, Kvalitetsregisters webbplats