Publicerad: 14 oktober 2020

Kontakt

Pilottest och validering regionalt och nationellt

Innan PrimärvårdsKvalitet sprids i stor skala i organisationen rekommenderas att göra pilottest och validering. SKL stödjer gärna processen och samlar in synpunkter om systemet för att hela tiden göra det bättre. Nedan finns anvisning om hur man kan gå till väga.

Validering behöver även utföras innan data visas nationellt på Vården i siffror. Kompetens kring det finns samlad i den Nationella Valideringsgruppen, där alla regioner finns representerade.

Regional validering - förslag på hur man kan validera en indikator i Medrave i samband med införandet

Här följer ett förslag på hur man kan validera en indikator i utdatasystemet Medrave som många regioner använder. Se även Valideringshandboken nedan, som beskriver hur man hittar olika felkällor, vad man ska tänka på och tips kring validering samt mall för valideringsprotokoll nedan.

  1. Gå in på den aktuella indikatorn och läs specifikationen.
  2. Stämmer grunddata?

Jämför data i Medrave eller aktuellt utdata-system mot grunddata från annat utdata-system.

a. Jämför regionssnitten för till exempel Dem3A, Inf24 och Äld2. Inkludera:

  • alla ålderskategorier
  • alla vårdenheter
  • båda könen

b. Välj ut en väletablerad vårdcentral med genomsnittlig befolkning och resultat, och studera eventuella avvikelser mellan de olika datakällorna för till exempel:

  • Män, alla åldrar i Inf24
  • Kvinnor, alla åldrar i Dem3A
  • Båda könen, åldersgruppen 70-74 år i Äld2

3. Hitta patienter att jämföra data på:

  • Gå in på ”Resultat” (=klicka i frågans vänstra halva) i Medrave
  • Välj ”Radindelning”

→ Ålder

→ Låt muspekaren sväva över de olika värdena i kolumnen ”Idag” på X-axeln – då ser man antalet patienter i nämnare och täljare.

  • Klicka på en åldersgrupp som har ca 5-10 patienter totalt och ta fram en patientlista
  • De patienter som är skrivna i svart är täljaren och uppfyller kraven, de i röd text uppfyller inte kraven
  • Finns det ingen åldersgrupp med lämpligt antal patienter – ta fram en större patientlista, men välj fortfarande ett tiotal patienter att analysera

4. Kontrollera i patienternas journaler att data är riktig i förhållande till specifikationen

  • Uppfyller patienterna i täljaren kraven?
  • Uppfyller inte resten av patienterna i patientlistan – de i röd text - kraven?
  • Undantag för prevalensfrågorna - leta inte efter fel i nämnaren, ta istället ett stickprov på en patient vars diagnos vi vet: återfinns hon i täljaren?

Om något är avvikande vid testningen

  • Anteckna frågans namn och vilken individ det gäller.
  • Vad är det som inte stämmer? Försök skriva ned detaljerna.
  • Är individen i täljaren men borde inte vara där? Varför?
  • Är individen i nämnaren men borde inte vara där? Varför?

Kända eventuella felkällor

  • Kontroll av att uppdatering av listning på VC sker regelbundet, behöver ibland göras manuellt
  • Kolla vilken version av Primärvårds-ICD-koden är formulerad, t.ex .-, .-P, - ibland kan detta leda till fel beroende på hur den är inmatad när indikatorn programmerades.

Valideringsprotokoll för data från PrimärvårdsKvalitet till Vården i siffror

Validering av indikatorvärden från Aggregeringstjänsten görs som sista instans, en förhandsvisning, innan publik presentation via Vården i siffror och andra konsumentsystem. Värden från regionens egna system har:

1) Hämtats till Aggregeringstjänsten

2) Aggregerats till regions-nivå

3) Transformerats enligt definition i Kvalitetsindikatorkatalogen

4) Behandlats för att minska ev. röjanderisk genom att ta bort värden =>99% samt =<1%.

Efter godkänd validering så kommer följande genomföras innan publik presentation:

5) Tröskelvärdesbehandling genom att ta bort värden där populationen är < 100 individer (per region).

Mindre skillnader mellan data från Medrave/aktuellt utdata-system och data som hämtas av Aggregeringstjänsten kan förekomma. Exempelvis så uppdateras sista perioden under två månader innan den låses i Medrave varför det kan skilja ett par individer där beroende på när filerna är hämtade. Regionen avgör själv vad som är godtagbart.

Protokoll för validering

1. Stämmer grunddata (se ovan)?

Gå till steg 2 om detta redan är utfört.

Jämför data i Medrave/aktuellt utdata-system eller aktuellt utdata-system mot grunddata från annat utdata-system Nedanstående indikatorer är utvalda som exempel för att se att se att diagnoser, återbesök, förskrivna läkemedel och information från lablista hämtas rätt.

a. Jämför regionssnitten för Dem3A, Inf4 och Äld2. Inkludera:

  • alla ålderskategorier
  • alla vårdenheter
  • båda könen

b. Välj ut en väletablerad vårdcentral med genomsnittlig befolkning och resultat, och studera eventuella avvikelser mellan de olika datakällorna för:

  • Män, alla åldrar i Äld2
  • Kvinnor, alla åldrar i Dem3A
  • Båda könen, åldersgruppen <1 år i Inf4


2. Är alla vårdcentraler/rehabenheter inkluderade?

Kontrollera i Excelfilen från Aggregeringstjänsten att alla enheter i regionen finns med.

3. Hämtas rätt data från Medrave/aktuellt utdata-system till Aggregeringstjänsten?

a. Jämför regionssnittet för respektive indikator i Medrave/aktuellt utdata-system med data i Excelfilen från Aggregeringstjänsten. Inkludera:

  • alla ålderskategorier
  • alla vårdenheter
  • alla kön

b. Gör enstaka stickprov på enhetsnivå avseende valfri ålderskategori och kön. Om siffrorna på regionnivå ej stämmer - gå ner på vårdenhetsnivå.

4. Rimlighetsbedömning av data som har skickats till Aggregeringstjänsten

Titta på regionssnitt för respektive indikator 0,-6,-12 och -18 månader bakåt, dvs fyra mätpunkter i Excelfilen från aggregeringstjänsten jämfört med motsvarande period från Medrave/aktuellt utdata-system. Inkludera:

  • alla ålderskategorier
  • alla vårdenheter
  • alla kön

Material för nedladdning

Dokumentet nedan är i Excel och öppnas i nytt fönster. Detta för att du ska kunna redigera i dokumentet.

Valideringsprotokoll (Excel)

Mer information

Valideringshandboken beskriver hur man hittar olika felkällor, vad man ska tänka på och tips kring validering:

Valideringshandboken, Kvalitetsregisters webbplats

Hjälpte informationen på sidan dig?



Tack för att du hjälper oss!