Skip to content
Publicly Available Published by De Gruyter March 10, 2016

Evaluation einer regionalen integrierten Vollversorgung mit GKV-Routinedaten – Probleme und Herausforderungen

Evaluation of a regional integrated healthcare project with the aid of health insurers’ claims data: problems and challenges
  • Achim Siegel EMAIL logo , Ingrid Köster , Andy R. Maun , Wilhelm Niebling and Ingrid Schubert
From the journal Public Health Forum

Zusammenfassung:

Die Integrierte Versorgung Gesundes Kinzigtal (IVGK) ist eine regionale integrierte Vollversorgung und wird umfassend extern evaluiert. In einer kontrollierten Längsschnittstudie wird anhand von GKV-Routinedaten untersucht, wie sich die Versorgungsqualität in der Region Kinzigtal im Vergleich zu einer Kontrollgruppe aus dem restlichen Baden-Württemberg entwickelt. Hierfür wurden insgesamt 37 Kennziffern gebildet. An drei Beispielen zeigen wir, dass die Eignung einer Kennziffer als Qualitätsindikator und Endpunkt regional vergleichender Studien sehr voraussetzungsvoll ist.

Abstract:

The integrated healthcare pilot ‘Gesundes Kinzigtal’ operates as a regional population-based integrated healthcare system. It is evaluated by independent research institutions. A controlled longitudinal study compares the quality of health services in the Kinzigtal region with that in the rest of Baden-Württemberg. Relying on statutory health insurers’ claims data, 37 possible indicators have been extracted and then examined to measure health service quality. With three examples we show that several of these indicators do not qualify as proper quality indicators which may serve as study endpoints.

Die Integrierte Versorgung Gesundes Kinzigtal (IVGK) existiert als regionale integrierte Vollversorgung seit 2006 [1, 2]. Sie wird von einer Managementgesellschaft – der Gesundes Kinzigtal GmbH – gesteuert, und zwar in Kooperation mit der AOK Baden-Württemberg und der SVLFG als Landwirtschaftlicher Krankenkasse. Die IVGK wird umfassend intern und extern evaluiert [3–5]. Die PMV forschungsgruppe an der Universität zu Köln untersucht in einer kontrollierten Längsschnittstudie, wie sich die Versorgungsqualität in der Region Kinzigtal – der Interventionsregion – im Vergleich zu einer Kontrollgruppe aus dem übrigen Baden-Württemberg entwickelt [6]. Ausgewertet wurden pseudonymisierte Routinedaten der im Kinzigtal wohnenden AOK-Versicherten (Interventionsgruppe; Vollerhebung mit >20.000 Versicherten/Jahr) bzw. einer Zufallsstichprobe von ca. 500.000 AOK-Versicherten aus dem übrigen Baden-Württemberg (BW). Für beide Gruppen lagen Daten aus den Jahren 2004–11 vor. Insgesamt wurden 37 Kennziffern untersucht, wovon 18 als Qualitätsindikatoren ausgewählt wurden. 6 dieser Indikatoren thematisieren eine potenzielle Über- bzw. Fehlversorgung (z.B. Anteil der Versicherten mit Antibiotika-Verordnung bei oberen Atemwegserkrankungen); 10 Indikatoren beschreiben eine potenzielle Unterversorgung (z.B. Anteil der Patienten mit inzidentem Herzinfarkt, denen Statine verordnet werden) und 2 Indikatoren ein Outcome der Versorgung (z.B. Anteil der Patienten mit Osteoporose, die eine Fraktur erleiden). Darüber hinaus wurden weitere 19 Kennziffern erhoben, die wegen fraglicher Eignung/Validität als reine Mengenindikatoren klassifiziert wurden, da sie die Versorgungsqualität nicht hinreichend schlüssig abbilden. Zwei dieser Mengenindikatoren stellen wir im Folgenden vor. An diesen beiden Beispielen zeigen wir, dass solche Kennziffern sich häufig nicht als Qualitätsindikator und Studienendpunkt eignen, da sie bestimmte Mindestanforderungen nicht erfüllen.

Tabelle 1 zeigt den Anteil der Versicherten mit längerfristiger Benzodiazepin-Verordnung in der Interventionsregion (Kinzigtal) und der Kontrollgruppe. Als „längerfristig“ galt eine Verordnung, wenn für einen Versicherten mehr als 20 DDD (defined daily doses) pro Jahr dokumentiert waren. Wegen der Gefahr körperlicher Abhängigkeit gilt eine langfristige Verordnung von Benzodiazepinen bzw. Benzodiazepin-Derivaten als Über- bzw. Fehlversorgung [7].

Tabelle 1:

Anteil der AOK-Versicherten (≥ 20 Jahre) mit Benzodiazepin-Verordnung (>20 DDD/Jahr).

JahrVersicherte (≥20 Jahre) mit Benzodiazepin-Verordnung (>20 DDD/Jahr)
Anteil (in %)Veränderung (2004=100)Odds ratiob (mit 95% Konfidenzintervall)
Kinzigtal (A)Stichprobe BWa (B)Differenz (A–B)Kinzigt.Stichprobe BWa
20042,54,1–1,61001000,59 (0,54–0,65)
20052,64,1–1,51041000,61 (0,56–0,66)
20062,54,0–1,5100980,61 (0,56–0,67)
20072,64,0–1,4104980,62 (0,57–0,68)
20082,54,0–1,5100980,60 (0,55–0,66)
20092,33,9–1,692950,57 (0,52–0,63)
20102,53,7–1,2100900,65 (0,60–0,71)
20112,53,6–1,1100880,67 (0,61–0,73)

a„Stichprobe BW“ standardisiert auf die Alters- und Geschlechtsstruktur der Population „Kinzigtal“ des jeweiligen Jahres. bOdds Ratio: Referenzpopulation: Stichprobe BW.

Tabelle 1 zeigt für jedes Jahr (2004–11) einen deutlich geringeren Anteil an Versicherten mit Benzodiazepinen (>20 DDD/Jahr) in der Region Kinzigtal im Vergleich zur Kontrollgruppe aus dem übrigen Baden-Württemberg. Dem entspricht ein signifikant verringertes Odds Ratio der Versicherten im Kinzigtal (Referenz: Stichprobe BW): So ergibt sich für das Basisjahr 2004 ein Odds Ratio von 0,59 (95% Konfidenzintervall: 0,54–0,65) und für 2011 von 0,67 (95% Konfidenzintervall: 0,61–0,73). Auch in allen übrigen Beobachtungsjahren liegt das Odds Ratio für die Region Kinzigtal deutlich unter dem Wert „1“. Das bedeutet: Die Wahrscheinlichkeit, dass ein AOK-Versicherten im Kinzigtal eine längerfristige Benzodiazepin-Verordnung (>20 DDD/Jahr) zulasten der GKV erhält, ist in allen Beobachtungsjahren signifikant geringer als bei einem AOK-Versicherten im übrigen Baden-Württemberg.

Die Eignung dieser Kennziffer als Qualitätsindikator für einen interregionalen Vergleich wird durch die folgenden beiden Überlegungen in Frage gestellt: (a) Auch GKV-Versicherte erhalten Benzodiazepine/-derivate häufig auf Privatrezept [7–9]. Privatverordnungen werden in GKV-Routinedaten jedoch nicht erfasst. Da unklar ist, wie stark die relative Häufigkeit solcher Privatverordnungen regional variiert, ist die Aussagekraft der Daten in Tabelle 1 insgesamt fraglich. Als Feedback-Information, die den verordnenden Ärzten übermittelt wird (z.B. im Rahmen eines Arztnetzes oder Qualitätszirkels), eignet sich diese Kennziffer aber durchaus, da jeder Arzt sein Verordnungsverhalten bewerten und die Daten für seine Praxis entsprechend interpretieren kann. (b) Auch wenn man unterstellt, dass die regionale Variation von Privatverordnungen sehr gering und also vernachlässigbar ist, eignet sich u.E. die Kennziffer nicht als Endpunkt einer regional vergleichenden Studie: Der Wert der Kennziffer war in der Interventionsregion schon vor Interventionsbeginn deutlich und signifikant geringer als in der Kontrollgruppe. Da es gleichzeitig in seltenen Einzelfällen sinnvoll sein kann, einem Versicherten in einem Jahr mehr als 20 DDD zu verordnen, ist bei dieser Kennziffer mit einem Bodeneffekt zu rechnen, und es ist folglich davon auszugehen, dass es bei einem niedrigen Ausgangswert schwieriger ist als bei einem hohen Ausgangswert, in der Folgezeit eine bestimmte prozentuale Verringerung des Kennziffernwerts zu erreichen. Demnach war es in der Region Kinzigtal also schwieriger, den in 2004 gegebenen Anteil (2,5%) in der Folgezeit prozentual genauso stark zu senken wie den in der Kontrollgruppe gegebenen Anteil (4,1%). Dabei ist unklar, wie viel schwieriger dies mutmaßlich war. Kennziffern, die derart asymmetrische Boden- oder Deckeneffekte in den Untersuchungsgruppen aufweisen, sind wenig geeignet, Interventionseffekte abzubilden.

Die zuletzt genannte Schwierigkeit entfällt bei der in Tabelle 2 dargestellten Kennziffer zur Inanspruchnahme von Pflegeleistungen (Pflegestufe I-III nach SGB XI): Hier sind die Ausgangswerte in Interventions- und Kontrollgruppe auf einem annähernd gleichen Niveau (2004: 6,0% bzw. 5,8%). Diese Kennziffer sollte ursprünglich als Outcome-Indikator herangezogen werden: Die IVGK hat u.a. das Ziel, Pflegebedürftigkeit durch eine wirksamere Prävention und Gesundheitsförderung zu reduzieren bzw. ihr Eintreten im Alter zeitlich möglichst weit hinauszuschieben. Würde diese Maxime im Kinzigtal erfolgreich umgesetzt, dann müsste – unter sonst gleichen Bedingungen – der Kennziffernwert stärker sinken (bzw. geringer steigen) als im übrigen Baden-Württemberg.

Tabelle 2:

Anteil der AOK-Versicherten (≥20 Jahre) mit Pflegestufe I-III (SGB XI).

JahrVersicherte (≥20 Jahre) mit Pflegestufe I-III (SGB XI)
Anteil (in %)Veränderung (2004=100)Odds ratiob (mit 95% Konfidenzintervall)
Kinzigtal (A)Stichprobe BWa (B)Differenz (A–B)Kinzigt.Stichprobe BWa
20046,05,8+0,21001001,06 (1,00–1,13)
20055,75,8–0,1951001,02 (0,96–1,09)
20065,55,7–0,292981,00 (0,94–1,07)
20075,75,9–0,2951021,00 (0,97–1,07)
20085,76,1–0,4951050,94 (0,89–1,01)
20096,16,4–0,31021100,99 (0,93–1,05)
20106,36,6–0,31051140,97 (0,91–1,03)
20115,86,9–1,1971190,84 (0,78–0,89)

a„Stichprobe BW“ standardisiert auf die Alters- und Geschlechtsstruktur der Population „Kinzigtal“ des jeweiligen Jahres. bReferenzpopulation: Stichprobe BW.

Wie Tabelle 2 zeigt, verringerte sich der Anteil der Versicherten mit Pflegestufe I-III im Zeitraum 2004–11 in der Interventionsregion geringfügig, während er sich in der Kontrollgruppe deutlich erhöhte. Dies könnte man auf den ersten Blick als Indiz einer erfolgreichen Gesundheitsförderung und Prävention von Pflegebedürftigkeit im Kinzigtal werten. Jedoch sah die Kölner PMV forschungsgruppe, die die Kennziffern der Studie bildete und in ihrer Validität und Verlässlichkeit zu beurteilen hatte, hier zu viele Unwägbarkeiten: Die Entwicklung der Kennziffernwerte könnte nämlich auch durch vielfältige andere – schwer zu überprüfende – Kontextfaktoren beeinflusst worden sein und nicht nur durch eine erfolgreiche Prävention bzw. Gesundheitsförderung. Nicht völlig klar und für die Forschungsgruppe schwer zu prüfen ist z.B., ob die Einstufung eines Versicherten als „Versicherter mit Pflegestufe I-III“ jedes Jahr interregional und über die Zeit exakt gleich ablief. Fraglich ist dabei vor allem, ob eine Begutachtung der Pflegebedürftigkeit in den betreffenden Regionen und über den gesamten Zeitraum hinweg nach genau gleichbleibenden Kriterien angefordert, d.h. beantragt wurde. So könnte man z.B. vermuten, dass anfängliche interregionale Unterschiede in der Begutachtungshäufigkeit sich im Zeitverlauf durchaus ändern können. Im Hinblick auf sozialstrukturelle und sozialpsychologische Unterschiede zwischen (groß)städtischen und ländlichen Regionen erscheint das durchaus möglich. Derlei Unwägbarkeiten führten dazu, dass die PMV forschungsgruppe diese Kennziffer lediglich als Mengenindikator, nicht aber als Outcome-Indikator klassifizierte.

Ähnliche Überlegungen führten auch bei einer weiteren Kennziffer dazu, dass diese nicht als Qualitätsindikator und Studienendpunkt, sondern von vornherein als Mengenindikator erhoben wurde: der Anteil der Versicherten mit Arbeitsunfähigkeit. Ähnlich wie beim Anteil der Versicherten mit Inanspruchnahme von Pflegeleistungen nach SGB XI könnte man auch bei dieser Kennziffer zunächst versucht sein, sie als valides Indiz für die Krankheitsprävention bei den GKV-versicherten Erwerbspersonen zu sehen und folglich davon ausgehen, dass eine relative Verringerung des Kennziffernwerts im Kinzigtal – gemessen an der Entwicklung des Kennziffernwerts in der Kontrollgruppe – eine erfolgreiche Krankheitsprävention bei Erwerbspersonen im Interventionsgebiet widerspiegele (und vice versa). Die tatsächliche Entwicklung der Kennziffer in Interventions- und Kontrollgruppe im Zeitraum 2004–11 ist in Tabelle 3 dargestellt.

Tabelle 3:

Anteil der Versicherten mit Arbeitsunfähigkeit.

JahrVersicherte (≥20 Jahre) mit Arbeitsunfähigkeit
Anteil (in %)Veränderung (2004=100)Odds ratiob (mit 95% Konfidenzintervall)
Kinzigtal (A)Stichprobe BWa (B)Differenz (A–B)Kinzigt.Stichprobe BWa
200451,251,4–0,21001000,99 (0,95–1,03)
200551,952,3–0,41011020,99 (0,95–1,03)
200649,250,6–1,496980,95 (0,92–0,99)
200751,653,3–1,71011040,94 (0,91–0,98)
200852,755,0–2,31031070,92 (0,88–0,95)
200951,654,2–2,61011050,91 (0,87–0,94)
201050,453,8–3,4981050,88 (0,84–0,91)

Population: AOK-Versicherte eingeschränkt auf Pflichtversicherte, Versicherte nach § 155 Arbeitsförderungsgesetz und freiwillig Versicherte. a„Stichprobe BW“ standardisiert auf die Alters- und Geschlechtsstruktur der Population „Kinzigtal“ des jeweiligen Jahres. bOdds Ratio: Referenzpopulation: Stichprobe BW.

Anders als bei der Kennziffer „Anteil der Versicherten mit Pflegestufe I-III“ wächst hier (Tabelle 3) die absolute Differenz zwischen Interventions- und Kontrollgruppe stetig an: Während im Basisjahr 2004 der Anteil im Kinzigtal nur 0,2 Prozentpunkte unterhalb des Anteils in der Kontrollgruppe liegt, ist der Anteil im Jahr 2011 im Kinzigtal bereits 3,4 Prozentpunkte geringer als im übrigen Baden-Württemberg. Dies könnte – ähnlich wie beim zuvor diskutierten Ergebnis – auf den ersten Blick als Beleg für eine erfolgreichere Krankheitsprävention oder Gesundheitsförderung im Kinzigtal gedeutet werden, doch auch hier erscheinen die Unwägbarkeiten zu zahlreich und zu bedeutsam, um sie vernachlässigen zu können: Der Anteil der in Frage kommenden Versicherten mit Arbeitsunfähigkeit könnte über die Zeit sehr wohl durch vielfältige andere, schwer zu überprüfende Faktoren beeinflusst worden sein – und nicht nur durch den Faktor „Prävention und Gesundheitsförderung durch die IVGK“. So ist z.B. aus der sozialwissenschaftlichen Krankenstandsforschung bekannt, dass neben dem Gesundheitszustand auch andere Einflüsse auf den allgemeinen Krankenstand bzw. auf die Prävalenz von Arbeitsunfähigkeit einwirken [10] – Einflüsse, die in großstädtisch geprägten Ballungsräumen im Zeitverlauf anders zur Geltung kommen könnten als in ländlichen und kleinstädtisch geprägten Gebieten (zu denen das Kinzigtal zählt). Wegen derartiger Unwägbarkeiten galt die Kennziffer in der ÜUF-Studie von vornherein als bloßer „Mengenindikator“ und nicht als Qualitätsindikator. Ähnliche Probleme finden sich auch in anderen Routinedaten-Studien [11].

Unsere Ausführungen veranschaulichen, dass gerade bei regional vergleichenden Studien auf Basis von GKV-Routinedaten die Validität bzw. Eignung von Kennziffern der Versorgungsqualität von vielfältigen Aspekten beeinflusst wird, die im Rahmen einer Routinedatenanalyse oft nicht zu klären sind. Ein kürzlich publizierter Katalog von Qualitätskriterien für die Erstellung von routinedaten-basierten Forschungsberichten [12] hilft, derartige Probleme und Herausforderungen zu erkennen und besser einzuschätzen.

Im Hinblick auf die hier diskutierte Studie zur Versorgungsqualität in der Region Kinzigtal können manche Unwägbarkeiten möglicherweise dadurch geklärt werden, dass man für spezifische Fragestellungen die Kontrollgruppe anders bestimmt bzw. eine Art „multiple Kontrollgruppe“ einführt: So könnte mit Bezug auf die oben diskutierten Kennziffern „Anteil der Versicherten mit Pflegestufe I-III“ und „Anteil der Versicherten mit Arbeitsunfähigkeit“ geprüft werden, ob die für die Interventionsregion errechneten Interventionseffekte auch dann noch bestehen bleiben, wenn man als Kontrollgruppe nur Versicherte aus solchen Regionen berücksichtigt, die der Interventionsregion wirtschaftsgeografisch und sozialstrukturell ähnlich sind (so dass als Kontrollen z.B. nur Versicherte aus ländlichen und kleinstädtisch geprägten Regionen berücksichtigt werden). Manche Unwägbarkeiten könnten vermutlich auch durch zusätzliche begleitende Studien, evtl. auch schon durch Experten-Workshops oder Fokusgruppen hinreichend geklärt werden. Es kann also sinnvoll sein, Studien mit Routinedaten von vornherein als derartige Mixed-Methods-Studien zu planen.


Korrespondenz: Dr. Achim Siegel, MPH, Universitätsklinikum Freiburg im Breisgau, Lehrbereich Allgemeinmedizin, Elsässer Str. 2m, Haus 1A, DG, 79110 Freiburg, E-mail:

  1. Mögliche Interessenkonflikte: Die PMV forschungsgruppe an der Universität zu Köln (Leitung: Ingrid Schubert) hat für die Durchführung der Studie Drittmittel aus dem Evaluationsbudget der Integrierten Versorgung Gesundes Kinzigtal erhalten. Achim Siegel ist seit November 2006 an der Universität Freiburg und am Universitätsklinikum Freiburg auf Basis einer Drittmittelstelle beschäftigt; die entsprechende Stelle wurde zunächst ganz, ab September 2011 teilweise durch Drittmittel aus dem Evaluationsbudget der Integrierten Versorgung Gesundes Kinzigtal finanziert. Von Juni bis Dezember 2015 war Achim Siegel in Teilzeit bei der Gesundes Kinzigtal GmbH angestellt. Andy R. Maun und Wilhelm Niebling geben keine Interessenkonflikte an.

Literatur

1. Hildebrandt H, Pimperl A, Schulte T, Hermann C, Riedel H, Schubert I, et al. Triple Aim–Evaluation in der Integrierten Versorgung Gesundes Kinzigtal – Gesundheitszustand, Versorgungserleben und Wirtschaftlichkeit. Bundesgesundheitsbl 2015;58:383–92.10.1007/s00103-015-2120-ySearch in Google Scholar PubMed

2. Hildebrandt H, Hermann C, Knittel R, Richter-Reichhelm M, Siegel A, Witzenrath W. Gesundes Kinzigtal Integrated Care: improving population health by a shared health gain approach and a shared savings contract. Int J Integr Care 2010;10:1–14.10.5334/ijic.539Search in Google Scholar PubMed PubMed Central

3. Siegel A, Stößel U. Evaluation der Integrierten Versorgung Gesundes Kinzigtal: Bisherige Ergebnisse. Publ Health Forum 2013;21:13–5.10.1016/j.phf.2012.12.012Search in Google Scholar

4. Siegel A, Köster I, Schubert I, Stößel U. Evaluation der Integrierten Versorgung Gesundes Kinzigtal: Konzeption, Herausforderungen, Lösungsmöglichkeiten. In: Amelung V, Eble S, Hildebrandt H, Hrsg. Innovatives Versorgungsmanagement. Neue Versorgungsformen auf dem Prüfstand. Berlin: Medizinisch Wissenschaftliche Verlagsgesellschaft, 2011:145–55.Search in Google Scholar

5. Siegel A, Stößel U, Schubert I, Erler A. Probleme der Evaluation eines regionalen integrierten Vollversorgungssystems am Beispiel „Gesundes Kinzigtal“. ZEFQ 2011;105:590–6.Search in Google Scholar

6. Köster I, Ihle P, Schubert I. Evaluationsbericht 2004–2011 für Gesundes Kinzigtal GmbH, hier: AOK-Daten. Evaluationsmodul der Integrierten Versorgung „Gesundes Kinzigtal“: „Identifizierung und Abbau von Über-, Unter- und Fehlversorgung – Versorgungsevaluation auf Basis von GKV-Routinedaten“, hier: Abschlussbericht mit Status-Quo-Daten für 2004 sowie Analysen der Jahre 2005–11. Köln 2015: uv Ms.Search in Google Scholar

7. Janhsen K, Roser P, Hoffmann K. Probleme der Dauertherapie mit Benzodiazepinen und verwandten Substanzen. Deutsches Ärzteblatt 2015;112:1–9.Search in Google Scholar

8. Hoffmann F, Glaeske G, Scharffetter W. Zunehmender Hypnotikaverbrauch auf Privatrezepten in Deutschland. Sucht 2006;52:360–6.10.1024/2006.06.02Search in Google Scholar

9. Hoffmann F, Glaeske G. Benzodiazepinhypnotika, Zolpidem und Zopiclon auf Privatrezept. Verbrauch zwischen 1993 und 2012. Nervenarzt 2014;85:1402–9.10.1007/s00115-014-4016-8Search in Google Scholar PubMed

10. Schnabel C, Stephan G. Determinanten des Krankenstandes – eine Untersuchung mit Betriebs- und Zeitreihendaten. Jahrbuch für Sozialwissenschaft 1993;44:132–47.Search in Google Scholar

11. Maun A, Wessman C, Sundvall PD, Thorn J, Björkelund C. Is the quality of primary healthcare services influenced by the healthcare centre’s type of ownership? An observational study of patient perceived quality, prescription rates and follow-up routines in privately and publicly owned primary care centres. BMC Health Serv Res 2015;15:417.10.1186/s12913-015-1082-ySearch in Google Scholar PubMed PubMed Central

12. Nicholls SG, Quach P, von Elm E, Guttmann A, Moher D, Petersen I, et al. The Reporting of Studies Conducted Using Observational Routinely-Collected Health Data (RECORD) Statement: Methods for Arriving at Consensus and Developing Reporting Guidelines. PLoS One 2015;10:e0125620.10.1371/journal.pone.0125620Search in Google Scholar PubMed PubMed Central

Online erschienen: 2016-3-10
Erschienen im Druck: 2016-3-1

©2016 Walter de Gruyter GmbH, Berlin/Boston

Downloaded on 10.6.2023 from https://www.degruyter.com/document/doi/10.1515/pubhef-2016-0007/html
Scroll to top button