Präzisere Schätzung der kausalen Effekte bei Regressions-Diskontinuitäts-Analysen dank maschinellem Lernen
Regressions-Diskontinuitäts-Analysen sind ein wertvolles methodisches Hilfsmittel zur Untersuchung von Kausalzusammenhängen. Sie sind für immer mehr Forschungsprogrammen von großer Bedeutung. Um diese Analysen weiter zu verfeinern und zu präzisieren, wurden im Rahmen des Projekts RD-ADVANCE neue Methoden untersucht und entwickelt, die in Studien mit dieser Evaluierungsmethode angewendet werden können. „Mit Regressions-Diskontinuitäts-Analysen können Forschende in bestimmten Situationen, in denen randomisierte kontrollierte Studien nicht durchführbar sind und stattdessen Beobachtungsdaten verwendet werden müssen, mehr über Kausalzusammenhänge erfahren“, erklärt Christoph Rothe, Professor für Wirtschaftswissenschaften und Projektkoordinator von RD-ADVANCE. „Mit den neu entwickelten Methoden können Forschende in Bereichen wie Wirtschaft, Bildung und Gesundheit die kausalen Auswirkungen verschiedener Arten von politischen Maßnahmen besser abschätzen“, fügt Rothe hinzu.
Neue Methoden für Regressions-Diskontinuitäts-Analysen erarbeiten
RD-ADVANCE, das an der Universität Mannheim angesiedelt ist, war in drei Teile aufgeteilt, um verschiedene Elemente dieser Analysen zu prüfen. Im ersten Teil entwickelten die Teammitglieder Methoden zur Einbeziehung von Kovariaten (unabhängigen Variablen, die sich auf das Ergebnis eines bestimmten statistischen Versuchs auswirken können) in Regressions-Diskontinuitäts-Analysen. Um genauere Schlussfolgerungen zu erhalten, griff das Team hier auf künstliche Intelligenz (KI) zurück. „Konkret wurde maschinelles Lernen eingesetzt, um Informationen aus einer potenziell großen Anzahl von Kovariaten zu extrahieren, die dann wiederum verwendet werden, um die Varianz der Regressions-Diskontinuitäts-Schätzungen der kausalen Effekte zu reduzieren“, so Rothe. Laut Rothe können Forschenden mit den erweiterten Verfahren die aus den begrenzten Daten resultierende Unsicherheit verringern und somit bessere politische Ratschläge geben. Im zweiten Teil des Projekts untersuchte das Team die Konfidenzintervalle, die üblicherweise bei statistischen Analysen verwendet werden. Diese Intervalle basieren auf Standardfehlern, die nach einer bestimmten Variable, der sogenannten laufenden Variable, geclustert werden. Mit diesen einheitlichen Konfidenzintervallen soll die Unsicherheit im Zusammenhang mit den untersuchten Behandlungseffekten quantifiziert werden. Die Forschenden fanden jedoch heraus, dass bei einer diskreten Laufvariable diese allgemein verwendeten Konfidenzintervalle möglicherweise nicht gut funktionieren und die tatsächliche Unsicherheit im Zusammenhang mit den geschätzten Behandlungseffekten nicht genau repräsentieren. Um dieses Problem anzugehen und Forschenden einen zuverlässigeren Ansatz zu bieten, erarbeitete das Projektteam zwei neue Konfidenzintervalle, mit denen genauere Bewertungen der Kausalzusammenhänge möglich sein könnten.
Genauigkeit gewährleistet
Bei dem Ansatz der Regressions-Diskontinuitäts-Analysen werden zwei Personengruppen gebildet – eine Behandlungsgruppe, die die Intervention erhält, und eine Kontrollgruppe, die sie nicht erhält. Die Teilnehmenden werden den Gruppen auf der Grundlage eines Cut-Offs in der Laufvariablen zugewiesen. Durch einen Vergleich der Werte auf beiden Seiten des Cut-Offs können die Kausalzusammenhänge der Behandlung ermittelt werden. Bei der Regressions-Diskontinuitäts-Analyse besteht jedoch die Gefahr, dass Personen bestimmte Aspekte zu ihrer Person oder ihrem Verhaltens absichtlich ändern, um zu beeinflussen, welcher Behandlungsgruppe sie zugewiesen werden. Dies könnte die Glaubwürdigkeit und Gültigkeit dieses Ansatzes untergraben. Um dieses potenzielle Problem zu lösen und die Genauigkeit der Regressions-Diskontinuitäts-Analysen zu gewährleisten, bestand der dritte Teil des Projekts in der Konzeption von Methoden zu Einschätzungen und Schlussfolgerungen, mit denen Manipulationen in Studien mit dieser Analyse berücksichtigt werden können. Das Team hat einen breiten Rahmen geschaffen, um das Problem der Manipulation mithilfe nichtparametrischer statistischer Methoden anzugehen, wobei auch zusätzliche Aspekte des Manipulationsszenarios bedacht wurden. Weitere Einzelheiten zu den entwickelten Methoden sind in drei Veröffentlichungen auf der Seite „Ergebnisse“ des Projekts zu finden.
Schlüsselbegriffe
RD-ADVANCE, Regressions-Diskontinuitäts-Analyse, kausale Effekte, Kausalzusammenhänge, KI, Wirtschaft, Beobachtungsdaten, maschinelles Lernen, Politikberatung