Algorithmen in der Verwaltung – Heilsversprechen oder ethisch riskant?

„Digitalisierung“ ist ein Containerwort. Wer sechs Leute befragt, was sie unter Digitalisierung verstehen, erhält mindestens sieben Antworten. Das OZG ist ein gutes Beispiel dafür: wenn ich als Bürger ein Formular von einer Plattform herunterladen und ausfüllen kann, ist das dann schon Digitalisierung? Oder beginnt Digitalisierung erst beim Einsatz von Künstlicher Intelligenz bei der automatischen Bearbeitung von Bürgeranliegen?

Darüber hinaus gibt es aber zunehmend eine weitere Diskussion. Sie stellt die Frage nach dem WAS der Digitalisierung, nach den mit ihr verbundenen Zielen und Werten – zusätzlich zu den Fragen nach dem WIE, also dem Tempo und der Überwindung von Blockaden.

Kürzlich ist in der Reclam-Reihe „Was bedeutet das alles?“ ein Essay der Dresdner Professorin Sabine Müller-Mall erschienen zum Thema „Die Politik der Algorithmen“. Dieses Buch war es, das uns u.a. auf die Idee gebracht hat, das Thema „KI, Algorithmen und ihre Rolle in der öffentlichen Verwaltung“ auf unserer Konferenz „Agile Verwaltung 2023“ am 11. Mai zu vertiefen. Digitalisierung stellt sowieso einen Schwerpunkt der Konferenz dar. Und wir wollen jetzt zusätzlich eine Session der Diskussion um die Frage „Effizienz und Ethik bei Einsatz von KI in der Verwaltung“ widmen.

Der soziologische und der politische Blick

Sabine Müller-Mall schlägt eine grundsätzliche Unterscheidung vor: es gebe einen „soziologischen Blick“ auf das Thema und einen – wie sie es nennt – „politischen Blick“. Der soziologische Blick beschäftigt sich mit den neuen Strukturen, Abläufen und Funktionen, die bei der Anwendung von digitalen Instrumenten durch die Verwaltung entstehen können. Für die Soziologie ist Digitalisierung eine Herausforderung, die von außen an die Verwaltung herangetragen wird. Konkret: sie muss dem vielstimmigen Medienchor nachkommen, der rasche Fortschritte in Sachen Digitalisierung einfordert.

Das führt eher zu einer Haltung der Anpassung, bei der ich als Verwaltung gar nicht lange überlege, welche gesellschaftlichen Folgen meine digitalen Neuerungen bringen. Sondern mein Erfolg liegt in meinem schnellen Handeln, das nicht durch lange Diskussionen verzögert wird.

Beim politischen Blick – wie ihn Müller-Mall definiert – wird hingegen eine aktive Perspektive eingenommen, „wenn es um … Gestaltung, Formierung, Anordnung oder Veränderung des Sozialen geht“. Damit kommen aber auch Aspekte von Herrschaft, Macht und Ordnung ins Spiel. (Müller-Mall, 2020, Seite 13)

Die beiden Unterscheidungen sind meiner Meinung nach extrem wichtig. Ich möchte drei Beispiele bringen, was passieren kann, wenn man bei der Digitalisierung nur den soziologischen Blick einnimmt.

Das Beispiel „Elster“-Programm

Finanzämter akzeptieren nur noch elektronische Steuererklärungen. Eine Ausnahme müssen sie nach Paragraf 150 Absatz 8 der Abgabenordnung (AO) nur machen, wenn das Erstellen einer elektronischen Steuererklärung „wirtschaftlich oder persönlich“ unzumutbar wäre. Entsprechende Anträge werden häufig abgelehnt und führen dann, wenn der Antragsteller nicht vorher resigniert, vor Verfahren vor den Finanzgerichten.

Eine ähnliche Verpflichtung auf digitale Plattformen fanden sich auch in der Pandemie, als man in einigen Bundesländern nur auf diesem Weg Impftermine buchen konnte.
Dieser potenzielle Ausschluss von Bevölkerungsgruppen – alten Menschen, Menschen mit schlechten Deutschkenntnissen, Einkommensschwache ohne Computer – von öffentlichen Dienstleistungen muss bei Digitalisierungs-projekten bedacht werden. Die Versuchung von Verwaltungen ist gerade angesichts ihrer Personalsituation groß, ihre eigenen Prozesse zu optimieren, aber einen viel größeren Zusatzaufwand bei den Bürger:innen zu generieren oder sie gar zu marginalisieren.

Das Beispiel „Schufa-Auskunft“

Künstliche Intelligenz versucht, in großen Datenmengen Muster zu finden (Input) und diese Muster für Zukunftsprognosen zu nutzen (Output). Das kann im medizinischen Bereich riesengroße Fortschritte bringen – wenn z.B. KI-Programme Tumore in Röntgenbildern erkennen, die von Ärzten oft übersehen würden. Die Prognosefähigkeit des Arztes – der natürlich die Auskunft der KI noch einmal nachprüft – wird so erheblich verbessert.

Es gibt aber im gesellschaftlichen Umgang Beispiele, die nicht völlig unproblematisch sind. Die Schufa ist eine Institution, die an Banken Auskünfte über die Kreditwürdigkeit von Bürger:innen erteilt. Die genauen Parameter, die in dieses sog. Scoring eingehen, gehören zum Geschäftsgeheimnis der Schufa. Aber bekannt ist, dass z.B. das Wohnviertel in diese Berechnung einfließt.

Müller-Mall: „Wenn ich beispielsweise in einem Stadtviertel wohne, dessen Bewohner:innen häufiger Kredite nicht oder verspätet zurückzahlen, dann, so rechnet es die Schufa mit ihrem Scoring-Algorithmus aus, ist die Wahrscheinlichkeit groß, dass auch ich meinen Kredit nicht oder verspätet zurückzahle.“ (S. 23)

Es werden also aus statistischen Merkmalen eines Kollektivs (Bewohner eines Stadtviertels) Rückschlüsse auf das künftige Verhalten einer Person gezogen. Müller-Mall wendet ein: „Für mich als Kundin ist dieses Vorgehen keineswegs einleuchtend. Warum sollte ich das Kreditverhalten meiner Nachbarn mir zurechnen … lassen, wenn doch nur ich allein einen Kredit aufnehmen will?“

Die Bank mag sich von einem solchen, vermeintlich „objektiven“ Verfahren einen Zuwachs an Sicherheit versprechen. Dieser wird aber erkauft durch einen tiefen Eingriff in meine Persönlichkeitsrechte als Kunde. Ich habe keinerlei Möglichkeit, gegen dieses Rechenergebnis Einspruch zu erheben. Die KI gilt als objektiv, quasi unfehlbar. Ja, mir wird nicht einmal mitgeteilt, dass die negative Schufa-Auskunft etwas mit meinem Wohnort zu tun hat – ich bin diesem Verfahren völlig hilflos ausgeliefert.

Ähnliche Beispiele sind aus der öffentlichen Verwaltung bekannt. Zum Beispiel bei automatisierten Bewerber-Assessments oder – ein österreichisches Beispiel – bei der Abwägung, welcher Arbeitslose aufgrund welcher Erfolgsaussichten eine Fortbildung genehmigt bekommt oder nicht.

Der Anwohner-Parkausweis

Aber gibt es nicht Beispiele, bei denen eine vollautomatische Antragsbearbeitung völlig „ungefährlich“ ist? Wo also die Digitalisierung die Sachbearbeiter von Routinetätigkeiten entlasten könnte, ohne irgendwelche Interessen der antragstellenden Bürger zu verletzen? In der Diskussion wird öfter das Beispiel die Antragsbearbeitung eines Anwohner-Parkausweises genannt.

Ich glaube nicht, dass es Prozesse gibt, bei denen Algorithmen zu 100 Prozent eindeutige Entscheidungen treffen können. Es gibt immer Sonderfälle von Situationen, die in den Regeln nicht enthalten sind. Ich denke mir einfach einen Fall aus: Mein alter Vater ist bettlägerig geworden, und ich muss ihn für drei, vier Monate täglich besuchen und versorgen, bis eine endgültige Lösung gefunden ist. Also benötige ich einen Parkausweis für die Straße meines Vaters, obwohl die Adresse nicht in meinem Ausweis eingetragen ist. In einem solchen Fall könnte ich mit einem Sachbearbeiter verhandeln und ihm die Ausnahmesituation erklären – einem Chatbot nie.

Entscheidungen bedürfen immer der Abwägung der konkreten Situation durch einen Menschen. Sonst wäre es keine Entscheidung. Dass 2+2=4 ist, ist keine Entscheidung, sondern 100%ig regelbasiert ermittelt. Ich stelle aber als Bürger auch keinen Antrag bei der Stadtverwaltung, doch bitteschön 2+2 für mich auszurechnen. Oder andersherum: wäre die Erteilung eines Anwohnerpark-ausweises so regelbasiert wie eine Rechenaufgabe, bräuchte ich keinen Antrag zu stellen (der ja eine Prüfwürdigkeit voraussetzt). Dann könnte ich mir diesen Ausweis am Automaten ziehen wie ein Bahnticket.

Leitplanken agiler Digitalisierung

Digitalisierung ist keine „rein technische“ Aufgabe. Es reicht nicht aus, den Einsatz von KI in der öffentlichen Verwaltung nur auf den Aspekt des Effizienzgewinns zu reduzieren. Es geht immer auch darum, wie die öffentlichen Institutionen den Einwohner:innen, für die sie da sind, begegnen will.

• Will sie sie auf digitale Plattformen zwingen, um ihre eigenen Prozesse zu verschlanken – aber gleichzeitig einen Teil der Bürger von ihren Dienstleistungen abzukoppeln (Beispiel „Elster“)?
• Will sie eigene Entscheidungen über Einzelpersonen auf die Basis statistischen Musterverhaltens von Gruppen gründen (Beispiel „Schufa“)?
• Will sie Bürger:innen vollautomatisierten Entscheidungen von Algorithmen unterwerfen, ohne jede Möglichkeit für einen Antragsteller, noch mit einem menschlichen Verwaltungsmitarbeiter zu sprechen (Beispiel „Anwohnerparkausweis“)?

Für Sabine Müller-Mall „reicht das übliche Argument der Effizienz nicht aus… Es gilt hier vielmehr, die politische Dimension des Einsatzes von Algorithmen in der öffentlichen Verwaltung erst grundsätzlich und im Detail und immer wieder neu zu diskutieren, um dann im Einzelfall politisch zu entscheiden, ob der Einsatz gut oder schlecht ist.“ (Seite 77)

Auf unserer Konferenz „Agile Verwaltung 2023“ am 11. Mai 2023 werden wir dazu eine Session im Fishbowl-Format anbieten.

In der Minute, in der ich diesen Beitrag freischalte, geht eine Meldung über eine Pressemitteilung des Deutschen Ethikrates ein: „Künstliche Intelligenz darf menschliche Entfaltung nicht vermindern“. /Anmerkung 2/ „Der Einsatz von KI muss menschliche Entfaltung erweitern und darf sie nicht vermindern. KI darf den Menschen nicht ersetzen. Das sind grundlegende Regeln für die ethische Bewertung“, sagt Alena Buyx, die Vorsitzende des Deutschen Ethikrates.

Anmerkungen

/1/ Müller-Mall, Sabine: Freiheit und Kalkül. Die Politik der Algorithmen. Reclam-Verlag 2020, 80 Seiten, 6 €. – Die Autorin hat die Professur für Rechts- und Verfassungstheorie an der Philosophischen Fakultät der TU Dresden inne.

/2/ Die Pressemitteilung des Ethikrats findet sich hier. Der Link zum Download der gesamten Stellungnahme ist hier.