Künstliche Intelligenz in der Verwaltung

Der Einsatz von Künstlicher Intelligenz (KI) verspricht für die Verwaltung großes Potenzial, Verwaltungstätigkeiten zu vereinfachen, zu beschleunigen und Ergebnisse zu optimieren. Mit KI kann dem demografischen Wandel und dem Fachkräftemangel begegnet werden, auch weil KI-Arbeitsplätze attraktiv sind. Im öffentlichen Sektor werden bisher zwar noch nicht sehr viele KI-Systeme eingesetzt. Es finden aber vielfältige Aktivitäten statt, um Verwaltungstätigkeiten perspektivisch durch KI-Systeme zu modernisieren. In dieser Vorbereitungsphase wird versucht, Unsicherheiten, die rechtlich trotz der KI-Regulierung, und technisch bestehen, zu begegnen und zahlreiche datenschutzrechtliche Fragestellungen beim Einsatz von KI in der Verwaltung zu lösen. In diesem Beitrag werden zunächst das Zusammenspiel zwischen KI-Verordnung (KI-VO) und Datenschutz-Grundverordnung (DSGVO) einschließlich der KI-Governance-Struktur vorgestellt, um anschließend wesentliche Problemfelder beim Einsatz von KI-Systemen aufzuzeigen. Abschließend werden Lösungsansätze und Regelungsbedarfe in Niedersachsen vorgestellt.

I. KI-VO und DSGVO

KI-VO und DSGVO stehen in der Gesetzgebungshierarchie auf einer Ebene. Als europäische Verordnungen sind sie in den Mitgliedstaaten unmittelbar geltendes Recht. Nationale Umsetzungsgesetze dienen vornehmlich der Festlegung der zuständigen Behörden im nationalen Mitgliedstaat.

Die KI-VO enthält in Art. 2 Abs. 7 eine ausdrückliche Regelung über ihr Verhältnis zur DSGVO – diese bleibt von der KI-VO unberührt.¹ In Erwg. 10 wird zunächst betont, dass die DSGVO neben der KI-VO auch greift, wenn Datensätze eine Mischung aus personenbezogenen und nicht personenbezogenen Daten enthalten. Weiter wird ausgeführt, dass die Aufgaben und Befugnisse der unabhängigen Aufsichtsbehörden nicht berührt werden, Anbieter und Betreiber bei der Konzeption, Entwicklung und Verwendung von KI-Systemen in ihrer Rolle als Verantwortliche oder Auftragsverarbeiter den datenschutzrechtlichen Pflichten nachkommen müssen und betroffene Personen weiterhin über alle Rechte und Garantien der DSGVO verfügen. Nach der Gesetzessystematik sind demnach KI-VO und DSGVO nebeneinander anwendbar. Da die beiden Verordnungen unterschiedliche Regelungsziele verfolgen, ist diese Koexistenz grundsätzlich schlüssig. Die DSGVO verfolgt gemäß Art. 1 Abs. 1 als Ziele den Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und den freien Verkehr solcher Daten. Die KI-VO zielt gemäß Art. 1 Abs. 1 darauf ab, auf den Menschen ausgerichtete und vertrauenswürdige KI zu fördern und gleichzeitig Grundrechte des Einzelnen sowie die Grundwerte Demokratie, Rechtsstaatlichkeit und den Umweltschutz vor schädlichen Auswirkungen von KI-Systemen zu schützen. Um diese Ziele zu erreichen, vereint die KI-VO Vorschriften des regulierenden Technikrechts, der Marktüberwachung, der Produktsicherung und der Haftung.

In Deutschland wurde noch kein nationales Umsetzungsgesetz zur KI-VO erlassen. Die Mitgliedstaaten sind allerdings gemäß Art. 113 KI-VO verpflichtet, bis zum 02.08.2025 die in der KI-VO vorgesehenen zuständigen Behörden zu benennen. Diese Frist wurde bereits gebrochen. Insgesamt sieht die KI-VO eine recht komplexe KI-Governance-Struktur auf europäischer und nationaler Ebene vor,² die auf den risikobasierten Ansatz der KI-VO zurückzuführen ist. Eine zentrale Rolle nehmen die Marktüberwachungsbehörden in den jeweiligen Mitgliedstaaten ein. Ihnen obliegt die Aufgabe, sowohl bei Hochrisiko-KI-Systemen als auch bei allen weiteren KI-Modellen und -Systemen die Einhaltung der Anforderungen der KI-VO zu beaufsichtigen.³

Nach den bisher bekannt gewordenen Entwürfen des deutschen Gesetzgebers soll es so wenige Marktüberwachungsbehörden in Deutschland geben wie möglich, sodass die Marktüberwachung im Wesentlichen der Bundesnetzagentur (BNetzA) zugewiesen werden soll. Es besteht eine gewisse Wahrscheinlichkeit, dass die neue Bundesregierung an den Umsetzungsplänen festhalten wird. Denn der Bundesgesetzgeber ist generell bestrebt, die nationalen Zuständigkeiten für die Rechtsakte der europäischen Digital Strategie weitestgehend in einer Bundesbehörde zu bündeln.⁴

Selbst wenn die Datenschutzaufsichtsbehörden keine Marktüberwachungsbefugnis erhalten sollten, obliegt ihnen selbstverständlich ihre datenschutzrechtliche Aufsichtsbefugnis über KI-Modelle und -Systeme. Werden bei der Entwicklung oder dem Einsatz von KI personenbezogene Daten verarbeitet, sind bereits jetzt die Datenschutzaufsichtsbehörden die zuständigen Aufsichtsbehörden für die Umsetzung der DSGVO und weiterer Datenschutzvorschriften entsprechend der Zuständigkeitsverteilung zwischen der Bundesbeauftragten für Datenschutz und Informationsfreiheit (BfDI) und den Landesdatenschutzbehörden.

II. Datenschutzrecht und KI

Von öffentlichen Stellen werden bereits – und sicher auch in Zukunft – KI-Systeme eingesetzt, die ohne die Verarbeitung personenbezogener Daten auskommen, wie z. B. KI im Bereich Umweltschutz, Klima und Nachhaltigkeit.⁵ Die DSGVO ist dann nicht anwendbar, aber die KI-VO ist zu beachten. Diese adressiert die Risiken, die von der KI als solcher ausgehen, wie z. B. das Risiko nachteiliger Auswirkungen auf die Gesundheit und Sicherheit von Personen⁶ oder der wesentlichen Beeinflussung der menschlichen Entscheidungsfindung.⁷ Der risikobasierte Ansatz der KI-VO führt dazu, dass je nach Zielsetzung, Funktionalität, Einsatzbereich und Zweck eines KI-Systems eine Einstufung in die Kategorien verbotene KI-Praktiken gemäß Art. 5 KI-VO, Hochrisiko-KI-Systeme gemäß Art. 6 KI-VO, bestimmte KI-Systeme gemäß Art. 50 KI-VO sowie KI-Modelle mit allgemeinem Verwendungszweck mit und ohne systemischen Risiko gemäß Art. 51 KI-VO vorzunehmen ist.⁸ Je nachdem in welche Risikokategorie ein KI-System oder KI-Modell fällt, sind in der KI-VO abgestufte Vorschriften von einem Verbot des Einsatzes über umfassende Pflichten zur Risikominimierung bis hin zu (lediglich) Transparenzpflichten vorgesehen. Die KI-VO orientiert sich an den Ethikleitlinien für vertrauenswürdige KI von 2019.⁹ In diesen werden die folgenden sieben Grundsätze für KI manifestiert: menschliches Handeln und menschliche Aufsicht, technische Robustheit und Sicherheit, Privatsphäre und Daten-Governance, Transparenz, Vielfalt, Nichtdiskriminierung und Fairness, soziales und ökologisches Wohlergehen sowie Rechenschaftspflicht.¹⁰ Voraussichtlich wird der KI-Einsatz durch öffentliche Stellen häufig mit der Verarbeitung personenbezogener Daten einhergehen, wodurch KI-spezifische datenschutzrechtliche Problemfelder aufgeworfen werden.

1. Datenschutzgrundsätze

Der europäische Gesetzgeber hat Überschneidungen zwischen KI-VO und DSGVO erkannt und sich gemäß Art. 2 Abs. 7 KI-VO entschieden, die Regelungsregime nebeneinanderzustellen. Er ist damit einen sehr einfachen Weg gegangen, obschon im Zeitpunkt des Erlasses der KI-VO längst offenkundig war, dass Entwicklung und Einsatz von KI-Systemen mit mehreren Grundsätzen der DSGVO nicht oder nur sehr schwer in Einklang zu bringen sind. Besonders augenfällig ist die Widersprüchlichkeit zwischen KI-Systemen und -Modellen und den Grundsätzen der Datenminimierung, der Transparenz und der Vorurteilsfreiheit.

Nach dem Grundsatz der Datenminimierung gemäß Art. 5 Abs. 1 lit. c DSGVO müssen personenbezogene Daten dem konkreten Zweck angemessen und erheblich sowie auf das für den konkreten Zweck einer Verarbeitung notwendige Maß beschränkt sein. Für das Training von KI-Modellen und -Systemen ist aber immer eine enorme Menge von Daten erforderlich. Es müssen zwar nicht unbedingt personenbezogene Daten sein, aber die verfügbaren, möglichen Datenquellen, wie insbesondere das Internet oder Archive bei Behörden und Gerichten, enthalten sowohl personenbezogene als auch nicht personenbezogene Daten.

Die Grundsätze der Transparenz und Vorurteilsfreiheit finden sich in Art. 5 Abs. 1 lit. a DSGVO. Danach sind personenbezogene Daten [auf rechtmäßige Weise,] nach Treu und Glauben und in einer für die betroffene Person nachvollziehbaren Weise zu verarbeiten. Nachvollziehbarkeit ist im Datenschutzrecht nicht allein durch die Erfüllung der Informationspflichten und Auskunftsansprüche zu gewährleisten. Sie erfordert darüber hinaus vertiefte Kenntnisse beim Verantwortlichen über die Systemgestaltung. Transparenz umfasst zumindest bei automatisierten Entscheidungen gemäß Art. 13 Abs. 2 lit. F DSGVO auch „aussagekräftige Informationen über die involvierte Logik” der Datenverarbeitung „sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person”.¹¹ Diese Facette der Transparenz wird regelmäßig als Erklärbarkeit bezeichnet.¹² KI-Modelle und -Systeme werden aufgrund ihrer besonderen Architektur häufig als „Black Box” tituliert.¹³ Bei KI-Modellen werden Regeln, Arbeitsweise und Logiken nur teilweise durch die Programmierung des Menschen festgelegt. Der Entwickler definiert nur das Ziel und den Rahmen, stellt Trainingsdaten zur Verfügung und trainiert das Modell. Das KI-Modell lernt unter diesen Bedingungen weitgehend selbstständig und bestimmt quasi den Weg zum Ziel. Zudem ist ein KI-Modell nicht darauf ausgerichtet, auf dieselben Eingaben immer mit denselben Ausgaben zu reagieren. Insofern ist die Verarbeitung von personenbezogenen Daten durch ein KI-System gerade nicht transparent und nicht vorhersagbar.¹⁴

Vorurteilsfreiheit lässt sich begrifflich nicht unmittelbar dem Datenschutzrecht entnehmen. Sie wird allerdings aus dem Grundsatz der Fairness, wie der Grundsatz von Treu und Glauben mittlerweile regelmäßig bezeichnet wird, abgeleitet. Das Ziel der Nichtdiskriminierung wird zudem auch in Art. 10 Abs. 5 KI-VO sowie in zahlreichen Erwägungsgründen der KI-VO angesprochen.¹⁵ Insbesondere generative KI-Modelle¹⁶ zeigen in unterschiedlichen Ausprägungen KI-Bias. Darunter sind systematische Verzerrungen oder Ungleichgewichte zu verstehen, in der Art und Weise, wie Informationen wahrgenommen, verarbeitet oder präsentiert werden. In einem breiten Kontext kann Bias in verschiedenen Bereichen auftreten, einschließlich psychologischer, gesellschaftlicher, medialer, wissenschaftlicher und technologischer Dimensionen. Ein Beispiel für Verzerrungen wurde bei der Bilderzeugung im Rahmen eines Kunstprojekts erkannt. Das KI-System sollte Bilder von Menschen in spezialisierten Berufen erstellen. Im Ergebnis waren Menschen unterschiedlichen Alters abgebildet, aber die älteren Menschen waren immer Männer. Die KI-VO liefert leider keine Antwort auf die Frage, wie mit diesen offensichtlichen Diskrepanzen zwischen KI-Systemen und Anforderungen der DSGVO umzugehen ist.

2. Rechtmäßigkeit der Verarbeitung personenbezogener Daten

Zunächst ist von der datenschutzrechtlichen Rechtmäßigkeit der Verarbeitung personenbezogener Daten die Frage zu unterscheiden, ob öffentliche Stellen für den Einsatz von KI-Systemen als solche eine Rechtsgrundlage benötigen. In Hamburg gestattet § 13 Abs. 1 Satz 1 Hamburgisches Digitalisierungsgesetzes (HmbVwDiG) vom 19.11.2024 allgemein den Einsatz von Systemen Künstlicher Intelligenz zur Wahrnehmung öffentlich-rechtlicher Verwaltungstätigkeit.¹⁷ Ab Abs. 1 Satz 2 bis Abs. 3 adressiert die Norm ausdrücklich die Verarbeitung personenbezogener Daten durch KI-Systeme. § 2 Abs. 1 IT-Einsatz-Gesetz (ITEG) enthält vergleichbar für die öffentlich-rechtliche Verwaltungstätigkeit in Schleswig-Holstein eine grundsätzliche Erlaubnis zum Einsatz von „datengetriebenen Informationstechnologien”.¹⁸ Für die Bundesbehörden ist z. B. keine derartige Regelung bekannt. In einigen Ländern wird wohl über eine vergleichbare Regelung nachgedacht. Da die KI-VO für den öffentlichen Bereich anwendbar ist, greifen diese Regelungen jedoch immer nachrangig. Daher steht die Erlaubnis zum Einsatz von KI-Systemen unter dem Vorbehalt, dass es sich nicht um eine verbotene KI-Praktik gemäß Art. 5 KI-VO handelt und je nach Risikoeinstufung die Anforderungen der KI-VO eingehalten werden. Ob es einer derartigen Regelung für die öffentliche Verwaltung bedarf, wird nach dem verfassungsrechtlichen Vorbehalt des Gesetzes gemäß Art. 20 Abs. 3 GG in Verbindung mit dem Wesentlichkeitsgrundsatz des Bundesverfassungsgerichts zu entscheiden sein. Die KI-VO geht davon aus, dass KI-Modelle und -Systeme grundsätzlich geeignet sind, die in der Grundrechte-Charta verankerten Grundrechte zu gefährden.¹⁹ Entsprechend dem risikobasierten Ansatz wird aber betont, dass der Umfang schädlicher Auswirkungen von der konkreten Anwendung und Nutzung sowie der technologischen Entwicklungsstufe abhängig ist. Der Grundsatz des Vorbehalts des Gesetzes verpflichtet den parlamentarischen Gesetzgeber, wesentliche, für die Grundrechtsverwirklichung maßgebliche Regelungen selbst zu treffen und nicht anderen Normgebern oder der Exekutive zu überlassen.²⁰ Die Risikobewertung der KI-VO spricht dafür, dass der Einsatz von KI-Systemen in der öffentlichen Verwaltung nicht generell einer gesetzlichen Regelung bedarf, aber in bestimmten Einsatzbereichen.

Wird ein KI-Modell durch eine öffentliche Stelle selbst unter Verwendung personenbezogener Daten trainiert, ist gemäß Art. 6 Abs. 1 DSGVO eine Rechtsgrundlage erforderlich, um rechtmäßig zu sein.²¹ Regelmäßig wird auf Datenbestände zurückgegriffen werden, die seit Jahren oder Jahrzehnten zu anderen Zwecken gespeichert worden sind. Die für diesen Ausgangszweck maßgebliche Rechtsgrundlage der Datenverarbeitung greift ebenso wenig für das Training eines KI-Modells wie eine Rechtsgrundlage für den späteren Einsatz des KI-Systems. Soll bspw. für die Erstellung von Baugenehmigungen ein KI-Modell mit Verfahrensakten von Altverfahren trainiert und später eingesetzt werden, scheidet Art. 5 Abs. 1 lit. e DSGVO i. V. m. §§ 3 und 5 NDSG in Verbindung mit dem anzuwendenden Fachgesetz wie z. B. NBauO für die Trainingsphase aus. Soll gleichwohl ein solches System mit vorhandenen personenbezogenen Daten trainiert werden, ist also eine spezifische Rechtsgrundlage für das Training erforderlich.²²

Sollte keine Rechtsgrundlage verfügbar oder gewollt sein, können personenbezogene Daten freilich anonymisiert werden. Sofern der Personenbezug für den Zweck des Trainings des KI-Modells nicht erforderlich ist, folgt die Pflicht zur Anonymisierung bereits aus dem Grundsatz der Datenminimierung. Die Anonymisierung sehr großer Datenbestände ist regelmäßig mit Aufwand verbunden, der umso größer ist, desto weniger homogen und strukturiert die Datensätze sind. Im dargestellten Beispiel hängt der Aufwand z. B. davon ab, ob es sich bei den Akten der Baugenehmigungsverfahren um Papierakten, elektronische Akten, um Akten in einem Dokumentenmanagementsystem handelt oder die Informationen in einer strukturieren Datenbank verfügbar sind. In vielen Fällen wird eine umfassende Anonymisierung scheitern,²³ auch wenn Maßnahmen zur Datenminimierung vorgenommen werden.

Für die niedersächsische Verwaltung gibt es bisher keine § 13 Abs. 2 und 3 HmbVwDiG oder § 8 ITEG vergleichbare Rechtsgrundlage für das Training von KI-Modellen oder KI-Systemen durch Verwaltungsbehörden. Eine solche Rechtsgrundlage ist nicht nur bei einem initialen Training eines KI-Modells erforderlich, sondern auch bei dem in der Praxis häufig vorkommenden Nachtraining eines KI-Modells mit allgemeinem Verwendungszweck für einen konkreten Anwendungsbereich, dem sogenannten Fine-Tuning. Die Hamburgische Norm unterscheidet zwischen der Verarbeitung personenbezogener Daten aus allgemeinen Quellen, die gemäß Abs. 2 grundsätzlich nur anonym verwendet werden dürfen, und personenbezogenen Daten, die zur Wahrnehmung einer Aufgabe verarbeitet worden sind, für die die zu entwickelnde KI eingesetzt werden soll. Gemäß Abs. 3 ist im zweiten Fall eine Datenschutz-Folgenabschätzung vorzunehmen. In § 8 Abs. 2 ITEG wird das Differenzierungskriterium des originären Zwecks der Daten ebenfalls herangezogen. Allerdings ist danach selbst bei personenbezogenen Daten, „die im Zusammenhang mit der zu trainierenden Aufgabenwahrnehmung erhoben und gespeichert wurden”, vorrangig zu pseudonymisieren.

Schließlich ist zu fragen, ob eine datenschutzrechtliche Rechtsgrundlage erforderlich ist, wenn beim Einsatz eines KI-Systems durch eine öffentliche Stelle personenbezogene Daten verarbeitet werden. Wie bereits angesprochen, kann in der Regel auf die fachspezifischen Datenschutzvorschriften zurückgegriffen werden, wenn ein KI-System in einem konkreten Verwaltungsverfahren zum Einsatz kommt. Denkbar ist z. B. der Einsatz eines KI-Systems beim Erlass von Steuerbescheiden in der Finanzverwaltung.²⁴

Der Rückgriff auf die fachspezifischen datenschutzrechtlichen Rechtsgrundlagen ist allerdings zweifelhaft, wenn aus dem Einsatz des KI-Systems zusätzliche datenschutzrechtliche Risiken resultieren. Den gesetzlichen Erlaubnistatbeständen liegen vom Gesetzgeber getroffene Abwägungen des Grundrechts auf Datenschutz mit anderen Grundrechten zugrunde.²⁵ Es wäre z. B. denkbar, dass in bestimmten Anwendungsbereichen eine spezifische datenschutzrechtliche Rechtsgrundlage zur Verarbeitung von personenbezogenen Daten mit KI-Systemen nur unter der Voraussetzung zulässig ist, dass die bei der Nutzung erzeugten personenbezogenen Daten nicht für ein weiteres KI-Training verwendet werden dürfen oder durch zusätzliche technische und organisatorische Maßnahmen die Richtigkeit von personenbezogenen Output-Daten zu gewährleisten ist. Durch den Einsatz von KI-Systemen für die Umsetzung einer bestimmten Verwaltungstätigkeit könnten deutlich mehr personenbezogene Daten benötigt werden als bisher. In diesem Fall ist die allen Rechtsgrundlagen immanente Voraussetzung der Erforderlichkeit kritisch zu prüfen und ggf. eine ergänzende Rechtsgrundlage vorzusehen.

Aktuell wird der Einsatz generativer KI-Systeme für die Verwaltung wie insbesondere Chatbots oder KI-Assistenten stark forciert. Diese können Verwaltungsmitarbeiterinnen und -mitarbeiter bei sehr unterschiedlichen Aufgaben unterstützen wie z. B. der Auswertung und Zusammenfassung umfassender Textdokumente, der Erstellung von Schreiben und Vermerken oder der Beantwortung allgemeiner Fragen. Generative KI-Systeme erleichtern allgemeine Verwaltungstätigkeiten und können daher zudem in sehr unterschiedlichen Fachverfahren eingesetzt werden. Ein Chatbot kann z. B. sowohl für die Kommunikation mit Bürgern im Online-Bürgerbüro als auch zur Auswertung von Dokumenten in ausländischer Sprache in Fachverfahren der Ausländerbehörde eingesetzt werden. Es ist darauf zu achten, dass der Einsatz generativer KI-Systeme in einer Behörde nicht pauschal auf die allgemeine datenschutzrechtliche Rechtsgrundlage wie z. B. § 3 NDSG gestützt werden kann.

Den gesamten Beitrag entnehmen Sie den NdsVBl. Heft 10/2025.