Source

Standing: How later courts treated this decision has not been analysed.

RRB Nr. 216/2025

Anfrage Jonas Erni, Wädenswil, betreffend Risiken der Künstlichen Intelligenz (KI) im Kanton Zürich, Beantwortung

Rubrum

Auszug aus dem Protokoll des Regierungsrates des Kantons Zürich KR-Nr. 383/2024

Sitzung vom 5. März 2025

216. Anfrage (Risiken der Künstlichen Intelligenz [KI] im Kanton Zürich*) Kantonsrat Jonas Erni, Wädenswil, hat am 25. November 2024 folgende Anfrage eingereicht: Im Zuge der rasanten technologischen Entwicklungen hat die Künstliche Intelligenz (KI) in den letzten Jahren zunehmend an Bedeutung gewonnen. KI-Systeme werden heute in immer mehr Bereichen eingesetzt, von der Verwaltung über das Gesundheitswesen bis hin zur öffentlichen Sicherheit. Obwohl KI zweifellos viele Chancen bietet, gibt es ebenso grosse Risiken und Herausforderungen, die eine sorgfältige Abwägung und Regulierung erfordern. Vor diesem Hintergrund bitte ich den Regierungsrat um die Beantwortung folgender Fragen:

Erwägungen

1. Risikobewertung: Wie schätzt der Regierungsrat die möglichen Risiken ein, die mit dem Einsatz von Künstlicher Intelligenz im öffentlichen Sektor des Kantons Zürich verbunden sind? Welche spezifischen Bereiche sieht er als besonders risikobehaftet an?

2. Transparenz und Verantwortlichkeit: Wie stellt der Kanton sicher, dass bei der Implementierung von KI-Systemen die Prinzipien der Transparenz und Verantwortlichkeit gewahrt werden? Gibt es klare Richtlinien oder Regelungen, die definieren, wer im Falle eines Fehlverhaltens oder einer Fehlentscheidung einer KI verantwortlich gemacht werden kann?

3. Datenschutz und Sicherheit: Wie wird sichergestellt, dass der Datenschutz und die Datensicherheit bei der Nutzung von KI gewährleistet sind? Gibt es spezifische Massnahmen, um den Missbrauch oder unautorisierten Zugriff auf Daten zu verhindern, die in KI-Systemen verarbeitet werden?

4. Ethische Grundsätze: Plant der Regierungsrat die Einführung ethischer Leitlinien für den Einsatz von KI, insbesondere in sensiblen Bereichen wie Bildung, Gesundheitswesen und Justiz? Falls ja, wie sehen diese aus und wie werden sie umgesetzt?

* Diese Anfrage wurde vollumfänglich mittels künstlicher Intelligenz generiert

5. Arbeitsmarkt und Bildung: Welche Massnahmen plant der Kanton Zürich, um mögliche negative Auswirkungen von KI auf den Arbeitsmarkt abzufedern? Gibt es spezielle Programme zur Weiterbildung oder Umschulung von Arbeitskräften, die durch den zunehmenden Einsatz von KI betroffen sein könnten?

6. Regulierung und Aufsicht: Gibt es Bestrebungen auf kantonaler Ebene, eine spezifische Regulierungsbehörde oder eine Aufsichtskommission für KI zu schaffen? Falls nein, warum nicht?

7. Förderung von Forschung und Innovation: Wie unterstützt der Kanton die Forschung und Entwicklung im Bereich der KI, um sicherzustellen, dass der Einsatz von KI-Systemen auf einer soliden wissenschaftlichen Grundlage basiert? Gibt es spezielle Förderprogramme für ethische und nachhaltige KI-Entwicklung? Künstliche Intelligenz birgt grosses Potenzial, aber auch erhebliche Risiken. Es ist von zentraler Bedeutung, dass der Kanton Zürich proaktiv handelt, um sicherzustellen, dass der Einsatz von KI im Einklang mit den Werten unserer Gesellschaft steht und potenzielle Gefahren rechtzeitig erkannt und adressiert werden.

Dispositiv

Auf Antrag der Staatskanzlei beschliesst der Regierungsrat:

I. Die Anfrage Jonas Erni, Wädenswil, wird wie folgt beantwortet:

Gemäss § 59 Abs. 1 des Kantonsratsgesetzes (LS 171.1) können ausdrücklich nur Kantonsratsmitglieder vom Regierungsrat Aufschluss über dessen Angelegenheiten verlangen. Da im vorliegenden Fall gemäss Angaben des Fragestellers die Anfrage vollumfänglich mittels künstlicher Intelligenz (KI) generiert wurde, ist fraglich, ob dieser Vorstoss Sinn und Geist des Kantonsratsgesetzes entspricht. Die Beantwortung der Anfrage wurde hingegen nicht mithilfe von KI verfasst, weil die politische Kommunikation ausgehöhlt würde, wenn der Austausch zwischen öffentlichen Organen nur noch mithilfe von KI erfolgen würde. Zu Frage 1: Der Regierungsrat ist sich der Verantwortung und der Wichtigkeit der Qualitätssicherung beim Einsatz von KI bewusst. Bereits im Februar 2021 wurde der Bericht «Einsatz Künstlicher Intelligenz in der Verwaltung: rechtliche und ethische Fragen» (Schlussbericht vom 28. Februar 2021, Universität Basel in Zusammenarbeit mit AlgorithmWatch CH im Auftrag der Staatskanzlei [nachfolgend: KI-Studie] siehe zh.ch/content/ dam/zhweb/bilder-dokumente/themen/politik-staat/kanton/digitale-ver- satz_in_der_verwaltung_2021.pdf) veröffentlicht. In der KI-Studie werden die rechtlichen und ethischen Aspekte sowie die Herausforderungen und Chancen des Einsatzes von KI in der Verwaltung behandelt. Eine pauschale Risikoeinschätzung des Einsatzes von KI im staatlichen Umfeld ist nicht möglich. Die Herausforderungen unterscheiden sich je nach konkretem Einsatzbereich und Art des KI-Systems. Sie hängen von der Art und Menge der Daten ab, die mittels KI-System bearbeitet werden sollen. Beim Einsatz von KI sind die Prinzipien des rechtsstaatlichen Handels einzuhalten und namentlich der Grundrechtsschutz ist sicherzustellen. Zu beachten sind die rechtsstaatlichen Verfahrensgarantien, das Diskriminierungsverbot wie auch die datenschutzrechtlichen Anforderungen (vgl. hierzu KI-Studie, Kapitel 3). Zu Frage 2: Der bestehende Rechtsrahmen ist auch bei der Nutzung von KI-Systemen zu beachten, insbesondere die Bestimmungen des Gesetzes über die Information und den Datenschutz (IDG; LS 170.4). Das IDG sieht Pflichten und Instrumente vor, um den Schutz der Grundrechte zu gewährleisten, insbesondere die Pflicht zur Datenschutzfolgenabschätzung und das Instrument der Vorabkontrolle durch die Datenschutzbeauftragte. Dies gilt auch beim Einsatz von KI-Systemen.

In der Vorlage zur Totalrevision des IDG ist ein öffentlich zugängliches Verzeichnis der eingesetzten algorithmischen Entscheidsysteme (AES) vorgesehen (siehe § 13 Abs. 3 E-IDG gemäss Vorlage 5923). Die vorgesehene Regelung geht zurück auf das Postulat KR-Nr. 9/2022 betreffend Transparenz über den Einsatz von künstlicher Intelligenz in der Verwaltung, mit dem der Regierungsrat gebeten worden war, zur Herstellung von Transparenz über den Einsatz von KI in der kantonalen Verwaltung ein Register zu erstellen. Es sollen AES, die einen Einfluss auf die Grundrechte haben können, in einem Verzeichnis offengelegt werden. Das AES-Verzeichnis trägt damit wesentlich zur Transparenz bei und kann auch Aufschluss über die verantwortlichen Organe geben (siehe hierzu ausführlich die Berichterstattung zum Postulat KR-Nr. 323/ 2022 betreffend Qualitätsanforderungen beim Einsatz von KI in der Verwaltung, KR-Nr. 323a/2022). Die Umsetzung erfolgt im Rahmen des Projekts «AES-Verzeichnis» der Staatskanzlei. Zu Frage 3: Öffentliche Organe müssen Informationen durch angemessene organisatorische und technische Massnahmen schützen (§ 7 Abs. 1 IDG), um die Informationssicherheit zu gewährleisten. Der Regierungsrat hat für die kantonale Verwaltung Richtlinien zur Informationssicherheit erlassen, um u. a. den Missbrauch oder unzulässigen Zugriff auf Daten zu verhindern. Für den Umgang mit der Nutzung von frei zugänglichen On- line-KI-Generatoren (wie z. B. ChatGPT) steht den Mitarbeitenden der Kantonsverwaltung zudem ein Merkblatt zur Verfügung. Im Pilotbetrieb läuft zurzeit eine verwaltungsinterne Anlaufstelle für Fragen rund um KI. Zudem werden die Verwaltungsmitarbeitenden mit Kampagnen auf Chancen und Herausforderungen des Einsatzes von KI sensibilisiert. Zur Befähigung im Umgang mit KI stehen Lernangebote bereit, die unter anderem auch ethische Fragen einbeziehen (siehe hierzu auch Beantwortung der Frage 4). Zu Frage 4: Die KI-Studie geht sowohl auf rechtliche als auch auf ethische Fragen beim Einsatz von KI ein. Namentlich wird die Methode der ethischen Folgenabschätzung vorgestellt. Diese steht der Verwaltung bei KI-Vorhaben zur Verfügung. Bei der ethischen Folgenabschätzung stehen die

breit anerkannten und bewährten ethischen Prinzipien Schadensvermeidung, Gerechtigkeit/Fairness, Autonomie und Benefizienz als zu erreichende Ziele im Zentrum. Diese sollen mithilfe der instrumentellen Prinzipien Kontrolle, Transparenz und Rechenschaftspflicht erreicht werden (siehe KI-Studie, S. 66). Die ethischen Prinzipien, die – zu grösseren oder kleineren Teilen – auch vom Grundrechtsschutz erfasst sind, bieten sich für die ethische Folgenabschätzung als Methode an, um ethische Fragen für grundrechtsrelevante AES zu beurteilen. Mit der ethischen Folgenabschätzung werden nicht nur Probleme identifiziert und aufgezeigt, sondern es wird auch dokumentiert, wie mit ihnen umgegangen wurde (vgl. auch Berichterstattung zum Postulat KR-Nr. 323/2022, S. 5; siehe auch Beantwortung der Frage 2). Zu Frage 5: Digitalisierung und Automatisierung sind Treiber eines Strukturwandels, der sich künftig auch stark auf den Zürcher Arbeitsmarkt auswirken dürfte (vgl. Bericht der Arbeitsmarktbeobachtung AMOSA «Arbeitsmarkt 2040 – Herausforderungen für den Arbeitsmarkt im Kanton Zürich» im Auftrag des Amtes für Jugend und Berufsberatung, S. 5 [siehe final1.pdf]). Erkenntnisse aus der Arbeitsmarktbeobachtung bieten eine gute Grundlage, damit die Angebote für Erwachsene in den Berufsinformationszentren gezielt weiterentwickelt und der Bevölkerung passende Angebote und Beratungsformate bereitgestellt werden können. Eine enge Zusammenarbeit zwischen Verwaltung, Bildungsinstitutionen und Wirtschaft ist essenziell, um sicherzustellen, dass die Aus- und Weiterbildungsangebote den tatsächlichen Anforderungen des Arbeitsmarkts gerecht werden.

Der Digital Learning Hub Sek II (DLH Sek II) bietet Lehrpersonen die Möglichkeit, sich über ihre digitale Berufspraxis auszutauschen. Seit dem Einzug der KI in den Schulalltag ist dieses Thema eines der wichtigsten Tätigkeitsfelder des DLH Sek II. Lehrpersonen finden im DLH Sek II einen niederschwelligen Zugang zu Ressourcen und Ansprechpartnerinnen und -partnern, die sie bei der Weiterentwicklung ihrer beruflichen Praxis unterstützen (dlh.zh.ch/home/genki). Zu Frage 6: Eine eigenständige Regulierungsbehörde oder Aufsichtskommission spezifisch für KI ist derzeit nicht vorgesehen. Die bestehenden Gremien- und Aufsichtsstrukturen zeigen sich bisher für den Themenbereich des Einsatzes von KI als ausreichend. Zu Frage 7: Der Kanton Zürich unterstützt die Forschung und Entwicklung im Bereich der KI direkt und indirekt. Zum einen finanziert er die Forschung und Entwicklung im Bereich der KI indirekt im Rahmen der jährlichen Globalbudgets zugunsten seiner Hochschulen. Zum anderen unterstützt er verschiedene Förderprogramme und Initiativen. So bestehen verschiedene Projekte zu KI, die im Rahmen der Digitalisierungsinitiative der Zürcher Hochschulen durchgeführt werden. Die Unterstützung erfolgt mittels Kooperationen mit Hochschulen und Forschungseinrichtungen sowie mittels Bereitstellung von finanziellen Mitteln für innovative Projekte. Ein konkretes Beispiel ist die «Innovation Sandbox», ein Programm, das darauf abzielt, ethische und nachhaltige KI-Entwicklung zu fördern. In dieser Sandbox können Unternehmen und Forschungseinrichtungen neue KI-Technologien in einem kontrollierten Umfeld testen und weiterentwickeln, wobei ethische und rechtliche Rahmenbedingungen berücksichtigt werden. Zum Beispiel befasste sich die Sandbox mit der Implementierung von KI-Anwendungen im Bildungsbereich und stellt hierzu einen Überblick über die rechtlichen Best Practices zur Verfügung. Solche Ergebnisse stehen nicht nur der Verwaltung und den involvierten Partnerinnen und Partnern zur Verfügung, sondern werden auch der breiten Allgemeinheit zugänglich gemacht. Weiter ist darauf hinzuweisen, dass das Digital Service Center Sek II in Zusammenarbeit mit dem DLH Sek II am 20. August 2024 ein Projekt zur Einführung von generativen KI-Systemen in der Sek II startete.

Ziel des Projektes ist es, den Schulen rechtliche, technische und pädagogische Unterstützung zu bieten sowie datenschutzkonforme KI-Systeme zur Verfügung zu stellen. Dabei konzentriert sich das Projekt auf die Einführung von KI-Systemen zur Unterstützung von Lernprozessen und nicht auf schuladministrative Aspekte. Weitere Information zum erwähnten Projekt sowie zur Nutzung von KI auf Sekundarstufe II sind abrufbar unter help.mba.zh.ch/projekt-genki.

II. Mitteilung an die Mitglieder des Kantonsrates und des Regierungsrates sowie an die Staatskanzlei.

Vor dem Regierungsrat Die Staatsschreiberin: Kathrin Arioli