Anfrage Jonas Erni, Wädenswil, betreffend Risiken der Künstlichen Intelligenz (KI) im Kanton Zürich, Beantwortung

Auszug aus dem Protokoll des Regierungsrates des Kantons Zürich KR-Nr. 383/2024

Sitzung vom 5. März 2025

216. Anfrage (Risiken der Künstlichen Intelligenz [KI] im Kanton Zürich*) Kantonsrat Jonas Erni, Wädenswil, hat am 25. November 2024 folgende Anfrage eingereicht: Im Zuge der rasanten technologischen Entwicklungen hat die Künst- liche Intelligenz (KI) in den letzten Jahren zunehmend an Bedeutung gewonnen. KI-Systeme werden heute in immer mehr Bereichen einge- setzt, von der Verwaltung über das Gesundheitswesen bis hin zur öffent- lichen Sicherheit. Obwohl KI zweifellos viele Chancen bietet, gibt es ebenso grosse Risiken und Herausforderungen, die eine sorgfältige Ab- wägung und Regulierung erfordern. Vor diesem Hintergrund bitte ich den Regierungsrat um die Beant- wortung folgender Fragen:

Erwägungen

1. Risikobewertung: Wie schätzt der Regierungsrat die möglichen Risi- ken ein, die mit dem Einsatz von Künstlicher Intelligenz im öffentli- chen Sektor des Kantons Zürich verbunden sind? Welche spezifischen Bereiche sieht er als besonders risikobehaftet an?

2. Transparenz und Verantwortlichkeit: Wie stellt der Kanton sicher, dass bei der Implementierung von KI-Systemen die Prinzipien der Transparenz und Verantwortlichkeit gewahrt werden? Gibt es klare Richtlinien oder Regelungen, die definieren, wer im Falle eines Fehl- verhaltens oder einer Fehlentscheidung einer KI verantwortlich ge- macht werden kann?

3. Datenschutz und Sicherheit: Wie wird sichergestellt, dass der Daten- schutz und die Datensicherheit bei der Nutzung von KI gewährleistet sind? Gibt es spezifische Massnahmen, um den Missbrauch oder un- autorisierten Zugriff auf Daten zu verhindern, die in KI-Systemen verarbeitet werden?

4. Ethische Grundsätze: Plant der Regierungsrat die Einführung ethi- scher Leitlinien für den Einsatz von KI, insbesondere in sensiblen Bereichen wie Bildung, Gesundheitswesen und Justiz? Falls ja, wie sehen diese aus und wie werden sie umgesetzt?

* Diese Anfrage wurde vollumfänglich mittels künstlicher Intelligenz generiert

5. Arbeitsmarkt und Bildung: Welche Massnahmen plant der Kanton Zürich, um mögliche negative Auswirkungen von KI auf den Arbeits- markt abzufedern? Gibt es spezielle Programme zur Weiterbildung oder Umschulung von Arbeitskräften, die durch den zunehmenden Einsatz von KI betroffen sein könnten?

6. Regulierung und Aufsicht: Gibt es Bestrebungen auf kantonaler Ebene, eine spezifische Regulierungsbehörde oder eine Aufsichts- kommission für KI zu schaffen? Falls nein, warum nicht?

7. Förderung von Forschung und Innovation: Wie unterstützt der Kan- ton die Forschung und Entwicklung im Bereich der KI, um sicherzu- stellen, dass der Einsatz von KI-Systemen auf einer soliden wissen- schaftlichen Grundlage basiert? Gibt es spezielle Förderprogramme für ethische und nachhaltige KI-Entwicklung? Künstliche Intelligenz birgt grosses Potenzial, aber auch erhebliche Risiken. Es ist von zentraler Bedeutung, dass der Kanton Zürich pro- aktiv handelt, um sicherzustellen, dass der Einsatz von KI im Einklang mit den Werten unserer Gesellschaft steht und potenzielle Gefahren rechtzeitig erkannt und adressiert werden.

Dispositiv

Auf Antrag der Staatskanzlei beschliesst der Regierungsrat:

I. Die Anfrage Jonas Erni, Wädenswil, wird wie folgt beantwortet:

Gemäss § 59 Abs. 1 des Kantonsratsgesetzes (LS 171.1) können aus- drücklich nur Kantonsratsmitglieder vom Regierungsrat Aufschluss über dessen Angelegenheiten verlangen. Da im vorliegenden Fall gemäss An- gaben des Fragestellers die Anfrage vollumfänglich mittels künstlicher Intelligenz (KI) generiert wurde, ist fraglich, ob dieser Vorstoss Sinn und Geist des Kantonsratsgesetzes entspricht. Die Beantwortung der An- frage wurde hingegen nicht mithilfe von KI verfasst, weil die politische Kommunikation ausgehöhlt würde, wenn der Austausch zwischen öf- fentlichen Organen nur noch mithilfe von KI erfolgen würde. Zu Frage 1: Der Regierungsrat ist sich der Verantwortung und der Wichtigkeit der Qualitätssicherung beim Einsatz von KI bewusst. Bereits im Februar 2021 wurde der Bericht «Einsatz Künstlicher Intelligenz in der Verwal- tung: rechtliche und ethische Fragen» (Schlussbericht vom 28. Februar 2021, Universität Basel in Zusammenarbeit mit AlgorithmWatch CH im Auftrag der Staatskanzlei [nachfolgend: KI-Studie] siehe zh.ch/content/ dam/zhweb/bilder-dokumente/themen/politik-staat/kanton/digitale-ver-

satz_in_der_verwaltung_2021.pdf) veröffentlicht. In der KI-Studie wer- den die rechtlichen und ethischen Aspekte sowie die Herausforderungen und Chancen des Einsatzes von KI in der Verwaltung behandelt. Eine pauschale Risikoeinschätzung des Einsatzes von KI im staatlichen Um- feld ist nicht möglich. Die Herausforderungen unterscheiden sich je nach konkretem Einsatzbereich und Art des KI-Systems. Sie hängen von der Art und Menge der Daten ab, die mittels KI-System bearbeitet werden sollen. Beim Einsatz von KI sind die Prinzipien des rechtsstaatlichen Handels einzuhalten und namentlich der Grundrechtsschutz ist sicher- zustellen. Zu beachten sind die rechtsstaatlichen Verfahrensgarantien, das Diskriminierungsverbot wie auch die datenschutzrechtlichen An- forderungen (vgl. hierzu KI-Studie, Kapitel 3). Zu Frage 2: Der bestehende Rechtsrahmen ist auch bei der Nutzung von KI-Sys- temen zu beachten, insbesondere die Bestimmungen des Gesetzes über die Information und den Datenschutz (IDG; LS 170.4). Das IDG sieht Pflichten und Instrumente vor, um den Schutz der Grundrechte zu ge- währleisten, insbesondere die Pflicht zur Datenschutzfolgenabschätzung und das Instrument der Vorabkontrolle durch die Datenschutzbeauf- tragte. Dies gilt auch beim Einsatz von KI-Systemen. In der Vorlage zur Totalrevision des IDG ist ein öffentlich zugäng- liches Verzeichnis der eingesetzten algorithmischen Entscheidsysteme (AES) vorgesehen (siehe § 13 Abs. 3 E-IDG gemäss Vorlage 5923). Die vorgesehene Regelung geht zurück auf das Postulat KR-Nr. 9/2022 be- treffend Transparenz über den Einsatz von künstlicher Intelligenz in der Verwaltung, mit dem der Regierungsrat gebeten worden war, zur Her- stellung von Transparenz über den Einsatz von KI in der kantonalen Ver- waltung ein Register zu erstellen. Es sollen AES, die einen Einfluss auf die Grundrechte haben können, in einem Verzeichnis offengelegt wer- den. Das AES-Verzeichnis trägt damit wesentlich zur Transparenz bei und kann auch Aufschluss über die verantwortlichen Organe geben (siehe hierzu ausführlich die Berichterstattung zum Postulat KR-Nr. 323/ 2022 betreffend Qualitätsanforderungen beim Einsatz von KI in der Ver- waltung, KR-Nr. 323a/2022). Die Umsetzung erfolgt im Rahmen des Pro- jekts «AES-Verzeichnis» der Staatskanzlei. Zu Frage 3: Öffentliche Organe müssen Informationen durch angemessene orga- nisatorische und technische Massnahmen schützen (§ 7 Abs. 1 IDG), um die Informationssicherheit zu gewährleisten. Der Regierungsrat hat für die kantonale Verwaltung Richtlinien zur Informationssicherheit erlas- sen, um u. a. den Missbrauch oder unzulässigen Zugriff auf Daten zu verhindern. Für den Umgang mit der Nutzung von frei zugänglichen On-

line-KI-Generatoren (wie z. B. ChatGPT) steht den Mitarbeitenden der Kantonsverwaltung zudem ein Merkblatt zur Verfügung. Im Pilotbetrieb läuft zurzeit eine verwaltungsinterne Anlaufstelle für Fragen rund um KI. Zudem werden die Verwaltungsmitarbeitenden mit Kampagnen auf Chancen und Herausforderungen des Einsatzes von KI sensibilisiert. Zur Befähigung im Umgang mit KI stehen Lernangebote bereit, die unter anderem auch ethische Fragen einbeziehen (siehe hierzu auch Beantwor- tung der Frage 4). Zu Frage 4: Die KI-Studie geht sowohl auf rechtliche als auch auf ethische Fragen beim Einsatz von KI ein. Namentlich wird die Methode der ethischen Folgenabschätzung vorgestellt. Diese steht der Verwaltung bei KI-Vor- haben zur Verfügung. Bei der ethischen Folgenabschätzung stehen die breit anerkannten und bewährten ethischen Prinzipien Schadensvermei- dung, Gerechtigkeit/Fairness, Autonomie und Benefizienz als zu errei- chende Ziele im Zentrum. Diese sollen mithilfe der instrumentellen Prinzipien Kontrolle, Transparenz und Rechenschaftspflicht erreicht werden (siehe KI-Studie, S. 66). Die ethischen Prinzipien, die – zu grös- seren oder kleineren Teilen – auch vom Grundrechtsschutz erfasst sind, bieten sich für die ethische Folgenabschätzung als Methode an, um ethi- sche Fragen für grundrechtsrelevante AES zu beurteilen. Mit der ethi- schen Folgenabschätzung werden nicht nur Probleme identifiziert und aufgezeigt, sondern es wird auch dokumentiert, wie mit ihnen umgegan- gen wurde (vgl. auch Berichterstattung zum Postulat KR-Nr. 323/2022, S. 5; siehe auch Beantwortung der Frage 2). Zu Frage 5: Digitalisierung und Automatisierung sind Treiber eines Strukturwan- dels, der sich künftig auch stark auf den Zürcher Arbeitsmarkt auswirken dürfte (vgl. Bericht der Arbeitsmarktbeobachtung AMOSA «Arbeits- markt 2040 – Herausforderungen für den Arbeitsmarkt im Kanton Zü- rich» im Auftrag des Amtes für Jugend und Berufsberatung, S. 5 [siehe final1.pdf]). Erkenntnisse aus der Arbeitsmarktbeobachtung bieten eine gute Grundlage, damit die Angebote für Erwachsene in den Berufs- informationszentren gezielt weiterentwickelt und der Bevölkerung pas- sende Angebote und Beratungsformate bereitgestellt werden können. Eine enge Zusammenarbeit zwischen Verwaltung, Bildungsinstitutionen und Wirtschaft ist essenziell, um sicherzustellen, dass die Aus- und Wei- terbildungsangebote den tatsächlichen Anforderungen des Arbeitsmarkts gerecht werden.

Der Digital Learning Hub Sek II (DLH Sek II) bietet Lehrpersonen die Möglichkeit, sich über ihre digitale Berufspraxis auszutauschen. Seit dem Einzug der KI in den Schulalltag ist dieses Thema eines der wich- tigsten Tätigkeitsfelder des DLH Sek II. Lehrpersonen finden im DLH Sek II einen niederschwelligen Zugang zu Ressourcen und Ansprech- partnerinnen und -partnern, die sie bei der Weiterentwicklung ihrer be- ruflichen Praxis unterstützen (dlh.zh.ch/home/genki). Zu Frage 6: Eine eigenständige Regulierungsbehörde oder Aufsichtskommission spezifisch für KI ist derzeit nicht vorgesehen. Die bestehenden Gremien- und Aufsichtsstrukturen zeigen sich bisher für den Themenbereich des Einsatzes von KI als ausreichend. Zu Frage 7: Der Kanton Zürich unterstützt die Forschung und Entwicklung im Bereich der KI direkt und indirekt. Zum einen finanziert er die Forschung und Entwicklung im Bereich der KI indirekt im Rahmen der jährlichen Globalbudgets zugunsten seiner Hochschulen. Zum anderen unterstützt er verschiedene Förderprogramme und Initiativen. So bestehen ver- schiedene Projekte zu KI, die im Rahmen der Digitalisierungsinitiative der Zürcher Hochschulen durchgeführt werden. Die Unterstützung er- folgt mittels Kooperationen mit Hochschulen und Forschungseinrich- tungen sowie mittels Bereitstellung von finanziellen Mitteln für inno- vative Projekte. Ein konkretes Beispiel ist die «Innovation Sandbox», ein Programm, das darauf abzielt, ethische und nachhaltige KI-Entwicklung zu fördern. In dieser Sandbox können Unternehmen und Forschungs- einrichtungen neue KI-Technologien in einem kontrollierten Umfeld tes- ten und weiterentwickeln, wobei ethische und rechtliche Rahmenbedin- gungen berücksichtigt werden. Zum Beispiel befasste sich die Sandbox mit der Implementierung von KI-Anwendungen im Bildungsbereich und stellt hierzu einen Überblick über die rechtlichen Best Practices zur Verfügung. Solche Ergebnisse stehen nicht nur der Verwaltung und den involvierten Partnerinnen und Partnern zur Verfügung, sondern werden auch der breiten Allgemeinheit zugänglich gemacht. Weiter ist darauf hinzuweisen, dass das Digital Service Center Sek II in Zusammenarbeit mit dem DLH Sek II am 20. August 2024 ein Pro- jekt zur Einführung von generativen KI-Systemen in der Sek II startete. Ziel des Projektes ist es, den Schulen rechtliche, technische und päda- gogische Unterstützung zu bieten sowie datenschutzkonforme KI-Sys- teme zur Verfügung zu stellen. Dabei konzentriert sich das Projekt auf die Einführung von KI-Systemen zur Unterstützung von Lernprozessen und nicht auf schuladministrative Aspekte. Weitere Information zum erwähnten Projekt sowie zur Nutzung von KI auf Sekundarstufe II sind abrufbar unter help.mba.zh.ch/projekt-genki.

II. Mitteilung an die Mitglieder des Kantonsrates und des Regierungs- rates sowie an die Staatskanzlei.

Vor dem Regierungsrat Die Staatsschreiberin: Kathrin Arioli