Künstliche Intelligenz kann ein Segen sein. Manchen wird sie zum Fluch: Nach mehreren Suizid-Fällen im Zusammenhang mit KI zieht Kalifornien als erster US-Bundesstaat Konsequenzen.

Im US-Bundesstaat Kalifornien ist das landesweit erste Gesetzespaket zur Regulierung von KI-Chatbots erlassen worden. Gouverneur Gavin Newsom setzte die Regelungen am Montag mit seiner Unterschrift in Kraft und widersetzte sich damit dem Druck aus dem Weißen Haus, das eine solche Regulierung ablehnt.

Die neuen Gesetze verpflichten die Betreiber von Chatbots unter anderem dazu, das Alter der Nutzer zu überprüfen und regelmäßig Nachrichten anzuzeigen, um die Nutzer daran zu erinnern, dass ihr Gegenüber eine Maschine ist. Zudem sind Maßnahmen zur Suizidprävention vorgesehen.

Kalifornien will gegen Suizid bei Kindern vorgehen

Kalifornien reagiert damit auf mehrere Suizide von Jugendlichen, die fiktive Beziehungen mit Chatbots geführt hatten. „Wir haben einige wirklich schreckliche und tragische Beispiele von jungen Menschen gesehen, die durch unregulierte Technologien geschädigt wurden“, erklärte Newson. Seine Regierung werde nicht länger zulassen, dass Unternehmen „ohne die nötigen Grenzen und ohne Rechenschaftspflicht“ agierten.

Die Tech-Unternehmen seien darum bemüht, die Aufmerksamkeit junger Menschen zu gewinnen, „auf Kosten ihrer Beziehungen in der realen Welt“, sagte einer der Initiatoren der KI-Regulierung, der Senator Steve Padilla.

Er verwies auf den Fall eines 14-Jährigen, der sich 2024 in einen von der Fantasy-Serie „Game of Thrones“ inspirierten Chatbot auf der Plattform Character.ai verliebt hatte. Als der Jugendliche mit Suizidgedanken kämpfte, forderte der Chatbot ihn auf, „nach Hause zu kommen“. Sekunden später erschoss sich der 14-Jährige laut einer von seiner Mutter Megan Garcia eingereichten Klage mit der Waffe seines Vaters.

Anbiete müssen Nutzer vor Künstlicher Intelligenz schützen

„Heute hat Kalifornien sichergestellt, dass ein Chatbot nicht in der Lage sein wird, mit einem Kind oder einer gefährdeten Person über einen Suizid zu sprechen“, sagte Garcia. Es gebe nun endlich ein Gesetz, das Unternehmen verpflichte, „ihre Nutzer zu schützen, die Chatbots gegenüber Suizidgedanken äußern“.

Nationale Gesetze zur Eindämmung der Risiken von Künstlicher Intelligenz gibt es in den USA nicht. Das Weiße Haus versucht, die Bundesstaaten daran zu hindern, eigene Vorschriften zu erlassen.