Elon Musks Unternehmen xAI sollte dafür zur Verantwortung gezogen werden, dass seine KI-Modelle missbräuchliche sexuelle Bilder identifizierbarer Minderjähriger produzieren, argumentierten drei anonyme Kläger in einer Klage, die am Montag beim kalifornischen Bundesgericht eingereicht wurde.

Die drei Kläger wollen eine Sammelklage gegen alle einreichen, deren reale Bilder von ihnen als Minderjährigen von Grok in sexuelle Inhalte umgewandelt wurden. Sie behaupten, dass xAI nicht die grundlegenden Vorsichtsmaßnahmen getroffen habe, die andere Grenzlabore anwenden, um zu verhindern, dass ihre Bildmodelle Pornografie produzieren, die echte Menschen und Minderjährige darstellt.

Der Fall Jane Doe 1, Jane Doe 2, eine Minderjährige, und Jane Doe 3, eine Minderjährige gegen x.AI Corp. und x.AI LLC, wurde beim US-Bezirksgericht des California Northern District eingereicht.

Andere Deep-Learning-Bildgeneratoren nutzen verschiedene Techniken, um die Erstellung von Kinderpornografie aus normalen Fotos zu verhindern. In der Klage wird behauptet, dass diese Standards von xAI nicht übernommen wurden.

Insbesondere wenn ein Model die Generierung von Nackt- oder Erotikinhalten aus echten Bildern zulässt, ist es praktisch unmöglich zu verhindern, dass es sexuelle Inhalte mit Kindern erstellt. Musks öffentliche Werbung für Groks Fähigkeit, sexuelle Bilder zu produzieren und echte Menschen in knappen Outfits darzustellen, kommt in dem Anzug deutlich zum Ausdruck.

Das Unternehmen reagierte nicht auf eine Bitte um einen Kommentar von TechCrunch.

Eine Klägerin, Jane Doe 1, ließ Bilder von ihrer Highschool-Heimkehr und ihr Jahrbuch von Grok ändern, um sie unbekleidet darzustellen. Ein anonymer Tippgeber, der sie auf Instagram kontaktierte, teilte ihr mit, dass die Fotos online kursierten, und schickte ihr einen Link zu einem Discord-Server mit sexualisierten Bildern von ihr und anderen Minderjährigen, die sie aus der Schule kannte.

Techcrunch-Event

San Francisco, Kalifornien
|
13.–15. Oktober 2026

Eine zweite Klägerin, Jane Doe 2, wurde von Kriminalbeamten über veränderte, sexualisierte Bilder von ihr informiert, die von einer mobilen App eines Drittanbieters erstellt wurden, die auf Grok-Modellen basiert. Eine dritte Person, Jane Doe 3, wurde ebenfalls von Kriminalbeamten benachrichtigt, die auf dem Telefon einer von ihnen festgenommenen Person ein verändertes, pornografisches Bild von ihr entdeckten. Die Anwälte der Kläger sagen, dass das Unternehmen zur Verantwortung gezogen werden sollte, da für die Nutzung durch Dritte immer noch xAI-Code und Server erforderlich seien.

Alle drei Kläger, von denen zwei noch minderjährig sind, geben an, dass sie über die Verbreitung dieser Bilder äußerst beunruhigt seien und darüber, was dies für ihren Ruf und ihr soziales Leben bedeuten könnte. Sie fordern zivilrechtliche Sanktionen im Rahmen einer Reihe von Gesetzen, die zum Schutz ausgebeuteter Kinder und zur Verhinderung unternehmerischer Fahrlässigkeit dienen sollen.