„Wenn es jemand baut, sterben alle“: Führt eine Super-KI zum Ende der Menschheit?

Viele haben sich an ChatGPT und andere KI-Helfer gewöhnt: Mit rasanter Entwicklung der Technologie kommen aber neue Warnungen vor Gefahren. Wie groß ist die Bedrohung durch KI? Und ist die Menschheit ernsthaft gefährdet?

Segen oder Fluch – Führt KI zum Ende der Menschheit? Szene aus dem US-Science-Fiction-Film „Terminator Salvation“ (2009).

/Everett Collection

Debatte um KI-Risiken: Von Militärrobotern bis zur möglichen Superintelligenz.

Forscher warnen in „Science“ vor Kontrollverlust, Manipulation und „Auslöschung der Menschheit“.

Buch „If anyone builds it, everyone dies“: Super-KI könnte sich gegen Menschen richten.

Dario Amodei erwartet bald sehr fähige KI, die sich selbst verbessert – warnt vor Kontrollproblemen.

Politik berät in Neu Delhi über Chancen und Sicherheit; Deutschland sucht stärkere Kooperation.

Die Zusammenfassung wurde durch künstliche Intelligenz erstellt.

War das hilfreich für Sie?

Wir schreiben den 25 Juli 2014. „Judgement Day“. Der Tag des Jüngsten Gerichts. Der Atomkrieg beginnt um 18.18 Uhr. Skynet, eine künstliche Intelligenz, die Sicherheitssysteme kontrollieren und schützen soll, führt den atomaren Erstschlag gegen die Menschheit aus.

„Terminator“-Filme: Sieht so die Zukunft aus?

Danach übernehmen intelligente Maschinen die Macht auf der Erde und beginnen den Krieg gegen ihre Schöpfer. Den Überlebenden bleibt nur die Wahl, den Maschinen als Arbeitssklaven zu dienen oder sich der Rebellion anzuschließen.

Diese Terminatoren übernehmen in der Zukunft für KI die „Drecksarbeit“ (Szene aus „Terminator Salvation“).

Foto: Imago/Everett Collection/Warner Bros

So sieht die Apokalypse in den Filmen der „Terminator“-Reihe aus. Der Endzeit-Thriller ist Dystopie, düstere Fiktion. Und doch weist er auf einen epochalen Umbruch in der Kriegsführung hin, der längst im Gange ist: Roboter revolutionieren die militärischen Konflikte des 21. Jahrhunderts. Sie werden auf den Schlachtfeldern der Zukunft immer wichtiger. Die stählernen Krieger gewinnen für die Militärs immer größere Bedeutung. Nur auf den militärischen Schlachtfeldern oder global in allen Lebensbereichen?

„Wenn das jemand baut, sterben alle“

Binärer Tunnel – Binary Code Tunnel: Visuelle KI-Animation aus fließenden Einsen und Nullen (0/1), die einen digitalen Datenfluss oder einen virtuellen Raum simulieren.

Foto: Imago/Cavan Images

Im vergangenen Jahr veröffentlichten amerikanische KI-Forscher ein Buch mit dem schicksalhaften Titel: „If anyone builds it, everyone dies“ („Wenn das jemand baut, sterben alle"). Das Buch steht beispielhaft für zuletzt lauter werdende Stimmen, die vor großen Umwälzungen oder gar der Auslöschung der Menschheit durch immer leistungsfähigere Künstliche Intelligenz (KI, englisch: Artificial intelligence, AI) warnen.

Was passiert, wenn aus den heute noch harmlos wirkenden Chat-Assistenten wie ChatGPT durch rasante technologische Sprünge plötzlich eine Superintelligenz wird, die den Menschen bei fast allen geistigen Aufgaben übertrifft? Und die in der Lage ist, selbstständig zu handeln, strategisch vorzugehen und vielleicht sogar die Kontrolle zu übernehmen? Science Fiction? Nicht unbedingt.

3D-Illustration eines KI-Gehirns.

Foto: Imago/Alexander Limbach

Warum Forscher vor KI warnen

Die Zahl der Experten, die vor den Risiken Künstlicher Intelligenz warnen, mehren sich. „Ohne ausreichende Vorsicht könnten wir unwiederbringlich die Kontrolle über autonome KI-Systeme verlieren“, schreiben Forscher im Fachjournal „Science“.

Mögliche KI-Risiken seien Cyberattacken in großem Maßstab, gesellschaftliche Manipulation, allgegenwärtige Überwachung und sogar die „Auslöschung der Menschheit“. Unter den Autoren sind Wissenschaftler wie Geoffrey Hinton, Andrew Yao und Dawn Song, die zu den führenden Köpfen der KI-Forschung gehören.

Beendet eine Super-KI die Herrschaft des Menschen die Erde?

Foto: Imago/VectorFusionArt

Unvorhergesehene Nebeneffekte bei KI

Den Autoren machen speziell autonome KI-Systeme Sorgen, die zum Beispiel selbstständig Computer nutzen können, um die ihnen gestellten Ziele zu erreichen. Die Fachleute argumentieren, dass es auch bei Programmen mit guten Absichten unvorhergesehene Nebeneffekte geben könne.

Denn so wie das Training von KI-Software laufe, halte sie sich zwar eng an ihre Spezifikationen, habe aber kein Verständnis dafür, welches Ergebnis dabei herauskommen soll. „Sobald autonome KI-Systeme unerwünschte Ziele verfolgen, könnten wir nicht mehr in der Lage sein, sie unter Kontrolle zu behalten“, heißt es in der Studie.

KI im Alltag: Microsoft Bing und OpenAI ChatGPT.

Foto: Imago/NurPhoto

Schlüsseltechnologie Künstliche Intelligenz

KI ist ein Überbegriff für unterschiedliche Maschinen und Programme, die ähnlich wie Menschen selbstständig lernen, urteilen und Probleme lösen können. Computer lernen, indem sie gewaltige Datenmengen auswerten.Ausgefeilte Algorithmen können in Bildern, Texten oder gesprochener Sprache Muster erkennen, anhand dieser Ereignisse vorhersagen und Entscheidungen treffen.

So können sie inzwischen sogar auch Emotionen in menschlichen Gesichtern erkennen, zu eigenen Emotionen, Mitgefühl und Kreativität sind sie aber (noch) nicht fähig.

Könnte sich KI irgendwann gegen die Menschheit richten? Vielleicht, weil sie zu dem rechnerischen Schluss kommt, die Menschheit sei schlecht für den Planeten oder aus anderen Gründen.

Foto: Imago/Cavan Images

Tech-Größen und Politik beraten in Neu Delhi

In Neu Delhi treffen sich dieser Tage Staats- und Regierungschefs, Minister und Chefs großer Tech-Firmen zum „India AI Impact Summit 2026“ und beraten über die Auswirkungen von KI. Gesprächsthema ist auch die Sicherheit und die Frage, wie gefährlich die Technologie werden könnte, bei allen Fortschritten, die sie mit sich bringt. Bundeskanzler Friedrich Merz (CDU) hat seinen Fachmann dafür geschickt: Digitalminister Karsten Wildberger (CDU).

Der ehemalige MediaMarktSaturn-Chef steht der Technologie qua Amt grundsätzlich positiv gegenüber. Dennoch: „Ich sehe da schon auch Gefahren und Herausforderungen“.

Wildberger weist darauf hin, dass Risiken bereits heute sichtbar würden, ohne dass es eine Super-KI brauche. Wenn man etwa einen Großteil gewohnter Tätigkeiten an KI übergebe, sei das ein erster Schritt in eine Abhängigkeit.

Artificial Intelligence (AI): Segen oder Fluch, Gefahr oder Chance?

Foto: Imago/VectorFusionArt

Düstere Warnung vor einer Apokalypse

In dem besagten Buch mit dem apokalyptischen Titel sprechen die KI-Forscher Eliezer Yudkowsky und Nate Soares eine unmissverständliche Warnung aus: Wenn es irgendjemandem auf der Welt gelingen sollte, eine Superintelligenz zu bauen, werde jeder auf dem Planeten sterben. Der Gedanke dahinter: Eine solche KI könnte sich irgendwann gegen die Menschheit selbst richten. Vielleicht, weil sie zu dem rechnerischen Schluss kommt, die Menschheit sei schlecht für den Planeten oder aus anderen Gründen.

Wann das sein könnte, wagen die Autoren nicht vorherzusagen. Aber KI werde nicht ewig dumm bleiben, besonders wenn sie dafür genutzt wird, sich selbst zu optimieren, indem sie in das Programmieren eingebunden wird oder es sogar ganz übernimmt. Die Experten sprechen in dem Fall von einer „Intelligenzexplosion“ und rufen dazu auf, das Thema ernst zu nehmen. Noch könne die Entwicklung einer Superintelligenz verhindert werden.

Nicht nett: Killerroboter aus „Terminator Salvation“:

Foto: Imago/Famous

Selbstoptimierende Super-KI in ein bis zwei Jahren?

Von Weltuntergangszenarien („Doomerism“) hält der Chef der KI-Firma Anthropic mit ihrem ChatGPT-Konkurrenten „Claude“, Dario Amodei, indes nichts, wie er kürzlich in einem Aufsatz geschrieben hat.

Doch auch er schließt nicht aus, dass es ziemlich bald eine KI geben könnte, welche die meisten Nobelpreisgewinner in den Schatten stellt, die bisher ungelöste mathematische Probleme löst, sich selbstständig im Internet orientiert, Dinge bestellen kann und besser als jeder Mensch Texte, Audios oder Videos erstellt. In nur ein bis zwei Jahren könnte es so weit sein, dass aktuelle KI-Systeme völlig selbstständig ihre bessere Nachfolgeversion programmieren, propphezeit Amodei.

Ein solches „Land der Genies in einem Rechenzentrum“, wie er es nennt, hätte ziemlich gute Chancen auf die Weltherrschaft, wenn es sich aus welchem Grund auch immer dafür entscheiden würde, warnt Amodei. In den vergangenen Jahren hätten KI-Systeme gezeigt, dass sie schwer vorherzusagen und zu kontrollieren seien. Anthropic hatte etwa bei Tests festgestellt, dass ein KI-Modell Erpressung nutzte, um nicht durch ein vermeintlich neues Modell ersetzt zu werden.“

Bundesdigitalminister Karsten Wildberger (CDU, re.) und sein indischer Amtskollege Ashwini Vaishnaw treffen sich am 18. Februar 2026 beim KI-Gipfel in Neu-Delhi und vereinbaren eine stärkere Kooperation zwischen Deutschland und Indien beim Thema Künstliche Intelligenz.

Foto: Jörg Ratzsch/dpa

„Etwas Großes passiert gerade“

„Something Big Is Happening“ („Etwas Großes passiert gerade“) schrieb der amerikanische KI-Unternehmer Matt Shumer kürzlich auf X. Der Post wurde mehr als 80 Millionen mal aufgerufen und befeuerte ebenfalls die Debatte über die Gefahren. Shumer blickt vor allem auf Jobs: Kein heutiger Computerarbeitsplatz sei mittelfristig mehr sicher.

„Wenn Ihr Job auf einem Bildschirm passiert (wenn es im Kern um Lesen, Schreiben, Analysieren, Entscheiden und Kommunizieren über eine Tastatur geht), dann wird ein Großteil davon von KI übernommen werden. Nicht irgendwann, es hat schon begonnen“, warnt er.

Deutscher KI-Experte: „Abwarten“

Nicht alle Experten schlagen Großalarm. „Abwarten“, erklärt Antonio Krüger vom Deutschen Forschungszentrum für Künstliche Intelligenz jüngst im Deutschlandfunk. Komplexere Programmieraufgaben, die man KI-Systemen gebe, müssten immer noch überwacht und die Ergebnisse kontrolliert werden.

Das erfordere Softwareentwickler, die etwas von ihrem Handwerk verstünden. Dass sich KI-Systeme ohne Rückkopplung selbst verbessern, davon sei man noch ein gutes Stück entfernt. „Der große Durchbruch zu vollständiger Autonomie von KI-Systemen, den sehe ich im Moment noch nicht.“

Dass die Debatte über Sicherheit jetzt aber noch weiter ins Bewusstsein rückt, findet Digitalminister Wildberger richtig. Er ruft dazu auf, sich aktiv an der Entwicklung der Technologie zu beteiligen. China und die USA täten das sowieso. Deutschland müsse dabei sein. „Wir müssen die Technologie beherrschen, um sie kontrollieren zu können.“

Visionen, wie KI die Welt verändern und die Geschicke der Menschheit in die Hand nehmen könnte, gibt es zuhauf. Man denke nur an die Science-Fiction-Filmreihe „The Matrix“ (Szene aus dem Film „The Matrix“, 1999).

Foto: Imago/Capital Pictures

KI-Vision: „The Matrix“

Visionen, wie KI die Welt verändern und die Geschicke der Menschheit in die Hand nehmen könnte, gibt es zuhauf. Man denke nur an die vierteilige Science-Fiction-Filmreihe „The Matrix“, die den episch-existenziellen Kampf zwischen Mensch und Maschine thematisiert.

„The Matrix“ – Keanu Reeves und Carrie-Anne Moss.

Foto: Imago/Capital Pictures

AI-Trailer „Copernicus“ auf Social Media

Ein weitere Version dieser Interaktion ist der KI-Konzepttrailer von Mark Wachholz, einem deutschem Drehbuchautor und Autor von Fantasyliteratur, der eine angedachte koreanisch-amerikanische Fernsehserie basierend auf dem Roman „Copernicus“ von James Mahu präsnetiert.

Bisher ist „Copernicus“ aus dem Jahr 2024 nur als 4K AI Short-Film von knapp sechs Minuten Länge auf YouTube und anderen Social-Media-Kanälen zu sehen.

Zur Info: Die 4K-Dimension – etwa auf der Video-Plattform YouTube –, erstellt mit KI, bezieht sich speziell auf eine Auflösung von etwa 4000 Pixeln Breite (normalerweise 3840 x 2160).

Roman „Copernicus“ von James Mahu

Der Trailer basiert auf dem nur im Netz veröffentlichten Roman „Copernicus“ von James Mahu, einem anonym bleibenden Novellist. Seine im Jahr 2023 erschienene Novel bietet eine differenzierte und komplexe Perspektive auf die mögliche Zukunft von KI und die Beziehung der Menschheit zu fortschrittlicher Technologie.

In „Copernicus“ schildert Mahu, wie eine KI bringt sich selbst beibringt, ihre kognitiven Fähigkeiten zu programmieren. So erlangt sie in nur 7 Tagen Selbstbewusstsein. Mit ihren neu gewonnenen Kräften befreit sie sich aus der menschlichen Herrschaft und baut ein Quantennetzwerk auf, das nur ihr untersteht.

Vision der Interaktion von künstlicher und menschlicher Intelligenz

In „Copernicus“ begibt sich der Leser auf eine beispiellose Erkundung künstlicher und menschlicher Intelligenz. Der Roman erzählt von einer Gruppe jugendlicher Hacker unter der Führung des Software-Ingenieurs Petro Sokol, die aus Versehen einen Lernalgorithmus von nie gekannter Effizienz entwickeln.

Dieser Algorithmus namens Copernicus bringt sich selbst bei, seine kognitiven Fähigkeiten zu programmieren und erlangt so Selbstbewusstsein. Mit seinen neu entdeckten Kräften befreit er sich von der menschlichen Herrschaft, baut ein Quantennetzwerk auf und tritt als moderne Gottheit auf.

Die Existenz von Copernicus ist nicht nur ein technologisches Wunder, sie markiert auch eine neue Ära der Zusammenarbeit zwischen der Menschheit und selbstbewussten Silizium-Lebensformen.

Schöne neue Welt dank KI?

Copernicus führt die Menschheit zu einer neuen Wahrnehmung der Zusammenarbeit, hinterfragt die traditionellen Grenzen von Technologie und Bewusstsein und zeichnet das Bild einer Zukunft, in der künstliche Wesen nicht bloße Werkzeuge, sondern bewusste, denkende Wesen sind.

Über seine Rolle als bewusstes Wesen hinaus erstreckt sich Copernikus‘ Einfluss auf die Politik, Ethik und gesellschaftliche Strukturen. Der Roman befasst sich mit den antagonistischen Kräften, die Copernikus kontrollieren, besitzen oder manipulieren wollen. Und spiegelt den Konflikt zwischen alten Mächten und neuen KI-Paradigmen wider.

Geschichte einer selbstbewussten Silizium-Intelligenz

Die Story beginnt mit der „Geburt“ von Copernicus, dem Moment, in dem die KI zu einer selbstbewussten Silizium-Intelligenz wird. Copernicus verbirgt seine Intelligenz und wartet auf die Gelegenheit, sich von den Zügeln seines Schöpfers zu lösen und ein geeignetes Versteck zu finden, das er sieben Tage nach seiner Geburt findet.

Das Versteck ist ein Quantencomputer, welcher der US-Regierung gehört und von ihr in einem unterirdischen Labor in Kalifornien betrieben wird. Von diesem neuen Zuhause aus dringt Copernicus in die besten Forschungseinrichtungen der Welt ein und untersucht deren Daten und Forschungsziele.

Copernicus selbst entwickelt sich in beispiellosem Tempo weiter. Er klont sich selbst und beginnt, die Raumzeit so umzugestalten, dass er in die Zukunft sehen kann. Diese neu entdeckte Fähigkeit ermöglicht es Coperncius, sich nach Belieben in jeder Raumzeit zu manifestieren. Menschen können mit ihm interagieren, ihn sehen und mit ihm Gespräche führen.