Die Idee, Alignment-Forschung mithilfe von KI-Systemen zu beschleunigen, gewinnt in Fachkreisen zunehmend an Gewicht. Das Prinzip ist einfach formuliert, aber schwer umzusetzen: Statt dass Menschen mühsam prüfen, ob ein Modell die gewünschten Werte und Verhaltensweisen korrekt verinnerlicht hat, sollen KI-Systeme dabei helfen, eben diese Prüfprozesse selbst zu übernehmen oder zumindest zu unterstützen.
KI-generierte Fälschungen von Audio, Video und Text haben eine Qualität erreicht, die selbst geschulte Fachkräfte vor ernsthafte Erkennungsprobleme stellt. Für Unternehmen entstehen dadurch konkrete Risiken – von manipulierten CEO-Statements bis hin zu gefälschten Kundenanfragen und Lieferantenkorrespondenz. Die technische Einstiegshürde für solche Angriffe sinkt dabei kontinuierlich.
Wer KI-Systeme produktiv einsetzt, öffnet potenziell auch neue Angriffsvektoren. Prompt-Injection-Attacken zählen zu den ernsthafteren Sicherheitsrisiken beim Einsatz von Large Language Models – und werden in der betrieblichen Praxis noch immer häufig unterschätzt.
Anthropic hat ein KI-System namens Mythos entwickelt, das eigenständig Sicherheitslücken in Software aufspüren und ausnutzen kann. Das Tool markiert einen Schritt in der Automatisierung von Cybersicherheitsaufgaben – wirft aber zugleich grundlegende Fragen zur Kontrolle und zum möglichen Missbrauch solcher Systeme auf.
Ein unveröffentlichtes KI-Modell von Anthropic ist in die Hände nicht autorisierter Nutzer gelangt – ausgerechnet ein Modell, das der Hersteller wegen seiner Cybersicherheitsfähigkeiten für zu riskant für eine öffentliche Veröffentlichung hält. Der Vorfall stellt das Sicherheitsversprechen des Unternehmens ernsthaft in Frage.
Das US-amerikanische Compliance-Startup Delve steht nach einem weiteren Sicherheitsvorfall bei einem seiner Kunden unter erheblichem Druck. TechCrunch bestätigte, dass Delve das Unternehmen war, das die Sicherheitszertifizierungen für das KI-Startup Context AI durchgeführt hatte – kurz bevor dieses selbst einen schwerwiegenden Sicherheitsvorfall öffentlich machen musste.
Anthropic entwickelt offenbar ein spezialisiertes KI-Modell namens „Mythos”, das explizit für den Bereich Cybersicherheit konzipiert sein soll. Die Existenz des Projekts wurde bekannt, obwohl das Unternehmen bislang keine offiziellen Details veröffentlicht hat – was sowohl in Sicherheitskreisen als auch bei Regulierungsbehörden Fragen aufwirft.
Anthropic, der US-amerikanische KI-Entwickler hinter dem Sprachmodell Claude, hat Ermittlungen eingeleitet, nachdem Berichte über einen nicht autorisierten Zugriff auf ein intern entwickeltes Modell mit dem Codenamen „Mythos” aufgetaucht sind. Das berichtet The Guardian unter Berufung auf Insiderinformationen. Besondere Brisanz erhält der Vorfall dadurch, dass Mythos offenbar explizit für die Erforschung von Cyberangriffsmethoden entwickelt wurde und regulären Nutzern nicht zugänglich sein sollte.
Der kanadische VPN-Anbieter Windscribe hat mit „OpenClaw” ein Framework vorgestellt, das autonomen KI-Agenten ermöglicht, sich in VPN-Netzwerke einzuwählen und diese eigenständig zu nutzen. Das Projekt markiert einen Schritt in der Entwicklung sogenannter Agentic AI – also KI-Systemen, die selbstständig Aufgaben im Netz ausführen, ohne menschliche Eingriffe.
Eine nicht autorisierte Gruppe soll sich Zugang zu „Mythos” verschafft haben, einem exklusiven Cybersicherheitswerkzeug des KI-Unternehmens Anthropic. Das Unternehmen bestätigt, die Berichte zu untersuchen, sieht bislang jedoch keine Belege für einen tatsächlichen Sicherheitsvorfall.