KI-Agenten versagen still, und AWS will das erkennen
Während Unternehmen autonome KI-Agenten hastig einsetzen, entsteht eine subtile Gefahr: Agenten, die still versagen. Statt abzustürzen oder langsamer zu werden, antwortet ein kämpfender Agent weiterhin mit derselben Geschwindigkeit, während die Qualität seiner Antworten stillschweigend nachlässt. Amazon Web Services sagt, es habe einen Weg entwickelt, dies zu erkennen, bevor Kunden es bemerken.
Das Unternehmen stellte ein neunstufiges Bewertungsframework vor, das auf Amazon Bedrock AgentCore basiert, seiner Plattform für die Bereitstellung und Verwaltung von KI-Agenten. Das Framework soll Agenten unter produktionsähnlichen Bedingungen testen und nicht nur prüfen, ob sie antworten, sondern ob ihre Antworten korrekt bleiben, wenn Aufgaben länger und komplexer werden. AWS veröffentlichte diese Woche Details zu dem Ansatz.
Agenten unterscheiden sich von gewöhnlichen Chatbots, weil sie handeln und nicht nur reden. Sie können im Web surfen, andere Softwaretools aufrufen, Code ausführen und mehrstufige Aufgaben mit begrenzter menschlicher Aufsicht erledigen. Diese Autonomie macht stilles Versagen gerade gefährlich: Ein Agent, der das falsche Meeting bucht, ein Dokument falsch interpretiert oder eine fehlerhafte Entscheidung trifft, kann weiterhin selbstbewusst arbeiten – und das in großem Maßstab, ohne dass es jemand bemerkt.
Das Framework führt einen Agenten durch neun verschiedene Stufen, von der Grundeinrichtung über realistische Arbeitslasten bis hin zur kontinuierlichen Überwachung. In jeder Stufe vergleichen Bewerter die Ausgabe des Agenten mit erwarteten Ergebnissen, achten auf verschlechterte Antworten und testen, wie sich der Agent verhält, wenn ein Tool-Aufruf fehlschlägt oder eine Anfrage mehrdeutig ist. Ziel ist es, vages Vertrauen in messbare Signale umzuwandeln, auf die Teams reagieren können.
Vertrauen wird zu einem zentralen Thema in den KI-Angeboten des Cloud-Giganten. AWS hat auch einen mehrschichtigen Ansatz namens Trust in Depth beschrieben, der auf fünf Ideen aufbaut: Umfang, Wissen, Begrenzung, Beobachtung und Nachweis. Ziel ist es, Agenten mehr Arbeit übernehmen zu lassen, ohne die Kontrolle zu verlieren, indem begrenzt wird, worauf sie zugreifen können, definiert wird, was sie wissen, ihre Aktionen eingeschränkt werden, sie im Betrieb beobachtet werden und nachträglich nachgewiesen wird, was sie getan haben.
Ein produktionsreifes Bewertungsframework mit Amazon Bedrock AgentCore passt in diese größere Initiative. AWS argumentiert, dass Unternehmen Agententests als kontinuierliche Disziplin behandeln sollten und nicht als einmalige Prüfung vor dem Start. Während Agenten längere, mehrstufige Aufgaben übernehmen, wird die Lücke zwischen einer schnellen und einer korrekten Antwort zum Unterschied zwischen nützlicher Automatisierung und teuren Fehlern.
Die breitere Branche ist aufmerksam. Unternehmen wollen, dass Agenten mehr Arbeit erledigen, aber Umfragen und Führungskräfte sagen immer wieder, dass sie ihnen nicht vollständig vertrauen, jedes Mal korrekt zu handeln. Tools, die die Qualität von Agenten sichtbar machen, anstatt sie vorauszusetzen, könnten so Standard werden, wie es die Leistungsüberwachung für konventionelle Software ist.
Vorerst ist die Botschaft von AWS einfach: Ein Agent, der nie Fehler macht, kann sich trotzdem verschlechtern. Das Unternehmen setzt darauf, dass eine rigorose, stufenweise Bewertung das sein wird, was vorsichtige Unternehmen davon überzeugt, echte Aufgaben an Software zu übergeben, die selbst denkt und handelt.