So setzen Sie KI-Agenten für einen A/B-Test ein (und wo Sie selbst das Steuer in der Hand behalten sollten)

Worin besteht der Unterschied zwischen einem KI-Agenten und einer Automatisierung?

Anthropic zieht in seinem Leitfaden zu effektiven Agenten eine gute Trennlinie. Workflows laufen demnach über „vordefinierte Codepfade“. Agenten sind Systeme, in denen das Modell seinen eigenen Prozess und den Einsatz von Werkzeugen selbst steuert.

Einfach gesagt: Ein Workflow ist ein Rezept. Ein Agent ist ein Kollege, dem Sie ein Ziel geben.

Im Experimentieren brauchen Sie meist beides. Ein festes Rezept für das, was sich nie ändern soll (wie ein wöchentlicher Bericht), und einen Agenten für das, was etwas Urteilsvermögen verlangt (etwa herauszufinden, warum eine Kennzahl auffällig aussieht).

Welche Teile eines Experiments kann ein Agent übernehmen?

Stellen Sie sich den Lebenszyklus eines Tests als sechs Phasen vor. Agenten helfen in den meisten davon, jeweils auf andere Weise.

1. Hypothese. Ein Agent kann aus einer Beobachtung eine strukturierte Hypothese formen oder aus einem abgeschlossenen Ergebnis Folgetests vorschlagen. (Siehe aus einem Ergebnis die nächsten drei Tests ableiten.)

2. Setup. Varianten, Targeting und Ziele zu entwerfen ist größtenteils mechanische Arbeit, solange Sie vor dem Start alles prüfen.

3. QA. Zu prüfen, ob Varianten korrekt dargestellt werden, Ziele ausgelöst werden und der Traffic wie geplant aufgeteilt wird, ist mühsam und wird leicht übersprungen. Agenten langweilen sich nicht.

4. Monitoring. Wer auf Tracking-Einbrüche oder eine Variante achtet, die die Conversions klar verschlechtert, erfährt es nicht erst zwei Wochen zu spät.

5. Analyse. Ergebnisse zusammenzutragen und in verständlicher Sprache aufzuschreiben, kostet die meisten die meiste Zeit.

6. Dokumentation. Festzuhalten, was getestet wurde, was passiert ist und was als Nächstes ausprobiert werden sollte, verhindert, dass Ihr Programm seine eigene Geschichte vergisst.

Was sollte ein Agent niemals allein entscheiden?

Einiges bleibt bei Ihnen.

Die Hypothese gehört Ihnen, denn ein Agent kennt Ihre Kunden nicht so gut wie Sie. Die Abbruchregel gehört ebenfalls Ihnen. Wenn Sie ein Tool einen Gewinner küren lassen, sobald die Zahlen gut aussehen, haben Sie ein Peeking-Problem mit zusätzlichen Schritten erfunden. Und die Entscheidung zum Ausrollen liegt bei einem Menschen.

Auch Anthropic rät in diese Richtung. Das Unternehmen warnt, dass Autonomie höhere Kosten und das Risiko sich aufschaukelnder Fehler mit sich bringt, und empfiehlt Sandbox-Tests, Leitplanken, Abbruchbedingungen und Pausen für menschliches Feedback.

Für das Experimentieren heißt das: kleiner Aufgabenbereich, klarer Haltepunkt, einfacher Weg zurück zu Ihnen.

Auf welchen zwei Wegen können Sie einen Agenten einsetzen?

Es gibt zwei Wege, und sie unterscheiden sich deutlich.

Weg eins: ein allgemeiner Assistent. Tools wie Claude, ChatGPT oder Cursor können sich über MCP, das Model Context Protocol, mit Ihrer Experimentierplattform verbinden. Falls Ihnen das neu ist, finden Sie hier unsere Erklärung dazu, was MCP ist. Dieser Weg ist flexibel und ideal, wenn Sie ohnehin in einem dieser Tools arbeiten. Der Nachteil: Sie übernehmen mehr vom Setup selbst.

Weg zwei: ein in die Plattform integrierter Agent. Er arbeitet bereits direkt neben Ihren Tests, sodass weniger einzurichten ist. Das ist die Idee hinter dem Mida Agent.

Wie fügt sich der Mida Agent ein?

Der Mida Agent unterscheidet sich vom oben beschriebenen MCP-Weg. Er sitzt direkt in der Mida App, als chatbasierter KI-Teamkollege. Sie können ihn in normaler Sprache zu Ihren Experimenten befragen, und er arbeitet mit denselben Experimenten, die Sie bereits durchführen.

Er ist eine Ergänzung zum Experimentieren, die den Prozess erleichtern soll, statt das Denken dahinter zu ersetzen.

Zwei Funktionen passen genau zu den oben genannten Phasen:

Routinen laufen nach Zeitplan. Sie beschreiben, was geprüft werden soll, und der Agent schickt Ihnen per E-Mail, was er findet. Routinen können innerhalb einer Berechtigung handeln, die Sie ihnen vorab erteilen. So lässt sich der Aufgabenbereich bequem eng halten. Pro Konto sind bis zu drei möglich. Hier die Einrichtungsanleitung.

Workflows werden durch ein Ereignis oder einen Zeitplan ausgelöst und können sich verzweigen. Sie bauen sie aus Knoten auf (Start, End, Agent, Condition, Merge und Duplicate). Die Vorlagen sind in Reports, Alerts, QA, Monitoring, Ideas und Hygiene gegliedert, die eng zu den Phasen 3 bis 6 passen. Die Ergebnisse landen in Ihrem Posteingang oder als Notiz direkt am Test. Hier die Anleitung zum Erstellen.

Einen tieferen Einblick bietet unser Beitrag zu drei Prüfungen, die der Mida Agent für Sie übernehmen kann. Und wenn der Agent nicht weiterkommt, übergibt er das Gespräch an den Support, statt zu raten.

Wie würden Sie beginnen?

Wählen Sie eine Phase, nicht alle sechs. QA und Monitoring eignen sich gut für den Einstieg, weil die Regeln klar sind und ein Fehlalarm wenig kostet.

Halten Sie fest, was „gesund“ für Ihren Test bedeutet. Geben Sie dem Agenten genau diese Aufgabe, einen Zeitplan und einen Ort, an den er seine Funde senden kann. Prüfen Sie die ersten Berichte mit eigenen Augen und fügen Sie dann die nächste Phase hinzu.

Das Fazit

Ein Experiment mit einem KI-Agenten durchzuführen heißt nicht, die Schlüssel abzugeben. Es heißt, die Checkliste zu übergeben, damit Sie Ihre Aufmerksamkeit auf die Hypothese und die Entscheidung richten können.

Weiterführende Artikel

• Was ist MCP (Model Context Protocol)?
• So müssen Sie Ihre A/B-Tests nicht mehr ständig überwachen: 3 Prüfungen, die der Mida Agent für Sie übernehmen kann
• ChatGPT für A/B-Tests
• KI-gestützte A/B-Tests
• Vom ersten Gewinner-Test zu den nächsten drei
• Was ist Peeking bei A/B-Tests und warum Sie nicht vorzeitig auf die Ergebnisse schauen sollten!

Quellen

• Anthropic. Building effective agents.
• Mida Help Center. The Mida Agent: Your AI Teammate for Experiments.
• Mida Help Center. Setting up Routines with the Mida Agent.
• Mida Help Center. Building Agent Workflows.