A/B-Testing-Agent: Was er ist, was er tut und wie der Agent von Mida funktioniert

Kurze Antwort

Ein A/B-Testing-Agent ist ein KI-System, das die praktische Arbeit eines Experiments übernimmt: Er formuliert die Hypothese, erstellt die Variante, prüft das Setup und wertet das Ergebnis im Vergleich zur Kontrollgruppe aus. Eine Person gibt weiterhin frei, was Besucher sehen. Der A/B-Testing-Agent von Mida arbeitet direkt im Mida-Dashboard und funktioniert auch über Claude, ChatGPT, Cursor oder einen Coding-Agenten in Ihrem Terminal. Jeder Test, den er erstellt, beginnt als Entwurf, und nichts geht ohne Ihr Ja live.

Der Begriff hat noch eine zweite Bedeutung: einen A/B-Test mit einem KI-Agenten durchzuführen, um zu sehen, ob ein neuer Prompt oder ein neues Modell bei echten Nutzern besser abschneidet. Dieser Beitrag behandelt beides.

Wichtigste Erkenntnisse

• Ein A/B-Testing-Agent übernimmt Aufbau, QA und Auswertung. Die Hypothese, die Startentscheidung und die Entscheidung zur Ausspielung behalten Sie.
• Der Agent von Mida arbeitet an vier Stellen: im Dashboard, über einen MCP-Server für Chat-Assistenten, über eine CLI für Coding-Agenten und über SDKs für Tests, die in Ihrem eigenen Code laufen.
• Ein Agent macht Tests günstiger in der Durchführung. Er ändert nichts daran, wie viel Traffic ein Test benötigt, bevor Sie seinen Ergebnissen vertrauen können.

Die meisten A/B-Tests gewinnen nicht. In Midas öffentlichem Benchmark mit Tests aus dem Zeitraum August 2023 bis August 2026 lieferten 10,1 % einen Gewinner bei 95 % Konfidenz, und 75 % blieben ohne Unterschied.

Das ist normal, und genau deshalb sind die Kosten pro Test so wichtig. Wenn ein Test zwei Wochen Design, Entwicklungszeit und QA braucht, bevor er überhaupt startet, haben Sie pro Jahr nur eine Handvoll Versuche. Wenn ein Test einen Nachmittag dauert, haben Sie deutlich mehr Chancen, den einen zu finden, der funktioniert.

Das ist die Aufgabe eines A/B-Testing-Agenten. Er sorgt nicht dafür, dass Ihre Ideen häufiger gewinnen. Er macht jeden Versuch günstiger und fängt die Fehler im Setup ab, die Ergebnisse unbemerkt verfälschen.

Was ist ein A/B-Testing-Agent?

Ein A/B-Testing-Agent ist eine KI, die in Ihrem Testing-Tool handeln kann, statt nur über Testing zu sprechen. Sie geben ihr ein Ziel in einfachen Worten, etwa „Teste eine kürzere Überschrift auf der Preisseite“, und sie nutzt die eigenen Funktionen des Tools, um das Experiment zu erstellen, das Targeting festzulegen, ein Ziel zuzuweisen und eine Vorschau vorzubereiten.

Das ist der Unterschied zu einem Chatbot, den Sie nach Testideen fragen. Ein Chatbot liefert Ihnen eine Liste. Ein Agent liefert Ihnen einen Testentwurf, den Sie in der Vorschau ansehen und starten können.

Der Begriff wird auf zwei Arten verwendet:

• Ein Agent, der A/B-Tests für Sie durchführt. Die KI erstellt, prüft und wertet Experimente auf Ihrer Website oder in Ihrer App aus. Darum geht es in diesem Beitrag größtenteils.
• Einen KI-Agenten per A/B-Test testen. Sie haben einen Support-Bot oder einen Vertriebsassistenten entwickelt und möchten wissen, ob ein neuer Prompt oder ein neues Modell bei echten Nutzern besser abschneidet. Das behandeln wir weiter unten.

Was macht der A/B-Testing-Agent von Mida?

Vier Aufgaben, in der Reihenfolge, in der ein Test abläuft.

Unter diesem einen Namen stecken mehrere Bausteine, die im Lauf von 2026 veröffentlicht wurden. Hier sehen Sie, wofür jeder einzelne gedacht ist.

Sie brauchen nicht alle davon. Die meisten Teams starten mit dem Agent im Dashboard und ergänzen den Rest, sobald der Bedarf entsteht.

Wie funktioniert ein A/B-Testing-Agent Schritt für Schritt?

Hier sehen Sie einen Test von Anfang bis Ende, bei dem der Agent die Kleinarbeit übernimmt.

1. Starten Sie mit einer Idee oder fragen Sie nach einer. Geben Sie ein, was Sie testen möchten, oder fragen Sie: „Was sollte ich als Nächstes auf meiner Website testen?“ Der Agent sieht sich Ihre Seiten, Ihre bisherigen Tests und die Ziele an, die Sie bereits erfassen, bevor er etwas vorschlägt.
2. Er entwirft den Test. Sie erhalten eine Hypothese, eine Variante, ein Seiten-Targeting, eine Zielgruppe und ein primäres Ziel. Der Test wird als Entwurf gespeichert, auf Ihrer Website hat sich also noch nichts geändert.
3. Er prüft seine eigene Arbeit. Die QA lädt die Kontrollversion und die Variante so, wie es ein Besucher tun würde, auf Desktop und Smartphone, und meldet, was nicht stimmt: ein Selektor, der auf nichts passt, ein Ziel, das nicht ausgelöst werden kann, oder ein Targeting, das Besucher mit UTM-Parametern ausschließen würde.
4. Sie prüfen in der Vorschau und geben frei. Sie öffnen den Vorschau-Link, sehen sich die Änderung auf Ihrer echten Seite an und entscheiden. Der Start erfolgt per Klick auf eine Schaltfläche oder mit einem Ja im Chat. Diesen Teil kann der Agent nicht für Sie übernehmen.
5. Er beobachtet den Test. Eine Routine oder ein Workflow kann einen laufenden Test nach Zeitplan prüfen und Ihnen Bescheid geben, wenn etwas nicht stimmt, etwa wenn die Traffic-Verteilung abgedriftet ist oder ein Ziel nicht mehr erfasst wird.
6. Er liest das Ergebnis. Fragen Sie: „Ist dieser Test reif für eine Entscheidung?“ Er antwortet auf Basis derselben Zahlen, die Sie auf der Ergebnisseite sehen, und hält dann fest, was passiert ist, damit die Erkenntnis nicht verloren geht.

Wenn Sie die ausführlichere Version dieses Ablaufs möchten, einschließlich der Phasen, die Sie nie aus der Hand geben sollten, lesen Sie wie Sie mit KI-Agents einen A/B-Test durchführen.

Mit welchen Daten arbeitet der Agent?

Mit Ihren eigenen. Der Agent liest die Experimente, Ziele, Ergebnisse und Einstellungen in Ihrem Mida-Projekt sowie den Geschäftskontext, den Sie bei der Einrichtung angegeben haben: was Sie verkaufen, an wen Sie verkaufen und was als Conversion zählt. Im Seitenpanel des Dashboards weiß er außerdem, auf welcher Seite Sie sich befinden, sodass „Ist dieser Test reif für eine Entscheidung?“ den Test meint, der vor Ihnen geöffnet ist.

Wenn er ein Ergebnis liest, nutzt er die Statistik von Mida und nicht seine eigene Rechnung. Das ist wichtig, denn ein Sprachmodell, das zwei Conversion-Raten beurteilen soll, rät gern einfach. Mida weist bei Bayes'schen Tests die Wahrscheinlichkeit aus, dass eine Variante das Original schlägt, bei frequentistischen Tests einen p-Wert, und der Agent spricht in der Kennzahl, die Ihr Test verwendet.

Zwei Schutzmechanismen sollten Sie kennen:

• Keine voreiligen Gewinner. Das Dashboard markiert „Winner ready“ erst, wenn ein Test mindestens 7 Tage lief und jede Variante mindestens 25 Conversions hat. Das schützt Sie vor dem klassischen Fehler, zwischendurch auf die Ergebnisse zu schauen und zu früh zu stoppen.
• Ein Health-Check vor dem Urteil. Jeder Test hat einen Sample-Ratio-Status und eine Guardrails-Zeile. Ist die Traffic-Verteilung fehlerhaft, ist das Ergebnis nicht vertrauenswürdig, und das wird neben den Zahlen angezeigt.

Was bleibt in menschlicher Hand?

Die Bereiche, in denen ein Fehler teuer wird. Der Agent recherchiert und entwirft. Ein Mensch entscheidet, was Besucher sehen.

Einige Kontrollmechanismen sichern das ab:

• Standardmäßig Entwürfe. Ein Test, den der Agent, der MCP-Server oder die CLI erstellt, bleibt ein Entwurf, bis eine Person ihn startet.
• Freigaben für Teams. Mitwirkende können Tests erstellen und die Freigabe zum Start anfordern. Änderungen, die der Agent vorschlägt, kommen mit Begründung und Risikobewertung an, damit die freigebende Person weiß, wozu sie Ja sagt.
• Schreibgeschützte Verbindungen. Wenn Sie einen externen Assistenten verbinden, können Sie „nur lesen“ wählen. Er kann dann Experimente und Ergebnisse sehen, aber nichts erstellen, ändern oder löschen.
• Ein Ausschalter. Ein Owner oder Admin kann die KI-Funktionen für das gesamte Unternehmen deaktivieren und Mida weiterhin als klassisches A/B-Test-Tool nutzen.

Kann man einen A/B-Test-Agenten aus Claude, ChatGPT oder Cursor nutzen?

Ja. Mida betreibt einen gehosteten MCP-Server. Das ist der Standardweg, über den ein KI-Assistent ein externes Tool nutzt (hier erfahren Sie, was MCP ist, falls Ihnen der Begriff neu ist). Sie fügen eine URL hinzu, melden sich im Browser mit Ihrem Mida-Konto an, und Ihr Assistent kann Experimente und Ziele erstellen, einen Vorschau-Link generieren, Ergebnisse lesen und ein Fazit schreiben. API-Schlüssel müssen Sie nicht einfügen.

Es gelten dieselben Regeln wie im Dashboard. Neue Tests sind Entwürfe, und alles, was Besucher sehen würden, wartet auf Ihr Ja im Chat.

Wenn Sie mit einem Coding-Agenten wie Claude Code, Cursor oder Codex arbeiten, gibt es einen kürzeren Weg. Ihr Agent kann Mida selbst einrichten: Er registriert Ihre E-Mail-Adresse, Sie geben ihm den 6-stelligen Code aus Ihrem Posteingang, und er installiert den Tag oder das SDK und bereitet einen ersten Test-Entwurf vor. Er sieht nie ein Passwort, und der API-Schlüssel wird in Ihre .env Datei geschrieben und nicht ausgegeben.

npx mida-cli init --email you@example.com --accept-terms
npx mida-cli doctor --wait
npx mida-cli check 1234

Der erste Befehl erstellt das Konto, der zweite wartet, bis echte Besucher eintreffen, und der dritte führt die Setup-Prüfungen an einem Test-Entwurf durch, bevor Sie ihn ansehen.

Wie führt man einen A/B-Test mit einem KI-Agenten selbst durch?

Das ist die andere Bedeutung von „A/B-Test-Agent“, und es ist eine berechtigte Frage, wenn Sie KI-Funktionen ausliefern. Sie haben den System-Prompt Ihres Support-Bots geändert oder das Modell dahinter getauscht. Ihre Offline-Evals sind bestanden. Ist er für die Nutzer besser?

Evals und A/B-Tests beantworten unterschiedliche Fragen. Ein Eval zeigt, ob der Agent bekannte Fälle richtig löst. Ein A/B-Test zeigt, ob echte Nutzer damit besser zurechtkommen: mehr gelöste Tickets, mehr abgeschlossene Anmeldungen, weniger an Menschen übergebene Chats. Sie brauchen beides, in dieser Reihenfolge.

Der Aufbau ist derselbe wie bei jedem Server-Side-Test:

1. Eine Sache variieren. Den Prompt, das Modell, die Tools, die der Agent aufrufen kann, oder die Reihenfolge seiner Schritte. Immer nur eine, sonst wissen Sie nicht, was die Veränderung ausgelöst hat.
2. Jeden Nutzer nur einmal zuweisen. Dieselbe Person muss bei jedem Besuch dieselbe Version erhalten. Ein Münzwurf bei jeder Anfrage zeigt einem Nutzer beide Agenten und verfälscht beide Gruppen.
3. Ein Ergebnis messen, kein Bauchgefühl. Wählen Sie die Nutzeraktion, die das Geschäft trägt, etwa ein gelöstes Ticket oder eine abgeschlossene Bestellung, und tracken Sie sie als primäres Ziel.
4. Guardrails ergänzen. Beobachten Sie, was ein „besserer“ Agent unbemerkt verschlechtern kann: Eskalationen an Menschen, Erstattungen, Kosten pro Konversation.

Mit einem Mida-SDK sind das ein paar Zeilen in dem Code, der Ihren Agenten aufruft. Dieses Beispiel nutzt das Node-SDK:

const Mida = require('mida-node')
const mida = new Mida(process.env.MIDA_PROJECT_KEY)

async function answer(userId, question) {
  let variant = null
  try {
    variant = await mida.getExperiment('support-agent-prompt', userId)
  } catch (err) {
    // API error: fall back to the current agent
  }
  const prompt = variant === 'Variant 1' ? NEW_PROMPT : CURRENT_PROMPT
  return runAgent(prompt, question)
}

// Later, when the outcome you care about happens:
await mida.setEvent('ticket_resolved', userId)

Mida hält jeden Nutzer in einer Version und zeigt, ob der Unterschied bei den gelösten Tickets echt ist. Was Mida nicht tut: die Antworten des Agenten bewerten oder seine Traces speichern. Dafür behalten Sie Ihr Eval-Tooling. Mida beantwortet die Frage, die danach kommt: Haben die Nutzer besser abgeschnitten?

Server-Side-Tests sind im kostenlosen Tarif enthalten, mit SDKs für Node, Python, Go, PHP, Ruby und mehr. Wenn Sie neu im Thema sind: Hier erfahren Sie, wie sich Server-Side- und Client-Side-Tests unterscheiden.

Wie viel Traffic braucht ein A/B-Test-Agent?

Genauso viel wie jeder A/B-Test. Ein Agent macht einen Test schneller erstellt. Er sorgt nicht dafür, dass eine kleine Stichprobe mehr aussagt.

Entscheidend ist, wie viele Conversions jede Variante sammelt und wie groß die Veränderung ist, die Sie nachweisen möchten. Eine Seite mit ein paar hundert Besuchern im Monat entscheidet eine kleine Textänderung in keiner vertretbaren Zeit, mit oder ohne KI.

Wenn Ihr Traffic gering ist:

• Größere Änderungen testen. Ein neues Angebot oder ein neu gebauter Hero-Bereich lässt sich leichter nachweisen als eine Button-Beschriftung.
• Dort testen, wo der Traffic ist. Ihre meistbesuchte Seite mit klarem Ziel schlägt eine tiefe Seite mit der perfekten Idee.
• Volle Wochen laufen lassen. Besucher unter der Woche und am Wochenende verhalten sich unterschiedlich, beenden Sie den Test daher zum Wochenende hin.
• Nutzen Sie für den Rest einen Pretest. Synthetic Research liefert Ihnen in wenigen Minuten richtungsweisendes Feedback von einem KI-Panel. Das hilft dabei, ein Backlog zu sortieren. Es ist kein Beleg dafür, dass eine Variante gewinnt.

Um Ihre eigenen Zahlen zu prüfen, nutzen Sie den Traffic-Check oder den Stichprobenrechner, oder lesen Sie wie viel Traffic Sie für A/B-Tests brauchen.

Wie probieren Sie einen A/B-Testing-Agenten auf Ihrer eigenen Website aus?

Drei Wege zum Einstieg, je nachdem, wo Sie am liebsten arbeiten.

• Im Dashboard. Erstellen Sie ein kostenloses Konto, installieren Sie den Tag und geben Sie Ihre erste Anfrage auf dem Startbildschirm in den Agent ein. Der Agent ist in jedem Konto enthalten, auch im kostenlosen Tarif.
• In Ihrem KI-Assistenten. Fügen Sie den Mida MCP-Server zu Claude, ChatGPT oder Cursor hinzu und lassen Sie sich Ihre Experimente auflisten.
• In Ihrem Terminal. Fügen Sie den Setup-Prompt in Ihren Coding-Agenten ein und lassen Sie ihn den Code aus Ihrem Posteingang lesen.

Mida ist bis zu 100.000 Monthly Tracked Users kostenlos, ohne Kreditkarte. Was der kostenpflichtige Tarif zusätzlich bietet, sehen Sie unter Preise, und was diesen Monat neu erschienen ist, im Changelog.

FAQs

F: Was ist ein A/B-Testing-Agent?A: Ein A/B-Testing-Agent ist ein KI-System, das die Arbeitsschritte eines Experiments innerhalb eines Testing-Tools ausführt. Er entwirft die Hypothese, baut die Variante, prüft das Setup und liest das Ergebnis im Vergleich zur Kontrollgruppe aus, während eine Person freigibt, was live geht.

F: Kann ein KI-Agent einen A/B-Test eigenständig durchführen?A: Er kann den größten Teil der Arbeit übernehmen, sollte aber nicht allein entscheiden. In Mida ist jeder Test, den ein Agent erstellt, ein Entwurf, und Starten, Pausieren und Ausspielen eines Gewinners müssen jeweils von einer Person bestätigt werden. Der Agent bereitet die Entscheidung vor, und Sie treffen sie.

F: Ersetzt ein A/B-Testing-Agent mein A/B-Testing-Tool?A: Nein. Der Agent arbeitet über ein Testing-Tool, das weiterhin Besucher zuweist, die Varianten ausspielt und die Statistik berechnet. Der Mida-Agent ist Teil von Mida, daher läuft der von ihm erstellte Test auf derselben Plattform wie ein Test, den Sie von Hand aufsetzen.

F: Ist ein A/B-Testing-Agent dasselbe wie A/B-Testing eines KI-Agenten?A: Nein. Das Erste ist KI, die Experimente für Sie durchführt. Das Zweite ist ein Experiment an einem KI-Produkt, etwa der Vergleich zweier Prompts für einen Support-Bot. Mida deckt beides ab: Der Mida Agent übernimmt das Erste, die serverseitigen SDKs das Zweite.

F: Welche KI-Assistenten funktionieren mit Mida?A: Jeder Assistent, der MCP unterstützt, darunter Claude, ChatGPT, Cursor und VS Code. Coding-Agenten wie Claude Code, Cursor, Codex und Windsurf können außerdem die Mida CLI und API direkt nutzen.

F: Wie lange sollte ein von einem Agenten erstellter Test laufen?A: So lange wie ein manuell erstellter. Planen Sie mindestens eine volle Woche ein und lassen Sie den Test weiterlaufen, bis jede Variante genug Conversions für belastbare Ergebnisse hat. Mida markiert keinen Gewinner vor 7 Tagen und 25 Conversions in jeder Variante.

F: Ist der A/B-Testing-Agent von Mida kostenlos?A: Der Mida Agent, der MCP-Server, die CLI, die API und die SDKs sind alle im kostenlosen Tarif verfügbar, der bis zu 100.000 Monthly Tracked Users abdeckt. Workflows sind ebenfalls enthalten, mit einem höheren Limit in den kostenpflichtigen Tarifen. Geplante Routinen sind Teil der kostenpflichtigen Tarife.

Weiterführende Artikel

• So nutzen Sie KI-Agenten für einen A/B-Test
• So müssen Sie Ihre A/B-Tests nicht mehr ständig überwachen: 3 Prüfungen, die der Mida Agent für Sie übernehmen kann
• KI-A/B-Testing: So funktioniert KI-gestütztes Experimentieren
• Was ist MCP (Model Context Protocol)?
• ChatGPT für A/B-Tests