📖 Handbuch

Testautomation ist ein mandantenfähiges Web-Cockpit, mit dem du Telefon-Voicebots automatisiert testen und ihre Prompts verbessern kannst. Die getesteten Bots laufen auf der Plattform AgenticFlow.

Die Idee dahinter: Statt manuell anzurufen und zu prüfen, ob ein Voicebot richtig reagiert, lässt du einen Tester-Bot automatisch anrufen. Dieser spielt einen Kunden, durchläuft verschiedene Gesprächs-Szenarien, und eine Bewertungs-KI (der Judge) urteilt, ob alles passt. Bei Fehlern hilft dir Testautomation sogar dabei, den Prompt des getesteten Bots automatisch zu verbessern.

Du erreichst die produktive Version unter testautomation.amira-ai.de.

So sieht dein typischer Ablauf aus

1. Konto erstellen und einloggen
2. Einen Kunden (Arbeitsbereich) mit API-Key anlegen
3. Einen Agent anlegen (Nummern und Tester wählen)
4. Szenarien laden oder per KI generieren
5. Testlauf in den gewünschten Sprachen starten
6. Ergebnisse prüfen
7. Bei Fehlern Auto-Fix nutzen

Konto erstellen

1. Klicke auf Konto erstellen.
2. Gib deine E-Mail-Adresse an. Du erhältst daraufhin einen Bestätigungscode per E-Mail.
3. Gib den Code auf der Code-Seite ein und setze ein Passwort.

Einloggen

Melde dich mit deiner E-Mail und deinem Passwort an.

Passwort vergessen?

Klicke auf Passwort vergessen?. Auch hier bekommst du einen Code per E-Mail, mit dem du ein neues Passwort setzen kannst.

Wichtig zum Code

• Der Code ist in der Regel 8-stellig und ungefähr 1 Stunde gültig.
• Es gibt bewusst keinen Klick-Login, sondern nur die Code-Eingabe. Grund: E-Mail-Sicherheitsscanner entwerten Klick-Links häufig, bevor du sie nutzen kannst.

UI-Sprache umschalten

Oben rechts schaltest du die Bedienoberfläche zwischen Deutsch, English und العربية (Arabisch) um. Arabisch wird rechtsläufig (RTL) dargestellt. Deine Wahl wird je Nutzer gespeichert.

Ein Kunde ist ein Mandant beziehungsweise ein Arbeitsbereich. Rollen gelten immer pro Kunde: Du kannst bei einem Kunden admin sein und bei einem anderen member (Mitglied). Daneben gibt es Plattform-Superadmins, die alles sehen.

Was ein member darf

• Agenten/Testautomationen anlegen und bearbeiten
• Szenarien pflegen
• Tests starten
• Ergebnisse und Transkripte ansehen
• Auto-Fix nutzen

Was ein admin zusätzlich darf

• Kunde bearbeiten (API-Key/Einstellungen)
• Nutzer einladen und entfernen
• Kunde löschen

Mandantentrennung

Jeder eingeloggte Nutzer darf eigene Kunden anlegen und wird automatisch deren admin. Eingeladene Nutzer sehen dagegen nur den Kunden, zu dem sie eingeladen wurden. Diese strikte Trennung sorgt dafür, dass niemand fremde Arbeitsbereiche einsehen kann.

Über + Kunde (nur eingeloggt) legst du einen neuen Arbeitsbereich an. Fülle dazu folgende Felder aus:

• Name des Kunden
• AgenticFlow API-Key des Kunden
• Base-URL (Standard: api.agenticflow.studio)
• Dashboard-URL (optional, für Links zu Call-Logs)

Automatischer Tester-Bot

Sobald du einen API-Key hinterlegst, legt Testautomation automatisch einen Tester-Bot im AgenticFlow-Workspace an. Das ist genau der Bot, der später anruft und im Test den Kunden spielt.

Ein Agent bündelt, welcher Bot getestet wird und wie. Lege ihn über + Agent an. Die Auswahlfelder werden direkt aus AgenticFlow geladen. Mit dem Button ⟳ Aktualisieren lädst du sie neu.

Felder im Detail

• Zu testender Bot = dessen Inbound-Nummer (wird angerufen): die Inbound-Nummer des zu testenden Bots. Der dort gebundene, antwortende Assistent wird automatisch erkannt und getestet.
• Nummer zum Raustelefonieren: eine andere Nummer, von der aus der Tester anruft. Sie muss sich von der Ziel-Nummer unterscheiden.
• Tester-Assistant: unser Anrufer, der den Kunden spielt.
• Eskalations-Tool (optional)
• Notizen
• Test-Sprachen: die Standard-Sprachen für die Testläufe dieses Agenten.

Ein Szenario beschreibt, wie sich der Tester in der Menschen-Rolle am Telefon verhält, plus den erwarteten Ausgang des Gesprächs.

Felder eines Szenarios

• Key (z.B. TS-01)
• Name
• Persona/Tester-Skript
• Erwarteter Ausgang
• Transfer-Szenario (seriell)
• Calls je Szenario (1–5)
• aktiv/inaktiv (Häkchen)

Standard laden

Mit Standard laden fügst du bewährte Standardszenarien hinzu.

✨ KI-Szenarien

Über ✨ KI-Szenarien generiert Claude Szenarien aus einem Ziel, ergänzt um Richtung (inbound/outbound), Anzahl und Calls je Szenario.

Bestimmte Standardszenarien werden dabei immer automatisch ergänzt:

• will nicht mit KI reden
• Mailbox/Anrufbeantworter
• verwählt
• Ansprechpartner nicht erreichbar

Optional kannst du bestehende Szenarien vorher ersetzen lassen.

Es stehen 10 Test-Sprachen zur Verfügung: Deutsch, Englisch, Französisch, Italienisch, Spanisch, Arabisch, Niederländisch, Türkisch, Portugiesisch und Polnisch.

Sprache als Multiplikator

Beim Start eines Laufs wählst du eine oder mehrere Sprachen. Die Sprache wirkt als Multiplikator für die Anzahl der Anrufe:

Anzahl Anrufe = aktive Szenarien × Calls je Szenario × gewählte Sprachen

Beispiel: 3 Szenarien × 10 Calls × {DE, EN} = 60 Anrufe (30 auf Deutsch, 30 auf Englisch).

Wie die Sprache wirkt

• Der Tester telefoniert ausschließlich in der jeweils gewählten Sprache, unabhängig davon, in welcher Sprache das Szenario formuliert ist.
• Der Judge (die Bewertungs-KI) prüft zusätzlich, ob der getestete Bot durchgängig korrekt in der Zielsprache geantwortet hat.

Testlauf starten

1. Klicke auf ▶ Testlauf starten. Es öffnet sich die Sprachauswahl mit einer Vorschau der Anruf-Anzahl.
2. Wähle deine Sprachen und starte.

Die Anrufe laufen automatisch: Transfer-Szenarien werden seriell abgearbeitet, die übrigen teilweise parallel. Die Ergebnis-Seite aktualisiert sich automatisch alle 5 Sekunden.

Die Ergebnis-Tabelle lesen

• Es gibt eine Zeile je (Szenario × Sprache) und eine Spalte je Call.
• Bewertung pro Call: pass (grün), warn (gelb) oder fail (rot).
• Ein Klick auf eine Zelle öffnet die Detailansicht mit dem kompletten Transkript und einem Link zum Call-Log im AgenticFlow-Dashboard.

Bei Fehlschlägen bietet dir die Ergebnis-Seite den Auto-Fix, mit dem die KI den Prompt des getesteten Bots verbessert.

⚙ Auto-Fix prüfen (mit Vorschau)

• Die KI schlägt eine Änderung am Prompt vor, dargestellt als Diff: Streichungen rot, Ergänzungen grün, jeweils mit einzelnen Begründungen.
• Du kannst den Vorschlag bearbeiten und musst ihn anschließend mit ✓ Übernehmen & Re-Test freigeben.

⚡ Automodus (Blindflug)

Im ⚡ Automodus korrigiert und veröffentlicht die KI den Prompt ohne Vorschau. Der Vorher-Stand wird dabei automatisch gesichert.

Volle Regression

Mit der Option volle Regression werden nach dem Fix alle Szenarien erneut getestet (statt nur der Fehlschläge), um neue Regressionen zu erkennen.

Unter 📜 Prompt-Versionen findest du die Versionshistorie der Prompts. Vor jedem Auto-Fix wird der bisherige Prompt automatisch als Version gesichert.

Frühere Stände wiederherstellen

• Du kannst frühere Versionen ansehen.
• Mit ↩ Wiederherstellen spielst du eine frühere Version wieder auf den Bot zurück (Rollback).

So kannst du jederzeit gefahrlos zu einem bewährten Stand zurückkehren, falls eine Änderung doch nicht das gewünschte Ergebnis bringt.

Die Nutzerverwaltung erreichst du über 👥 Nutzer. Sie steht nur admin und Superadmin zur Verfügung.

Was du hier tun kannst

• Die Mitglieder eines Kunden einsehen.
• Neue Nutzer per E-Mail einladen – mit der Rolle Mitglied oder Admin. Eingeladene erhalten einen Code per E-Mail und setzen damit ihr Passwort.
• Mit entfernen löst du die Mitgliedschaft.

Wichtig beim Entfernen

Ist ein Nutzer nach dem Entfernen bei keinem Kunden mehr Mitglied (und kein Superadmin), wird sein Konto vollständig gelöscht.

Häufige Stolpersteine

• Raus- und Ziel-Nummer müssen unterschiedlich sein, sonst ruft der Tester sich selbst an.
• Hat eine Nummer keinen gebundenen Assistenten, kann sie nicht getestet werden.
• Inhaltsdaten (Kunden- und Szenario-Namen, Transkripte, Telefonie-Status) bleiben in der Originalsprache. Nur die Bedienoberfläche ist übersetzt.

Empfohlene Reihenfolge für Neulinge

1. Konto erstellen / Login
2. Kunde mit API-Key anlegen
3. Agent anlegen (Nummern/Tester wählen)
4. Szenarien laden oder generieren
5. Testlauf in den gewünschten Sprachen starten
6. Ergebnisse prüfen
7. Bei Fehlern Auto-Fix nutzen