Automatisierte Tests
Warum wir bei der AI Suite auf Playwright setzen
Automatisiertes Testing ist ein zentraler Bestandteil unserer Entwicklungsstrategie – besonders bei einer komplexen Anwendung wie der AI Suite, die TYPO3, KI-APIs und unterschiedliche Systemkomponenten miteinander verbindet. Dabei stehen wir vor vielfältigen Herausforderungen: unterschiedliche TYPO3-Versionen, komplexe Backend-Oberflächen, systemübergreifende Abläufe und kostenintensive KI-Schnittstellen.
In diesem Beitrag zeigen wir dir, wie wir eine nachhaltige Teststrategie aufgebaut haben, welche Tools wir ausprobiert haben, warum wir uns letztlich für Playwright entschieden haben – und wie wir damit heute über 300 stabile, wiederholbare Testfälle automatisieren.
Was sind die Herausforderungen?
Wer TYPO3-Projekte mit KI-Funktionen professionell entwickelt, kennt die typischen Hürden:
- Testing im TYPO3-Backend: komplexe UI, teils verschachtelte Inhalte und Iframes
- Systemübergreifende Tests: Interaktion mit Servern, APIs und anderen Frameworks
- Unterschiedliche TYPO3-Versionen: Testabdeckung für v11, v12 und v13
- Kosten durch API-Requests: Besonders beim Testen von KI-Diensten ist jeder Aufruf kostenrelevant
Diese Aspekte erschweren automatisiertes Testen erheblich – sowohl technisch als auch organisatorisch.
Wo fängt man an?
Zu Beginn stand die Suche nach einer strukturierten, praktikablen Lösung. Wir wollten eine Teststrategie entwickeln, die langfristig funktioniert. Dazu haben wir verschiedene Frameworks analysiert und unsere Anforderungen klar definiert:
- Skalierbar für mehrere TYPO3-Versionen
- Entkopplung von Frontend und Serverlogik
- Gute Wartbarkeit und Stabilität
- Reduzierung unnötiger Kosten bei KI-Tests
Welche Frameworks haben wir ausprobiert?
In der Evaluierungsphase haben wir vier Tools getestet:
TYPO3 Testing Framework
Stark integriert, aber limitiert auf TYPO3-spezifische Szenarien.
Cypress.io
Bietet grundsätzlich gute Ansätze für unsere Herausforderungen – führt aber die Tests innerhalb eines eigenen Iframes aus, was im TYPO3 Backend zu Problemen führt.
Nach mehreren Versuchsreihen fiel die Wahl auf Playwright – insbesondere wegen der Flexibilität, der Geschwindigkeit, der Multi-Browser-Kompatibilität und der Möglichkeit frameworkunabhängig unsere System zu testen.
Der ersten Versuche … und die Schmerzen
Unsere ersten Gehversuche legten schnell “den Finger in die Wunde”, boten aber zugleich direktes Optimierungspotential:
Tests gegen Live-Daten
Inklusive realer KI-Anfragen, was teuer und unzuverlässig war
Zufällige Generierung
Die zufällige Generierung führte zu instabilen Ergebnissen
Identische Tests für verschiedene TYPO3-Versionen
Für jede TYPO3-Version liefen nahezu identische Tests mit hohem Wartungsaufwand
Die Folge: Instabile Tests
Zudem wenig Verlässlichkeit sowie hoher Kosten- und Wartungsaufwand
Neue/bessere Ansätze … und Optimierungen
Durch gezielte Änderungen konnten wir Tests deutlich stabiler und effizienter gestalten:
Trennung von TYPO3-Frontend und Server-/API-Tests
Weniger Abhängigkeiten, klarere Verantwortlichkeiten
Einheitliche Testdatenbank
Gleiche Datenbasis für Client, Server und Shop
Standardisierung der Testfälle
Versionsspezifische Logik wird ausgelagert
Ergebnis: Stabilere, wiederholbare Tests
Zudem weniger Pflegeaufwand und geringere Kosten
Fazit
Automatisiertes End-to-End-Testing mit Playwright ist für uns nicht nur “nice to have”, sondern essenziell. Mit wachsendem Funktionsumfang der AI Suite steigt auch die Komplexität – und damit die Anforderungen an unsere Qualitätssicherung.
Playwright gibt uns die Sicherheit, dass alles funktioniert, wie es soll – und das auch in zukünftigen TYPO3-Versionen, in verschiedenen Browsern und mit unterschiedlichsten Nutzer-Workflows.
Die Kombination aus moderner KI und solider Teststrategie macht die AI Suite zu dem, was sie sein soll: Zuverlässig. Zukunftsfähig. Stark im Alltag.