Einsatzarten der Test Suite in Testprojekten

Hier finden Sie eine Auflistung der möglichen Einsatzarten für die RapidRep Test Suite. Die Begriffe orientieren sich am Vokabular des ISTQB (International Software Testing Qualification Board). Das Glossar können Sie auf Deutsch und Englisch von der Download-Seite des German Testing Boards herunterladen.

Automatisierte Durchführung und Auswertung der Testfälle

Bei den dynamischen Tests startet RapidRep das Programm (Prüfling) und ruft Funktionen auf, deren Wirkung in der Regel von den Testdaten abhängt. Das vom Prüfling erzeugte Ergebnis wird bei Bedarf zwischengespeichert, so dass das Ist-Ergebnis nicht von anderen Aufrufen überschrieben wird.

Bei den statischen Tests liegen die Ergebnisse des Prüflings bereits vor und RapidRep greift direkt auf die Ist-Ergebnisse zu.

Das für den automatisierten Soll-/Ist-Vergleich erforderliche Soll-Ergebnis kann RapidRep entweder übernehmen oder selbst bestimmen:

  1. Erwartete Ergebnisse sind bekannt => Soll-Ergebnis übernehmen
  2. Erwartete Ergebnisse sind ableitbar (z.B. Migration) => Soll-Ergebnis ermitteln
  3. Erwartete Ergebnisse sind unbekannt => RapidRep ermittelt das Soll-Ergebnis („Testorakel“). Siehe Modellbasiertes Testen.

Beim Soll-Ist-Vergleich erstellt RapidRep immer eine Excel Arbeitsmappe, in der die Durchührung eines Laufes bzw. eines Defektes detailliert beschrieben wird. Das Vorgehen erfüllt alle relevanten ISO/IEC/IEEE Testnormen.

Die Durchführung einzelner oder aller Testfälle erfolgt über die Test Runner GUI oder in einer Stapelverarbeitung durch Befehle der Testing CLI.

Austausch der Testergebnisse mit einem Test- und Fehlermanagementsystem

RapidRep kann Testergebnisse mit einem Test- und Fehlermanagementsystem austauschen. Die Test Suite kommuniziert mit allen Systemen (siehe Unterstützte Systeme) in beide Richtungen über deren jeweilige API. Das Testergebnis inklusive der Excel Arbeitsmappe wird als neuer "Run" an den entsprechenden Testfall angehängt. Im Fehlerfalle kann RapidRep einen neuen Defekt erstellen oder einen bereits existierenden Defekt aktualisieren. Die angehängte Excel Arbeitsmappe enthält alle für die Fehleranalyse relevanten Details. Auf diese Weise basiert das Fortschrittsreporting im Testmanagementsystem stets auf aktuellen Daten.

Dieser Schritt ist optional und kommt in agilen Testprojekten oft nur bei den System- und Abnahmetests zum Einsatz.

Bestimmung der Testauswertungslogik

Die integrierte Entwicklungsumgebung von RapidRep ermöglicht eine transparente und elegante Umsetzung der Logik zur Testauswertung. Alle zur Testdurchführung relevanten Schritte sind in einer sogenannten Reportdefinition versioniert in einem Repository abgelegt.

Mit Hilfe von SQL, zweier Skriptsprachen, Excel Formeln und einer Rule-Engine können einfache und komplexe Auswertungen verständlich und wartbar umgesetzt werden. Die Verwendung von benutzerdefinierbaren Excel Arbeitsmappen als Ausgabemedium sorgt für eine übersichtliche und klare Trennung von Layout und Inhalt. Die Laufzeitumgebung von RapidRep (Test Runner oder Testing CLI) ruft die Testimplementierung mit den gewünschten Parametern auf.

Bereitstellung der Testdaten

Oft müssen vor der Durchführung eines Testfalles bestimmte Kriterien erfüllt sein. Die dazugehörigen Operationen wie z.B. Datentabelle löschen, Datei kopieren etc. sind Bestandteil der umgesetzten Testauswertungslogik.

Die Testdaten, die für einen bestimmten Testfall oder ein ganzes Testfallportfolio benötigt werden, kann RapidRep aus einem Datenbestand automatisiert ermitteln. Üblicherweise kommt hier ein regelbasierter Ansatz zum Tragen, der z.B. auf einer produktionsnahen Datenbasis nach Datensätzen mit dazu passenden Kriterien sucht und speichert.

Die Testdaten sind über die entsprechenden Funktionen der RapidRep API anonymisierbar.

Testvorgehen

V-Modell
Der Test Runner ordnet die konkreten Testfälle in einem Testmanagementsystem einer parametrisierten Testlogik zu. Dieser Schritt ist einmal notwendig, damit RapidRep zu den Testfällen das Ergebnis (Passed/Failed) ermitteln kann. Dieses Vorgehen gilt für alle Teststufen (siehe unten).

Agil
RapidRep unterstützt das Testen auch in agilen Softwareentwicklungsprojekten, indem Tests aus der Entwicklungsumgebung heraus adhoc durchführbar sind. Per Knopfdruck kann aufgrund der Automatisierung aller Testschritte während eines Sprints oder am Ende die erreichte Qualität festgestellt werden.

Testobjekt

Die RapidRep Test Suite kann Testfälle für das Back-End automatisiert durchführen und auswerten. Testobjekte im Back-End verfügen über keine Dialogschnittstelle (GUI). Für die Bereitstellung der Eingangsdaten (Testdaten), den Aufruf des Programmes (Prüfling) und zur Beobachtung der Resultate (IST-Ergebnis) ist keine Benutzerschnittstelle erforderlich.

Zu den Testobjekten im Back-End zählen:

  • Programme, die strukturierte Eingangsdaten verarbeiten und strukturierte (Zwischen-) Ergebnisse erzeugen.
  • Strukturierte Geschäftsdaten aller Art (Rohdaten oder Ergebnisse).

RapidRep kann auf über 50 unterschiedliche Datenquellen zugreifen (siehe auch Unterstützte Testobjekte).

Teststufe

Modul- und Modulintegrationstest, fachlicher und technischer Systemtest, Abnahmetest

Testverfahren

White Box, Black Box

Testart

  • Funktionstest
  • Schnittstellentest
  • Regressionstest
  • Wartungstest
  • Migrationstest
  • Mutationstest

Testmethode

Automatisierter Test
Die Auswertung eines Testfalles geschieht immer maschinell, unabhängig davon ob die Testfälle über die GUI im Test Runner oder in Form einer Stapeldatei mit Hilfe der Testing CLI durchgeführt und ausgewertet werden.

Modellbasierter Test
Besonders bei komplexen Funktionstests, in denen das Soll-Ergebnis schwer zu ermitteln ist, wird RapidRep oft als "Testorakel" eingesetzt. Regelwerke, die von der eingebauten Rule-Engine ausgewertet werden, helfen dabei ein schlankes Referenzmodell aufzubauen, welches RapidRep direkt zur Ermittlung der erwarteten Ergebnisse verwendet.