Testsauswertung in TPT

Ihnen steht dazu eine Vielzahl unterschiedlicher Auswertungsmethoden in TPT zur Verfügung, die jeweils spezifisch auf bestimmte Problemklassen zugeschnitten sind. Das Spektrum reicht hierbei von einfachen Werteüberprüfungen von Signalen zu charakteristischen Zeitpunkten über Signalvergleiche mit vorgegebenen Referenzkurven bis hin zu frei konfigurierbaren Auswerteregeln auf Basis einer auf Python basierenden Skriptsprache.

Alle Prüfergebnisse und eventuelle Abweichungen vom Soll-Verhalten werden von TPT automatisch protokolliert und abschließend in einem Testreport übersichtlich zusammengefasst.

Tests können wie folgt in TPT ausgewertet werden:


Manuell

Sie können das Dashboard von PikeTec für die Auswertung während des Testlaufs verwenden. Um Tests nach der Ausführung auszuwerten, steht Ihnen der Signal Viewer von PikeTec zur Verfügung.

Während der Testausführung

Auswertungsregeln, die während der Testausführung in Aktion treten, ermöglichen es, vorab definierte Ergebniserwartungen auf ihr Eintreten oder Nichteintreten zu überprüfen. Komplexere Prüfungen lassen sich durch das Verwenden von konditionalen Verzweigungen im Automaten realisieren, oder durch das Setzen von beispielsweise If-Schritten oder While-Schritten in einer Testschrittliste.

Nach der Testausführung

Testdaten können nach der Testausführung bewertet werden. Es stehen grafische Benutzeroberflächen für standardisierte Überprüfungen wie Back-to-Back-Analysen sowie eine ausgefeilte spezielle Skriptsprache für komplexere Analysen zur Verfügung.

Tests manuell auswerten

TPT unterstützt die manuelle Auswertung mit dem Signal Viewer. Mit diesem können Sie eine einzelne Testausführung detailliert grafisch zu untersuchen. Funktionen wie Zoom, Skalierung der Ansicht, Multi-Windowing, Verwaltung von Anzeigekonfigurationen als auch die Verwendung mehrerer Cursor und Differenzanzeigen sind möglich.

Alternativ können Sie mit dem Dashboard von PikeTec grafische Benutzeroberflächen erstellen, mit denen Sie mit dem zu testenden System interagieren können und zeitnah optische Rückmeldungen erhalten.


TPT Signal Viewer

Mit dem Signal Viewer in TPT können Test- und Messdaten verschiedener Formate wie bspw. *.mat, *.mdf, *.dat und *.csv angezeigt werden. Das Browsen durch verschiedene Daten und deren Abhängigkeiten ist sehr einfach und erlaubt Debugging und Testbewertung.

Ihnen stehen u.a. mehrere Filteroptionen, mehrere Fenster, Signalverlaufsanzeigeformen, und zwei Cursor im Test Data Viewer zur manuellen Auswertung zur Verfügung.

Dashboard

Mit dem Dashboard von PikeTec können Sie eigene Benutzeroberflächen gestalten und so mit dem Test interagieren und das Testverhalten zeitnah grafisch verfolgen. Eine Bewertung der Tests ist mit dem Dashboard einfach und problemangepasst möglich.

Mit dem Dashboard können Sie ein System über grafische Elemente stimulieren und das Verhalten des Systems während der Ausführung beobachten.

Tests während der Ausführung auswerten

In einer Testdefinition werden die Eingangssignale des zu testenden Systems Abschnitt für Abschnitt festgelegt. Genauso können Sie vorab Erwartungswerte im Testmodell definieren. So können Sie überprüfen, ob ein Wert innerhalb eines bestimmten Intervalls immer oder nur einmalig erreicht wurde. Das Eintreten oder Nichteintreten von logischen oder zeitlichen Bedingungen ist ebenfalls überwachbar.


Compare Steps gehören zu den Assessments und werden im zu vergleichenden Testschritt eingefügt.
2 Bilder   

Tests mit anpassbaren Regeln auswerten

Sie können diverse Regeln anlegen, um Ihre Tests auszuwerten. Für typische Standardauswertungen existieren eine Anzahl vordefinierter grafischer Formulare,
die in TPT als "Assesslets" bezeichnet werden. Diese Form der Testauswertung basiert auf den aufgezeichneten Testdaten nach erfolgter Testdurchführung.


Min/Max-Comparison

Das Min/Max-Comparison-Assesslet erlaubt Prüfungen, ob ein Signal immer innerhalb eines vordefinierten Wertebereiches ist oder Werte immer zwischen zwei anderen Signalen liegen.

Signalvergleich

Das Signal-Comparison-Assesslet ermöglicht den Vergleich von einem oder mehreren Signalen unter Berücksichtigung eventueller Toleranzen. Es sind absolute, relative und zeitliche Toleranzen möglich, aber auch Toleranzen in Abhängigkeit von der Signalskalierung.

Äquivalenzklassen-
check

Das Äquivalenzklassencheck-Assesslet überprüft, ob mit den durchgeführten Tests alle zuvor definierten Äquivalenzklassen erreicht wurden und dokumentiert die Abdeckung in Form einer statistischen Übersicht.

Kausale Regeln prüfen

Mit Hilfe des Trigger-Rule-Assesslets können Wenn-Dann Regeln mit zeitlichen und logischen Randbedingungen geprüft werden. Bestimmte Aktivierungs-/Deaktivierungs-
bedingungen lösen dabei die Überprüfungen aus oder beenden diese. Zeitliche Einschränkungen oder Abbruchbedingungen sind möglich.

Sequenzen prüfen

Das Sequence-Check-Assesslet ermöglicht die Prüfung aufeinanderfolgender Phasen anhand von Signaleigenschaften.

Tests mit einem Skript auswerten

In TPT steht für die Testauswertung eine sehr mächtige und flexible Skriptsprache zur Verfügung. Diese sogenannte TPT-Assessment-Sprache ermöglicht die Berechnung von abgeleiteten Signalen aus den aufgezeichneten Testdaten, die Ermittlung von Testphasen, Bewertung von Signalen und ihren Abhängigkeiten, die Dokumentation der Analysen im Report als auch die Verwendung von wiederkehrenden Regeln als Libraries.

Die TPT-Assessment-Sprache basiert auf Python, sodass neben den TPT-spezifischen Funktionen auch alle
Python-Funktionalitäten zur Verfügung stehen. Es ist möglich Testauswertungen testfallspezifisch zu verwenden oder allgemeingültige Regeln zu definieren, die in allen Tests zur Überwachung der Anforderungen berechnet werden.


Signalvorverarbeitung

Um interessante Informationen aus Signalen zu extrahieren ist häufig eine Vorverarbeitung notwendig. In TPT können aus einzelnen oder mehreren Signalen Berechnungen durchgeführt werden. Mathematische Operatoren stehen hierfür genauso zur Verfügung wie Signalverarbeitungsfunktionen wie bspw. Filterfunktionen.

Im Skript-Assesslet können Sie spezielle TPT-Filter-Funktion nutzen. Wie und wofür Sie diese einsetzen, erfahren Sie über die umfangreiche Kontextmenühilfe.

Phasen extrahieren

Testphasen können mit temporalen Musterbeschreibungen in Signalen gesucht werden. In so identifizierten Testphasen lassen sich dann entweder weitere Einschränkungen der Phasen berechnen oder charakteristische Merkmale überprüfen.

Skript-Assesslet mit TPT-Assessmentfunktionen.

Bewertungen

Für die Bewertung stehen in der TPT-Assessmentsprache vielfältige Möglichkeiten zur Verfügung. Unter anderem lassen sich Laufzeiten, Gradienten, Sprünge in Signalen, Differenzen und zeitliche Abfolgen überwachen.

Ihnen stehen im Skript-Assesslet mehrere spezielle TPT-Funktionen zur Auswertung zur Verfügung. Wie und wozu Sie diese einsetzen können, erfahren Sie in der Kontextmenühilfe.

Regressionstests

Liegen Testergebnisse aus früheren Tests vor, kann ein Regressionstest oder Back-to-Back-Test erfolgen. Es werden also neue Testergebnisse mit alten, bereits bewerteten Testergebnissen verglichen. Dadurch kann automatisch verifiziert werden, ob sich das System immer noch gleich verhält. Treten Differenzen auf, dokumentiert TPT die entsprechenden Abweichungen und die Fehlerstellen im Testablauf.

TPT unterstützt den Regressionstest mit einem fehlertoleranten Signalvergleich. Dabei kann ein Toleranzband um die Referenzdaten spezifiziert werden. Zeitliche, absolute und relative Toleranzen sind genauso möglich wie Toleranzen in Abhängigkeit der Skalierung der Signale. Diese skalierungsabhängige Toleranz ist insbesondere beim Vergleich von physikalischen Tests als Model-in-the-Loop (MiL) mit Daten aus dem Software-in-the-Loop (SiL) Tests hilfreich.


Mit TPT können Regressionstests durchgeführt werden.

Folgen Sie uns