Im Zentrum der Produktprüfung steht die praktische Untersuchung der Eigenschaften von Einzelprodukten der Produktgruppen ”Windows-Anpassungen für Blinde” und ”Braillezeilen”. Neben den Anforderungsprofilen sind weitere Grundlage hierfür insbesondere Teil 10 ”Grundlage der Dialoggestaltung” und Teil 11 ”Anforderungen an die Gebrauchstauglichkeit” der ”pr EN ISO/EN 29421 Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten”.

Um zu messen, in welchem Umfang und mit welcher Qualität die zu prüfenden Einzelprodukte den Ansprüchen von Anforderungskriterien und Normen genügen, wurden für die Produktgruppen Windows-Anpassungen und Braillezeilen jeweils eigenständige Musteraufgaben entwickelt. Die Musteraufgaben müssen repräsentativ sein, d.h. mit ihnen müssen sich die jeweiligen Anforderungskriterien eindeutig messen lassen. Dabei haben die Musteraufgaben den Charakter von Indikatoren, mit denen exemplarisch getestet wird, inwieweit die zu prüfenden Produkte den zugrundeliegenden Anforderungsprofilen entsprechen (ob beispielsweise die Programmfunktionen von Software unter MS-Windows nutzbar sind).

Mit dem Eintrag der im Rahmen der Prüfung ermittelten Ergebnisse, einschließlich aller festgestellten Mängel sowie den Angaben zu den an der Prüfung beteiligten Personen werden die ”Prüfkataloge” zum Prüfprotokoll gemäß DIN 12 119 Abs. 4.3.

Gemäß DIN 12 119 soll ein Prüfprotokoll folgendes enthalten:

- einen Prüfplan (hier Prüfkatalog genannt) mit den Prüffällen,

- alle mit den Prüffällen ermittelten Ergebnisse,

- die Benennung der mit der Prüfung befaßten Personen.

In dieser Untersuchung sind die Prüfprotokolle die Formulare der Prüfkataloge mit den im Verlauf der Prüfung eingetragenen Ergebnissen.

In einem parallel zum Testdurchlauf geführten Protokollbogen sollten Ausnahmesituationen und unvorhergesehene Probleme dokumentiert werden. Sollten bei Durchführung der Musteraufgaben ”undefinierte Situationen” eintreten, die ein Ende der Anwendung verursachten, waren die entsprechenden Musteraufgaben zweimal zu wiederholen und erst bei unverändertem ”Absturz” im dritten Versuch in dem Protokollbogen als nicht durchführbar zu protokollieren.

Zur Gewährleistung vergleichbarer Testergebnisse muß sichergestellt werden, daß die Voraussetzungen für alle zu prüfenden Produkte gleich sind. Gefordert ist, daß die den Tests zugrunde liegenden Komponenten der Testcomputer identisch sind. Die technischen Gegebenheiten, unter denen die Praktischen Prüfungen erfolgten, wurden auf einem Geräteperipheriebogen festgehalten.

Die Testaufgaben Praktische Prüfung enthalten in ihrem ersten Teil detaillierte Hinweise über Ausgangsbedingungen der Gerätetests wie auch zu deren Durchführung. Bei den Ausgangsbedingungen ist z.B. gefordert, daß die Windows-Anpassung bzw. die Braillezeile mit Hinweis auf die zu testende Software bestmöglich installiert wird. Ob dies vom Anbieter übernommen wird, unter dessen Anleitung geschieht oder selbst installiert werden kann, war im Vorfeld mit dem betreffenden Anbieter zu klären. Einschränkungen, die vom Anbieter genannt wurden, sollten protokolliert werden.

Zur einfacheren Durchführung der Prüfungen wurden Beispieldateien bereitgestellt.

Der Aufbau der Musteraufgaben folgt der Intention der beiden Anforderungsprofile, die Prüfung der beiden Produktgruppen mit Software durchzuführen, die einen möglichst breiten Bereich der heutzutage in der Berufswelt von Schreibkräften und Sachbearbeitern eingesetzten Anwendungsprogramme einschließt. Eine weitere Zielsetzung besteht darin, auch die Palette der unterschiedlichen Arbeitsaufgaben von der einfachen Sekretariatstätigkeit bis hin zu komplexeren Programmiertätigkeiten zu berücksichtigen. Es werden mit den Musteraufgaben demgemäß sowohl allgemeinere Bereiche wie auch die fortgeschritteneren Programmfunktion einbezogen. Beim Aufbau der Musteraufgaben wurde ein kombiniertes Verfahren gewählt. So wurde die Prüfung der Bedien- und Kontrollierbarkeit einzelner Programme mit Aufgaben zum Testen anderer Effizienz-Kriterien kombiniert.

Die Fragen im Prüfbogen beginnen jeweils beim Programmstart der zu testenden Software und folgen dann einem Schema, welches auf die vorhergehende Aufgabe aufbaut. Die Ausgangspositionen der einzelnen Fragen sind exakt definiert oder - auch darauf wird explizit hingewiesen - basieren auf dem Resultat der vorangestellten Aufgabe. Da der Stand der Technik in der Software für jede beliebige Aktion oder Funktion jeweils mehrere Bedienmöglichkeiten bietet, ist die Art der Aufgabendurchführung immer dann vorgegeben, wenn das Ergebnis bestimmter Einzelschritte ermittelt werden soll. Geht es lediglich um das Resultat einer Aufgabe, ist die Art der Bedienung beliebig wählbar.

Ein häufig genutzter Indikator für die Effizienz von Produktfunktionen bei Hardware-SoftwareProdukten ist die Anzahl der jeweils erforderlichen Bedienschritte, allerdings nur unter Abwägung weiterer Faktoren wie Abrufverfahren (Merkbarkeit, Komplexität etc.) und Strukturierung der Bildschirminformation (flächig/hierarchisch). Ohne Berücksichtigung weiterer Faktoren ist die Zahl der Bedienschritte nur bei großen Abweichungen (z.B. 4 versus 30 Schritte) aussagekräftig und kann dann als Indikator dafür genommen werden, ob einzelne Produkte über eine Spezialfunktion zur Lösung einer Aufgabe verfügen, während andere generelle Verfahren anwenden. Woran es derzeit noch mangelt, sind fundierte wissenschaftliche Erkenntnisse zum Zusammenhang von Softwareergonomie und Blindheit bzw. Sehbehinderungen.

Wir haben daher die Anzahl von Bedienschritten nicht als Indikator für Effizienz eingesetzt, sondern nur in ausgewählten Fällen zur Illustration ergonomischer Fragestellungen genutzt.

Im Vorfeld der eigentlichen Tests wurden mit den Testaufgaben einige Probedurchläufe durchgeführt. Mit Hilfe dieser Pretests wurden Probleme, die aus unklar definierten oder undeutlich beschriebenen Aufgaben entstehen konnten, behoben. Aufgaben wurden unmißverständlich formuliert, zusätzliche Aufgaben wurden aufgenommen, auf andere wurde verzichtet.