Grafik 'BITE Homepage'  BITE Homepage  Grafik 'BITE-Zwischenbericht 1997'  BITE-Zwischenbericht 1997   Grafik 'Inhalt'  Kommentare     Grafik 'Stichwortverzeichnis'  Stichwortverzeichnis

Stellungnahme von Mitgliedern der Anwendergremien "Windowsanpassungen" bzw. "Braillezeilen"

Stellungnahme anläßlich der Plenumssitzung der Anwendergremien am 03.02.1997
(Diskettenfassung, bereitgestellt vom Autor)

In den vergangenen Monaten traten erhebliche Meinungsverschiedenheiten auf zwischen den Projektdurchführenden des Modellvorhabens BITE und Mitgliedern der Anwendergremien "Windowsanpassungen" bzw. "Braillezeilen". Diese Differenzen führten schließlich zur Aussetzung unserer Mitarbeit.
Mit unserer heutigen erneuten Stellungnahme wollen wir in Ergänzung zu unserem Brief vom 20.01.97 noch einmal versuchen, unseren Standpunkt den Projektdurchführenden verständlich zu machen.
Zugleich wollen wir aber auch die Hintergründe unserer Entscheidung all denjenigen verdeutlichen, die die bisherige Diskussion nur anhand einiger kurzer - teilweise auch verkürzter - schriftlicher Statements verfolgen konnten. Wir denken hierbei insbesondere an die Mitglieder der anderen Anwendergremien, an die Mitglieder des Beirats des Modellversuchs, aber auch allgemein an die interessierte Öffentlichkeit.
Zur Sache
Einigkeit herrscht in Bezug auf die Zielsetzung, "die Qualität der Hilfsmittelberatung zu verbessern und die Anschaffungsentscheidung der Betroffenen auf eine sachlich fundiertere Grundlage zu stellen." (Stellungnahme der Projektdurchführenden vom 25.10.96)
In dieser Zielsetzung treffen sich die Interessen der Kostenträger, die die Arbeitsplatzausstattungen finanzieren, mit den Interessen der Anwender, die dann mit dieser Ausstattung arbeiten müssen.
Da der Hilfsmittelmarkt in seiner Vielfalt und Komplexität selbst für Fachleute kaum noch zu überblicken ist, müssen Hilfen zur Entscheidungsfindung erarbeitet werden. Dabei reicht es nicht aus, eine Vielzahl technischer Daten und Beurteilungskriterien zu sammeln und darzustellen, vielmehr ist darüber hinaus ein Instrumentarium anzustreben, das geeignet ist, die Fülle der Fakten möglichst zu einer Kaufentscheidung für EIN bestimmtes Hilfsmittel zu verdichten.
Wir verkennen nicht, daß dieser Zwang zur Entscheidung das Bestreben nahelegt, eine Bewertung und Gewichtung der Fakten vorzunehmen. Diese kann aber nicht auf die Beantwortung der Frage abzielen "Welches Hilfsmittel ist allgemein das beste?", sondern ausschließlich auf die Frage "Welches Hilfsmittel ist für einen bestimmten Anwender in einer bestimmten Arbeitsumgebung am besten geeignet?", d.h. es geht darum, "welches Hilfsmittel für den Einzelfall besser geeignet ist." (Projektantrag)

Wie kann dieses Instrumentarium aussehen?
Von Mitgliedern unseres Anwendergremiums sind hierzu wiederholt Vorschläge formuliert worden. Diese zielen darauf ab, die Technik nicht unabhängig vom Anwender zu betrachten, sondern vielmehr diesen mit seinen individuellen Besonderheiten und in seiner speziellen Arbeitssituation zum Ausgangspunkt der Überlegungen zu machen. Dies war offenbar auch ursprünglich im Projekt so vorgesehen, denn im Antragstext heißt es:
"Im Rahmen des Modellvorhabens BITE sollen die wichtigsten Produktgruppen der Informationstechnik für Behinderte nach ihrer Eignung für verschiedene Ausprägungen von Behinderung, für verschiedene Lernvoraussetzungen und Arbeitsanforderungen untersucht werden."
Und an anderer Stelle heißt es:
"Die Testvorhaben sollen mehrere Anwendergruppen mit verschiedenen Anforderungsprofilen einbeziehen."
Eine solche Ausarbeitung verschiedener Anforderungsprofile, die Analyse und Darstellung "verschiedener Ausprägungen von Behinderung" und "verschiedener Lernvoraussetzungen und Arbeitsanforderungen" ist aber bis heute - obwohl mehrfach von uns gefordert - nicht einmal im Ansatz von den Projektdurchführenden vorgelegt worden. Stattdessen wurden detaillierte Produkttests entwickelt. Es verwundert nicht, daß das Design dieser Tests keinerlei Differenzierung im genannten Sinne erkennen läßt, denn wie sollen verschiedene Anforderungsprofile einbezogen werden können, wenn diese noch gar nicht erarbeitet wurden?
Wir stellen fest: Die bisher vorgelegten Testverfahren werden der von der Sache her gebotenen, von uns stets geforderten und im Projektantrag postulierten Einbeziehung der individuellen Anwendersituation nicht gerecht.

Einen weiteren kritischen Punkt in der bisherigen Projektdurchführung sehen wir darin, daß nach wie vor Unklarheit in dem zentralen Punkt herrscht, in welcher Weise konkret die Bewertung und Gewichtung der gesammelten Daten und Fakten erfolgen soll. Hierzu war von den Projektdurchführenden zunächst die sogenannte Nutzwertanalyse als Verfahren genannt worden. Im Projektantrag heißt es dazu:
"Charakteristische Leistung der Nutzwertanalyse ist es, komplexe Handlungsalternativen nach den Präferenzen der Entscheidungsträger zu ordnen. Hierbei werden hierarchische Zielsysteme aufgestellt, die auf der untersten Ebene operationalisierte, d.h. meßbare Indikatoren für die Zielerfüllung enthalten. Die Meßwerte werden nach verschiedenen Rechenverfahren verdichtet. Es ergeben sich vergleichbare numerische Werte als Ausdruck des Gesamtnutzens einer Alternative."
Es ist keine Frage, daß "meßbare Indikatoren für die Zielerfüllung" wünschenswert sind. Die eingehende Bearbeitung und Diskussion der vorliegenden Materie im Anwendergremium hat jedoch gezeigt, daß solche Indikatoren nur in einem sehr beschränkten Umfang fixiert werden können. So lassen sich zwar durchaus Fragen formulieren, die darauf abzielen, ob eine bestimmte Funktion von einem Hilfsmittel erfüllt wird oder nicht. Auch kann man z.B. objektiv messen, wie lange es dauert, bis eine Braillezeile das wiedergibt, was auf dem Bildschirm erscheint. Diese tatsächlich operationalisierbaren Kriterien sind jedoch leider relativ selten bzw. besitzen in Bezug auf die Gebrauchstauglichkeit und Effektivität eines Hilfsmittels insgesamt eine eher untergeordnete Bedeutung.

Die Projektdurchführenden haben angesichts dieses Mangels an tatsächlicher Operationalisierbarkeit einen Indikator eingeführt, der auf den ersten Blick hilfreich erscheinen mag, bei näherer Betrachtung jedoch völlig untauglich ist, nämlich die "Anzahl der Bedienschritte". In der Anleitung zum Produkttest "Windowsanpassungen" heißt es dazu:
"Anzahl der Bedienschritte: hiermit ist nicht der einzelne Tastendruck gemeint, sondern eine 'Einheit von Bedienaktion und Kontrolle'. Zum Beispiel zählt jede Tastenkombination der Anpassungssoftware oder der Braillezeile als ein Bedienschritt."
Schon während der Diskussion im Anwendergremium hatten wird darauf hingewiesen, daß es äußerst problematisch ist, Bedienschritte als gleichwertige und damit vergleichbare Einheiten eindeutig zu definieren. Genau dies wäre aber notwendig, wenn das bloße Zählen dieser Einheiten irgendeinen praktischen Aussagewert haben soll.
Dazu war folgendes Beispiel genannt worden: Bei einem bestimmten Hilfsmittel erfolgt die Steuerung über den Nummernblock. Da die Hand des Anwenders hierbei in der gleichen Position bleiben kann, können diese Kommandos in Form von Ziffernfolgen sehr schnell hintereinander und treffsicher eingegeben werden. Eine Kontrolle nach jedem einzelnen Kommando ist hier also dann nicht unbedingt erforderlich, wenn der Anwender sowohl die Bedienschritte als auch die dazu notwendigen Ziffernkommandos auswendig kennt. An dieser Stelle wird noch einmal deutlich, daß die Effektivität dieser Bedienstrategie unmittelbar zusammenhängt mit den kognitiven Fähigkeiten des Anwenders (Anwenderprofil) als auch mit der Frage, wie häufig die jeweilige Befehlsfolge in seinem Arbeitsbereich vorkommt (Arbeitsplatzprofil).
Vor allem aber stellt sich die Frage: Was ist hier ein Bedienschritt im Sinne der obigen Definition? Da eine eindeutige, operationalisierbare Präzisierung dieses Begriffs offenbar nicht möglich ist, wird stattdessen der beabsichtigte Effekt als Definitionsersatz genommen:
"Ziel des Zählens ist letztendlich nicht die absolute Zahl der Bedienungen, sondern der Vergleich zwischen dem Aufwand der Bedienungen verschiedener Anpassungssoftware."
Bis heute ist von den Projektdurchführenden nicht gesagt worden, wie die "verschiedenen Rechenverfahren" aussehen sollen, mit deren Hilfe die "Meßwerte verdichtet" werden sollen, um schließlich zu "vergleichbaren numerischen Werten als Ausdruck des Gesamtnutzens" zu gelangen.

In Bezug auf das Problem der Gewichtung der verschiedenen Kriterien heißt es im Projektantrag:
"Der wesentliche Schritt des Verfahrens ist schließlich die Gewichtung der einzelnen Zweige des Zielsystems nach ihrer Bedeutung für die mit dem Produkt zu erzielende Arbeitseffektivität." ... "Die Gewichtung ist für die herausgearbeiteten typischen Anwendergruppen einzeln vorzunehmen. Es entsteht ein anwendungsspezifisch gewichtetes System von Anforderungskriterien an einen Produkttyp als Grundlage (!) für das Testverfahren ebenso wie für die einzelfallbezogene Hilfsmittelberatung."
Richtig ist, daß die Gewichtung - wenn man sie denn vornehmen will - "ein wesentlicher Schritt des Verfahrens" ist. Um so unverständlicher ist es, daß auch hierzu noch keinerlei konkrete Aussagen von den Projektdurchführenden gemacht wurden. Vollends unverständlich ist, daß andererseits schon Tests entwickelt wurden, obwohl ein "anwendungsspezifisch gewichtetes System von Anforderungskriterien" wiederum "als Grundlage für das Testverfahren" dienen sollte.

Es ist in der Tat merkwürdig, daß hier viel Zeit und Arbeit in die Formulierung von Testaufgaben investiert wurde, ohne eine Vorstellung davon zu haben, welchen Aussagewert die Testergebnisse später haben sollen. Es liegt der Verdacht nahe, daß der Mangel an wirklich aussagekräftigen Indikatoren kompensiert werden soll durch das Messen scheinbar objektiver Größen wie der "Zahl der Bedienschritte", aber auch durch die Anhäufung von Kriterien, die zwar objektiv meßbar sind (funktioniert - funktioniert nicht), die aber gar nicht so wichtig sind, was allerdings erst dann auffallen kann, wenn das Gewichtungsverfahren offengelegt wird.

Zu den bisher vorgelegten Testfragen
Der bisher vorgelegte "Prüfplan Produkttest zu den Windowsanpassungen für Blinde" besteht aus gut 200 einzelnen Testaufgaben. In relativ kleinen Bedienschritten wird darin eine bestimmte Art der Windowsbedienung vorgegeben. Völlig unverständlich ist uns, warum hierbei überwiegend ausgerechnet die Bedienung mit der Maus gefordert wird, obwohl gerade diese Art der Bedienung für blinde Anwender besonders untypisch ist. Es wird so getestet, als hieße die Fragestellung "Können Blinde unter Windows genau so arbeiten wie Sehende?" und nicht "Inwieweit können Blinde unter Windows vergleichbare Arbeitsergebnisse erzielen wie Sehende?"
Diese falsche Zielrichtung der Fragen kommt auch im folgenden zum Ausdruck. Die Vorgabe möglichst vieler kleiner Bedienschritte im Test ist zwar vor dem Hintergrund verständlich, möglichst viele vergleichbare Meßdaten gewinnen zu wollen. Sie ist aber hier der Sache insofern nicht angemessen, als die verschiedenen Hilfsmittel von ganz unterschiedlichen Bedienstrategien ausgehen. Es kommt eben letztlich nicht darauf an, ob der Blinde ein typisches Arbeitsziel auf eine ganz bestimmte vorgegebene Art und Weise erreichen kann, sondern darauf, ob er sie überhaupt - und zwar auf seine spezifische Weise - in vertretbarer Zeit und Qualität ausführen kann. Diese spezifische Arbeitsweise kann aber von Hilfsmittel zu Hilfsmittel sehr unterschiedlich sein.
Wir Mitglieder des Anwendergremiums "Windowsanpassungen" haben die Forderung erhoben, auf eine Bewertung und Gewichtung vollständig zu verzichten - nicht, weil wir diese für nicht wünschenswert halten, sondern, weil wir bis heute im Projekt kein seriöses Verfahren erkennen können, das zu einem der Sache angemessenen Ergebnis führen könnte.
Zukunftsperspektiven
Diese Einschätzung bedeutet keineswegs, das Kernziel einer Verbesserung der Beratungsqualität durch Entwicklung eines geeigneten Instrumentariums aufgeben zu müssen. Wir haben hierzu bereits verschiedene Vorschläge gemacht an deren weiterer Ausarbeitung und Entwicklung wir uns gerne beteiligen würden. Wir lehnen jedoch jede weitere Mitarbeit ab, solange die angesprochenen Fragen ungeklärt bleiben. Insbesondere fordern wir:

1. Anwender- und Arbeitsplatzprofile müssen erarbeitet und vorgelegt werden.
2. Falls die Projektdurchführenden weiterhin die Absicht haben sollten, die Produkte in irgendeiner Form zu bewerten und zu gewichten, dann müssen sie endlich offenlegen, wie sie dies konkret zu tun gedenken.
3. Produkttests werden erst dann durchgeführt, wenn geklärt ist, welchen Aussagewert sie haben sollen.
4. Für die vorangegangenen Punkte wird ein verbindlicher Zeitplan aufgestellt.
5. So lange die offenen Fragen nicht geklärt sind, distanzieren wir uns ausdrücklich von dem Projekt und verwahren uns dagegen, in schriftlichen oder mündlichen Veröffentlichungen des Projekts als Mitwirkende oder gar Mitverantwortliche genannt zu werden.

Hamburg, 03.02.1997
Gerd Heimann - Handelsschule für Blinde und Sehbehinderte, Hamburg
Richard Heuer gen. Hallmann - FernUniversität Hagen / ISCB / FIT
Ulrich Kalina - Deutsche Blindenstudienanstalt, Marburg
Werner Krauße - Berufsförderungswerk, Veitshöchheim / FIT
Heinz Pinell - Finanzverwaltung NRW, Düsseldorf / FIT
Rüdiger Leidner - Bundeswirtschaftsministerium, Berlin
Rolf Zacharias - Landesverwaltungsamt, Hamburg

Grafik 'Zurück'  Rüdiger Leidner: Computerhilfen für Blinde und Sehbehinderte sinnvoll testen.
Grafik 'Weiter'  Heinz Pinell: Anschreiben vom 27.02.1997

Erstellt: 10.08.1998 13:31   Aktualisiert: 14.12.1998 21:48
Autor: Brigitte Bornemann-Jeske et al.
Copyright © 1998 BIT GmbH - Mailto: 0402987340@t-online.de
Modellversuch im Auftrag des Bundesministeriums für Arbeit und Sozialordnung