Ein Kamerasystem, zwei Gesichter
Was wir am Ende von KomIn2Assist über spielerische Assistenz in der inklusiven Montage gelernt haben
Dreieinhalb Jahre lang haben wir mit Werkstätten, einem Inklusionsunternehmen und einem Hersteller von Montageassistenz an einer Frage gearbeitet: Wie muss digitale Unterstützung am Arbeitsplatz aussehen, damit Menschen mit Beeinträchtigung nicht nur richtig montieren, sondern auch gern? Unsere Antwort heißt Gregor – ein freundlicher Avatar, der Punkte vergibt, lobt und den Fortschritt als Pyramide sichtbar macht. In diesem letzten Beitrag zeigen wir, was die abschließende Auswertung ergeben hat. Das Ergebnis ist spannender als eine einfache Erfolgsmeldung.
Das Wichtigste in Kürze
Ein kamerabasiertes Assistenzsystem halbiert die Montagefehler gegenüber einer Papieranleitung etwa.
Gregor wird von den Beschäftigten deutlich besser bewertet und als motivierend erlebt.
Gleichzeitig passieren mit Gregor rund doppelt so viele Fehler wie mit der schlichten Kameraanzeige – obwohl dieselbe Kamera und Software die Fehler erkennt.
Den größten Zuspruch findet Gregor bei den Beschäftigten mit dem höchsten Unterstützungsbedarf.
Der Trick: ein Gehirn, zwei Gesichter
Wer zwei Assistenzsysteme vergleicht, vergleicht normalerweise zwei komplette Produkte: andere Kamera, andere Erkennung, andere Bildschirmdarstellung. Schneidet eines besser ab, weiß man nicht, woran es lag. Bei KomIn2Assist konnten wir das umgehen. Gregor hat keine eigene Kamera. Er „hört“ dem kamerabasierten Assistenzsystem Schlauer Klaus zu, das über der Arbeitsfläche erkennt, welche Teile liegen, welcher Schritt dran ist und ob etwas falsch montiert wurde – und stellt genau diese Informationen anders dar.
Damit war in unseren Studien alles gleich, was „unter der Haube“ passiert. Verändert hat sich nur das Gesicht des Systems: hier eine schlichte Anzeige des nächsten Arbeitsschritts, dort Gregor mit Avatar, Punkten, Pyramide und Lob.
Zwei Studien in drei Unternehmen
Montiert wurde jeweils ein kleines Fahrzeug aus Bausteinen, zehnmal hintereinander. In Studie 1 verglichen wir eine bebilderte Papieranleitung mit dem Schlauen Klaus (45 Personen, die beide Varianten durchliefen). In Studie 2, rund neun Monate später, kam Gregor hinzu (68 Personen). Insgesamt waren 110 Beschäftigte aus zwei Werkstätten für Menschen mit Behinderung und einem Inklusionsunternehmen beteiligt.
Studie 1 bestätigte, was man sich von Kameraassistenz erhofft: Die Fehler sanken gegenüber Papier etwa um die Hälfte. Beim ersten Durchgang waren die Beschäftigten mit Kamera zudem rund zehn Prozent schneller. Dieser Zeitvorteil verschwand allerdings, sobald die Aufgabe vertraut war – beim zehnten Durchgang war die Papiergruppe sogar etwas schneller.
Beliebter – aber nicht genauer
Dann der Vergleich, auf den es ankam. Auf der System Usability Scale, einem verbreiteten Fragebogen zur Benutzerfreundlichkeit von 0 bis 100 Punkten, erreichte Gregor im Mittel 72,5 Punkte, der Schlaue Klaus 54,5 Punkte. Das ist ein großer Unterschied von 18 Punkten. Gregor liegt damit über dem üblichen Durchschnittswert von 68, die schlichte Anzeige klar darunter.
Bei den Fehlern zeigt sich das umgekehrte Bild. Mit Gregor passierten ungefähr doppelt so viele Montagefehler wie mit dem Schlauen Klaus – gemessen von derselben Kamera und derselben Software. Ein Messartefakt ist das also nicht; die Beschäftigten haben tatsächlich anders gearbeitet. Mit der schlichten Anzeige sank die Fehlerzahl von Durchgang zu Durchgang deutlich, mit Gregor blieb sie auf einem mittleren Niveau stehen.
Warum mehr Fehler?
Zwei Erklärungen liegen nahe, und wahrscheinlich wirken beide. Die erste ist Aufmerksamkeit: Laut Beobachtungsnotizen schenkten elf Teilnehmende Gregor kaum Beachtung und bauten das Fahrzeug einfach auf ihre eigene Weise. Im Fragebogen verneinten die Beschäftigten allerdings im Mittel, dass Gregor sie ablenke.
Die zweite Erklärung ist eine bewusste Designentscheidung von uns selbst: Gregor sollte niemanden entmutigen und hält negative Rückmeldungen deshalb bewusst klein. Wer weniger deutlich gesagt bekommt, dass ein Schritt falsch ist, korrigiert ihn seltener. Die Geschwindigkeit der Rückmeldung scheidet dagegen als Ursache aus – sie kam in beiden Varianten innerhalb von Sekundenbruchteilen.
Motivation darf nicht durch weniger Fehlerrückmeldung erkauft werden. Fehler müssen unmissverständlich sichtbar sein – im Ton aber gern freundlich.
Für wen lohnt sich Gregor?
Die Gruppenleitungen hatten vorab für jede Person eingeschätzt, wie viel Unterstützung sie im Arbeitsalltag braucht (kognitiv, emotional und motorisch). Teilt man die Beschäftigten danach in drei Gruppen, ergibt sich ein klares Muster: Je höher der Unterstützungsbedarf, desto größer der Vorsprung von Gregor. Bei der Gruppe mit dem höchsten Bedarf sind es 26 Punkte, bei der mit dem geringsten nur 11.
Das ist ermutigend. In der Fachliteratur gibt es die berechtigte Sorge, dass Spielelemente gerade Menschen mit stärkerer Beeinträchtigung überfordern könnten. Unser bewusst niedrigschwelliges Design – keine Ranglisten, kein Vergleich mit Kolleginnen und Kollegen, nur der eigene Fortschritt – kam aber gerade bei ihnen am besten an. Interessant: Der Zusammenhang hängt vor allem an der motorischen Einschätzung, weniger an der kognitiven.
Motivation: deutliche Zustimmung
Zusätzlich fragten wir direkt nach Motivation. Auf einer Skala von 1 bis 5 lag die Zustimmung im Mittel bei 4,1. Punkte sammeln, die Pyramide und Gregor selbst wurden durchweg positiv bewertet. Bemerkenswert ist, dass Motivation und Benutzerfreundlichkeit kaum zusammenhängen: Wer ein System als leicht bedienbar erlebt, fühlt sich dadurch nicht automatisch motivierter – und umgekehrt. Beides muss man getrennt messen.
Was wir (noch) nicht wissen
Gute Forschung benennt ihre Grenzen – und davon gibt es hier einige, die wir offen ansprechen möchten.
Ein wackliger Fragebogen. Der Usability-Fragebogen enthält abwechselnd positiv und negativ formulierte Aussagen. Für den Schlauen Klaus haben die Beschäftigten diese nicht einheitlich beantwortet, am wenigsten in der Gruppe mit dem höchsten Unterstützungsbedarf. Wer einfach allen zehn Aussagen zustimmt, landet rechnerisch bei genau 50 Punkten. Das kann den Abstand zu Gregor vergrößert haben. Die Richtung des Ergebnisses halten wir für belastbar, seine genaue Größe nicht.
Reihenfolge und Umfeld. Gregor kam immer als Letztes und war neu. Die Fragebögen wurden im Beisein des Teams vorgelesen, das Gregor entwickelt hat. Beides kann die Bewertung begünstigen.
Laborähnliche Aufgabe. Das Bausteinfahrzeug ist ein kontrolliertes Modell echter Montage. Wie sich Gregor über Wochen im Produktionsalltag bewährt, haben wir nicht untersucht.
Was wir mitnehmen
Aus dreieinhalb Jahren Projektarbeit bleiben vier Lehren, die über Gregor hinaus gelten:
Die Oberfläche ist ein eigener Hebel. Bei identischer Technik darunter hat allein die Darstellung die Fehlerzahl verdoppelt und die Bewertung deutlich verbessert. Sie verdient dieselbe Sorgfalt wie Sensorik und Erkennung.
Freundlich und klar schließen sich nicht aus. Die nächste Gregor-Version sollte Fehler unübersehbar anzeigen und trotzdem ermutigend bleiben. Ob sich die Genauigkeit dann erholt, lässt sich gezielt testen.
Anpassen statt Einheitslösung. Wer viel Unterstützung braucht, profitiert offenbar am meisten von einer spielerischen Darstellung. Ob eine gezielte Anpassung an die Person wirkt, muss eine kontrollierte Studie zeigen.
Messinstrumente für die Zielgruppe prüfen. Fragebögen mit verneinten Aussagen funktionieren für viele Menschen mit Lernschwierigkeiten schlecht. Künftige Studien brauchen einfache, einheitlich formulierte Instrumente.
Danke!
KomIn2Assist endet – die Fragen, die es aufgeworfen hat, bleiben. Wir danken allen Beschäftigten, die mit viel Geduld Fahrzeuge gebaut und Fragen beantwortet haben, den Gruppenleitungen und Fachkräften in den Partnerunternehmen sowie unseren Projektpartnern Femos, Die Lebenswerkstatt, Intra-Mechanik und Optimum. Die Ergebnisse haben wir in einem wissenschaftlichen Fachartikel aufbereitet, der sich derzeit in der Begutachtung befindet.
Kommentare