Evaluierungsphase bei KomIn2Assist

Die Entwicklung innovativer Assistenzsysteme ist nur dann sinnvoll, wenn sie den Menschen, die sie später nutzen sollen, wirklich helfen. Genau deshalb befindet sich das Forschungsprojekt KomIn2Assist aktuell in einer intensiven Evaluierungsphase und die ersten Ergebnisse fallen erfreulich positiv aus.

Die drei Assistenzsysteme  Damit alle Testpersonen mit denselben Grundlagen starten, hier eine kompakte Einordnung der drei Assistenzsysteme, die im Projekt zum Einsatz kommen:

• Visuelle Unterstützung durch den Schlauen Klaus

• Digitale Begleitung durch den Assistenzagenten Gregor

• Schnelles Einrichten neuer Aufgaben über ein KI gestütztes Einteach-System

Gemeinsam bilden sie ein flexibles Unterstützungssystem, das Orientierung gibt, motiviert und Arbeitsprozesse leichter zugänglich macht.

Photo: KomIn2Assist

Wie läuft die aktuelle Evaluierungsphase ab? 

1. Testen durch Menschen mit Behinderungen 

Im Mittelpunkt stehen die Menschen, für die das System entwickelt wird. Sie testen die Assistenzsysteme direkt am Arbeitsplatz und bewerten anschließend:

• Hilft mir das System bei meiner Arbeit?

• Fühle ich mich unterstützt oder eher abgelenkt?

• Brauche ich diese Art von Assistenz überhaupt?

Die Bewertung erfolgt auf einer Skala von 0 bis 10, ein einfaches, klares Verfahren, das unmittelbares Feedback liefert.

Die Prognose der bisherigen Tests ist sehr positiv. Die Mehrheit der teilnehmende berichten, dass die Systeme ihnen helfen, sicherer und selbstständiger zu arbeiten.

2. Wissenschaftliche Evaluation mit der Hochschule Offenburg Parallel zur praktischen Erprobung findet eine wissenschaftliche Begleitung durch das Affective & Cognitive Institute der Hochschule Offenburg statt. 

Ein wichtiges Instrument in der aktuellen Evaluierung ist der SUS – System Usability Scale. Dieser standardisierte Fragebogen misst, wie benutzerfreundlich ein System wahrgenommen wird und wie gut es sich in der Praxis bedienen lässt.

Dabei werden unter anderem folgende Aspekte bewertet:

• Verständlichkeit und Einfachheit der Bedienung

• subjektive Belastung während der Nutzung

• wahrgenommene Sicherheit und Kontrolle

• generelle Zufriedenheit mit der Handhabung

Der SUS ergänzt die persönlichen Rückmeldungen der Testpersonen um klar strukturierte, wissenschaftlich belastbare Daten. Dies ist eine wertvolle Grundlage, um die Assistenzsysteme gezielt weiter zu optimieren.

3. Nutzerakzeptanz: Das Technology Acceptance Model (TAM) 

Ergänzend dazu wird das Technology Acceptance Model (TAM) eingesetzt, um besser zu verstehen, wie gut die Assistenzsysteme von den Nutzenden angenommen werden. Das Modell betrachtet zwei zentrale Faktoren:

• Wahrgenommene Nützlichkeit: hilft mir das System wirklich weiter?

• Wahrgenommene Benutzerfreundlichkeit: lässt es sich einfach und intuitiv bedienen?

Diese beiden Aspekte beeinflussen maßgeblich, ob ein System akzeptiert und regelmäßig genutzt wird. Die TAM‑Ergebnisse liefern damit eine zusätzliche Perspektive darauf, wie sinnvoll und zugänglich die Assistenzsysteme im Alltag erlebt werden.

4. Iterative Zyklen – Testen, Verbessern, Weiterentwickeln 

KomIn2Assist arbeitet in drei Iterationszyklen, an deren Ende jeweils eine Evaluation steht. 

Der Ablauf sieht typischerweise so aus:

1. Entwicklungsphase: Neue Funktionen, Interaktionen oder Gamification-Elemente werden implementiert.

2. Praxistest bei den Anwenderunternehmen: Unter realen Bedingungen, z. B. bei Femos gGmbH testen Mitarbeitende die Systeme.

3. Datenerhebung:

   Durch subjektive Bewertungen (0–10), standardisierte Fragebögen  und Beobachtungen im Arbeitsprozess.

4. Analyse & Anpassung: Die Ergebnisse fließen direkt in die nächste Entwicklungsrunde ein.

Dieses Vorgehen stellt sicher, dass das Assistenzsystem nicht an den Bedürfnissen der Zielgruppe vorbeientwickelt wird, sondern gemeinsam mit ihnen wächst. 

Warum ist diese Evaluierungsphase so wichtig? Die Zielgruppe von KomIn2Assist hat sehr unterschiedliche Fähigkeiten, Bedürfnisse und Arbeitsweisen. Ein Assistenzsystem kann nur dann inklusiv sein, wenn es:

• adaptiv ist,

• nicht bevormundet,

• Motivation statt Druck erzeugt,

• und echte Teilhabe ermöglicht.

Die Evaluation zeigt, ob diese Ziele erreicht werden und wo noch nachjustiert werden muss.

Erste Erkenntnisse und Ausblick 

Schon jetzt lässt sich sagen, dass die Assistenzsysteme werden als hilfreich, motivierend und entlastend wahrgenommen.

Besonders positiv hervorgehoben werden die klare, verständlichen Anleitungen und die motivierende Gamification-Elemente. Zudem passieren weniger Fehler im Arbeitsprozess und die Nutzendengewinnen mehr Selbstvertrauen bei neuen oder komplexen Aufgaben

Damit bestätigt sich die Grundidee des Projekts: Technologie kann ein Schlüssel zu mehr Selbstbestimmung und Teilhabe sein.

Bis Mitte 2026 wird KomIn2Assist weiter getestet, verbessert und wissenschaftlich begleitet. Die aktuelle Evaluierungsphase ist ein entscheidender Schritt und die bisherigen Ergebnisse zeigen, dass das Projekt auf einem sehr guten Weg ist.

Genauso gespannt wie wir? Dann verfolgen Sie den Stand des Projekts auf unserer Webseite unter Aktuelles oder auf unserem LinkedIn-Account.