Ziel der Zusammenarbeit
Das gemeinsame Ziel ist die Steigerung der Effizienz und Genauigkeit bei der Datenerfassung durch den Einsatz von KI-Technologien. Dabei soll die User Experience (UX) mithilfe multimodaler Eingaben (Sprache und Text) sowie KI-basierter Eingabeinterpretation und Zuordnung weiter vereinfacht werden. Durch gezieltes Nachfragen nach fehlender Information mithilfe einer Sprachausgabe kann die Datenerfassung im Dialog erfolgen. Nutzern soll ebenfalls ermöglicht werden, freie, unstrukturierte Eingaben durchzuführen, deren Inhalte daraufhin strukturiert zerlegt werden und automatisch an entsprechenden Stellen in Dokumenten/Prüfberichten eingetragen werden.
Arbeiten der Hochschule Hof
Die Hochschule Hof erstellt einen Demonstrator, der die Dateneingabe über Sprache und Freitext ermöglicht. Dieser besteht aus einer Web-Oberfläche mit Optimierung für mobile Endgeräte, welche auf ki-basierten open-source Modellen für Spracherkennung sowie Large Language Models (LLMs) zur Textinterpretation im Backend aufbaut. Zudem wird geprüft, ob eine Integration einer Bildverarbeitungslösung (Vision Language Model) sinnvoll ist, um relevante Informationen aus Fotos zu extrahieren.
Arbeiten des Projektpartners
Der Projektpartner stellt Daten für das Finetuning und die Evaluation der KI-Lösungen zur Verfügung. Er bringt seine Expertise in der Entwicklung von Formularsoftware ein und unterstützt bei der Prüfung der Praxistauglichkeit des Demonstrators. Zudem hilft er bei der Durchführung einer Nutzerstudie, um die Effizienzgewinne und Fehlerquoten im Vergleich zur bestehenden App zu analysieren.
