Dank der Veröffentlichung von ChatGPT am 30.11.2022 hat das System die Welt im Sturm erobert und auch Skeptiker durch leichte Zugänglichkeit und wortgewandte Antworten von den erstaunlichen Möglichkeiten großer Sprachmodelle überzeugt. Will man seine Daten aber nicht einem Cloud-Dienstleister anvertrauen, so braucht man immer noch tiefgreifendes Know How um geeignete Sprachmodelle auszuwählen, für den eigenen Anwendungsfall mittels finetuning zu spezialisieren und ein Gesamtsystem zusammenzustellen, dass sich auch leicht aktuell halten lässt. Dabei ist die Herausforderung nicht nur dem Modell korrekte und hilfreiche Antworten auf erwartete Fragen zu entlocken, sondern auch ablehnende Antworten auf unerwünschte Fragen zu produzieren. Ein besonders vielversprechender Anwendungsfall ist es dabei Fragen zu beantworten, die Nutzer ansonsten im Handbuch nachschlagen würden. In diesem Fall ist der Nutzen multimodaler Modelle auch besonders offensichtlich, da Handbücher häufig aus einer Kombination von Texten und dazu passenden schematischen Zeichnungen oder Abbildungen bestehen.
Die Bitzinger GmbH verfolgt das Ziel für einen Kunden genau so eine Lösung bereitzustellen. Sie soll mit einer erheblichen Menge Dokumente zurechtkommen und DSGVO-konform ohne Abhängigkeiten zu Cloud-Diensten arbeiten. Die Dokumente sollen das eigene Rechenzentrum nicht verlassen.
Dafür entwickelt die Hochschule Hof im Rahmen des EFRE-Projekts M4-SKI einen Demonstrator mit multimodaler Mensch-Maschine Schnittstelle, die Benutzeranfragen zu Inhalten der internen Dokumente beantwortet und dabei die textuellen mit passenden Bildinhalten anreichert, um die Verständlichkeit zu erhöhen.
Die Hochschule Hof verfügt über Kompetenzen in der Evaluation und dem Finetuning von Sprachmodellen und besitzt außerdem eine entsprechende Hardwareinfrastruktur um auch größere Modelle mittels Instruction Tuning für die geplante Aufgabe vorzubereiten. Folgende Aufgaben werden von der Hochschule Hof übernommen:
- Finden und Evaluieren geeigneter vortrainierter Sprachmodelle, die als Grundlage für das Vorhaben dienen können, da sie in deutscher und englischer Sprache vortrainiert wurden.
- Erstellen eines geeigneten Datensatzes für das Instruction Tuning eines ChatBots für multi-turn Dialoge in deutscher Sprache, z.B. durch Übersetzung existierender englischsprachiger Datensätze
- Finetunen eines oder mehrerer Modelle für deutsche Sprache mit dem eigenen Datensatz
- Ggfs. Quantisieren des Modells zur Verbesserung der Laufzeiteffizienz
- Einbinden des Modells in ein Gesamtsystem mittels LangChain und einer VektorDB.
Die Bitzinger GmbH verfügt über Kompetenzen in der Entwicklung von Software und Web-basierte Benutzeroberflächen und bringt diese im Vorhaben ein, um folgende Aufgaben zu übernehmen:
- Erstellen eines grundlegenden Interaktionskonzepts zwischen Benutzer und Chatbot.
- Bereitstellen von Daten für den Test des Chatbots
- Einbinden des Demonstrators in das existierende Content Management System des Kunden
- Evaluation des Demonstrators in realitätsnahen Szenarien zusammen mit dem Kunden
Der von der Hochschule Hof entwickelte Softwarecode wird unter einer permissiven und kommerziell-freundlichen Open Source Lizenz (z.B. Apache Lizenz v2) einer breiten Öffentlichkeit zur Verfügung gestellt und die entwickelten Verfahren über wissenschaftliche Publikationen verbreitet.
