Was multimodale Modelle leisten
Multimodale Modelle sind keine Kombination aus mehreren spezialisierten Modellen, die nebeneinander arbeiten. Text, Bild und Audio werden in einen gemeinsamen Vektorraum eingebettet — das Modell verarbeitet sie als unterschiedliche Ausprägungen derselben Repräsentation. Das ist der eigentliche Durchbruch gegenüber früheren, separat arbeitenden Systemen.
Ein rein textbasiertes Modell kann nur Dokumente lesen. Ein multimodales Modell erkennt zusätzlich Inhalte in Bildern — etwa Beschriftungen auf technischen Zeichnungen, Fehlermuster in Fotos aus der Qualitätsprüfung oder Diagramme in Präsentationen. In Kombination mit RAG werden diese Inhalte als durchsuchbare Wissensquelle nutzbar.
Videoverarbeitung als Erweiterung
Solid Qubits geht über Bilder hinaus und indexiert auch Videos. Audio- und Bildspur werden gemeinsam ausgewertet — ideal für Schulungsvideos, gefilmte Arbeitsanweisungen oder Aufzeichnungen aus dem Qualitätsmanagement. Mitarbeiter können Fragen stellen und erhalten Antworten, die auf Videoinhalten basieren, inklusive Verweis auf die entsprechende Stelle im Video.
Bedeutung für die Industrie
Industrieunternehmen arbeiten nicht nur mit Text. Konstruktionszeichnungen, Schaltpläne, Prüffotos und Schulungsvideos enthalten Wissen, das in rein textbasierten Systemen verloren geht. Multimodale KI macht dieses Wissen zugänglich und durchsuchbar.