Steinbeis-Beratungszentrum Wissensmanagement

Sind Small Language Models (SML) die bessere Wahl in der Fertigung?

Aus Sicht der Industrie muss sich KI wirtschaftlich rechnen, regulatorisch absichern lassen und in vorhandene IT- und OT-Strukturen einfügen. Dabei stellt sich zunehmend heraus, dass Standardlösungen auf Basis öffentlich trainierter Large Language Models (LLMs) nur begrenzten Mehrwert bringen. Solche Modelle sind nicht auf die spezifischen Anforderungen von Fertigungsbetrieben zugeschnitten - etwa die Auswertung von Maschinendaten, die Optimierung von Produktionsparametern oder das Assistieren bei Wartung und Instandhaltung. Zudem sind die Ergebnisse austauschbar und bieten wenig Potenzial zur Differenzierung. Sind Small Language Models deshalb die bessere Wahl? 

Worin unterscheiden sich SLMs von großen KI-Modellen? 

Small Language Models sind deutlich kompakter aufgebaut als LLMs - sie umfassen typischerweise zwischen 100 Millionen und zehn Milliarden Parameter. Zum Vergleich: GPT-4 verfügt je nach Architektur über mehrere hundert Milliarden Parameter. Als Parameter bezeichnet man interne Variablen wie Gewichtungen und Verzerrungen, die ein Modell während des Trainings erlernt. Der reduzierte Umfang eines SLMs hat konkrete Auswirkungen auf die Laufzeitumgebung, die Inferenzgeschwindigkeit und den Speicherbedarf: Kleine Sprachmodelle benötigen weniger Rechenleistung, verbrauchen weniger Energie und lassen sich schneller trainieren. Diese Effizienz geht jedoch nicht zu Lasten der Leistung. So erreicht das Phi-2-Modell von Microsoft mit gerade einmal 2,7 Milliarden Parametern beim Commonsense-Reasoning Ergebnisse, die mit zehnmal so großen Modellen vergleichbar sind. Das Phi-4-Mini-Reasoning-Modell mit nur 3,8 Milliarden Parametern erzielt bei mathematischen Problemlösungen bessere Resultate als viele der großen Modelle.

Wie profitieren Industrieunternehmen vom Einsatz kompakter Modelle? 

In der industriellen Praxis punkten SLMs vor allem durch ihre schnelle Anpassbarkeit an konkrete Aufgaben. Anders als bei großen KI-Modellen, deren Feintuning Wochen dauern kann und eine teure Recheninfrastruktur erfordert, lassen sich SLMs in wenigen GPU-Stunden auf spezifische Anforderungen trainieren. Diese hohe Flexibilität erlaubt es, KI gezielt auf den jeweiligen Produktionskontext zuzuschneiden, beispielsweise für das Erkennen von Musterabweichungen, die Interpretation von Wartungstexten oder das Erfassen domänenspezifischer Fachsprache, wie sie im Shopfloor üblich ist. Zusätzliche Effizienzgewinne entstehen durch parametereffiziente Anpassungstechniken wie die Low-Rank Adaptation (LoRA). Dabei wird das zugrunde liegende Modell nicht komplett verändert, sondern modular erweitert. So lassen sich neue Aufgabenbereiche integrieren oder bestehende Funktionen nachschärfen, ohne das gesamte Modell neu trainieren zu müssen. Neben der technischen Flexibilität wirkt sich der reduzierte Ressourcenbedarf auch direkt auf die Kosten aus. Durch den geringeren GPU-Einsatz, den niedrigeren Energieverbrauch und den Wegfall teurer Cloud-Kapazitäten werden die laufenden Betriebs- und Infrastrukturkosten spürbar gesenkt. Hinzu kommt, dass sich SLMs aufgrund ihres geringen Ressourcenbedarfs auch dort betreiben lassen, wo LLMs scheitern: lokal in Werken, auf Edge Devices oder in abgeschotteten OT-Umgebungen. Das bedeutet auch, dass kleine Sprachmodelle schnelle Antwortzeiten ohne Umweg über die Cloud ermöglichen. Dadurch werden Abhängigkeiten reduziert und Sicherheitsrisiken minimiert.

Welche technischen Voraussetzungen müssen erfüllt sein? 

Der Ressourcenbedarf eines SLM ist so gering, dass bereits handelsübliche Server oder Industrie-PCs ausreichen können. Viele SLMs basieren auf Open-Source-Technologien und unterstützen gängige Frameworks, was wiederum die Flexibilität erhöht und die Anbindung an bestehende Systeme wie MES, ERP oder SCADA erleichtert. Auch die Anpassung an domänenspezifische Fachbegriffe oder individuelle Workflows ist mit überschaubarem Aufwand möglich. Moderne Inferenz-Frameworks wie NVIDIA Dynamo oder vergleichbare Runtimes spielen hier eine zentrale Rolle. Sie sorgen mit intelligenten Scheduling-Algorithmen dafür, dass mehrere kompakte Modelle gleichzeitig und effizient auf der vorhandenen Hardware ausgeführt werden können. Auch das Ausrollen und Aktualisieren von Modellen wird durch standardisierte Schnittstellen und Automatisierung vereinfacht.

Wo liegen die Grenzen kleiner Modelle und wie lassen sie sich umgehen? 

SLMs bieten hohe Effizienz und Kontrolle - allerdings auf Kosten der Generalisierung und semantischen Tiefe. Komplexe Inferenzketten, mehrdeutige Anfragen oder kreative Textgenerierung können ihre Kapazitäten überschreiten. Auch bei mehrsprachiger Verarbeitung oder logischem Schlussfolgern sind größere Modelle meist überlegen. Viele Unternehmen begegnen diesen Grenzen mit hybriden Architekturen, in denen unterschiedliche Modellgrößen nicht gegeneinander, sondern arbeitsteilig eingesetzt werden. Ein Ansatz ist das "SLM-first"-Prinzip: Kleinere Modelle übernehmen zunächst die Bearbeitung aller Aufgaben, die sich klar strukturieren, spezialisieren oder automatisieren lassen - etwa das Extrahieren technischer Informationen, die Beantwortung wiederkehrender Anfragen oder die Umwandlung von Formaten. Nur wenn diese SLMs an inhaltliche oder logische Grenzen stoßen, wird ein LLM als "Fallback-System" aktiviert - beispielsweise für mehrdeutige Fragestellungen, komplexe Planungsszenarien oder kontextreiche Dialoge. Durch ein intelligentes Routing werden Anfragen dabei dynamisch an das am besten geeignete Modell weitergeleitet. Dieses gestufte Vorgehen bringt mehrere Vorteile mit sich: Rechenressourcen werden geschont, Antworten bleiben nachvollziehbar und kontrollierbar und die Systeme lassen sich zielgerichteter optimieren - sei es durch Finetuning der SLMs oder durch gezielte Prompt-Strategien beim LLM.

Wie werden kleine Modelle trainiert und woher bekommen sie ihre Daten?

SLMs sind keine völlig eigenständige Modellklasse, sondern entstehen in der Regel durch die gezielte Reduktion großer Sprachmodelle. Die Basis bleibt dabei stets ein künstliches neuronales Netzwerk mit Transformer-Architektur, das für Aufgaben der natürlichen Sprachverarbeitung trainiert wurde. Die Umwandlung eines LLM in ein schlankeres Modell erfolgt durch eine Kombination technischer Verfahren, die das ursprüngliche Netzwerk komprimieren, vereinfachen oder durch gezieltes Neudesign ersetzen. Ein gängiger Ansatz ist die Wissensdestillation (Knowledge Distillation): Ein großes Modell dient als Referenz, während ein kleineres Modell darauf trainiert wird, dessen Vorhersagen nachzuahmen. Statt auf Rohdaten zu lernen, orientiert sich das SLM also direkt am Verhalten des größeren Modells, was Trainingseffizienz und Ergebnisqualität verbessert. Neben den klassischen Verfahren gewinnen auch neue Architekturansätze wie Attention-Mechanismen an Bedeutung. Wie immer bei KI sind allerdings eine Feinabstimmung mit maßgeschneiderten Datensätzen und kontinuierliche Verbesserungen wichtig. Hier kommt das Prinzip des KI-Data-Flywheel ins Spiel: Dieses Schwungrad schafft eine Schleife, dank der die Modelle durch die Integration von institutionellem Wissen und Nutzer-Feedback kontinuierlich verbessert werden. Während die KI Ergebnisse generiert, sammelt sie Feedback und neue Daten, die dann zur Verfeinerung und Verbesserung des Modells verwendet werden. Mithilfe von Techniken wie Domain Adaptive Pretraining (DAPT) und Supervised Fine-Tuning (SFT) lassen sich dem SLM dann domänenspezifisches Wissen und aufgabenspezifische Fähigkeiten hinzufügen.

Welche Rolle spielen SLMs in Bezug auf KI-Agenten?

Agenten sind darauf ausgelegt, unterschiedliche Aufgaben zu übernehmen und eigenständig Entscheidungen zu treffen. Dabei profitieren sie besonders von einem hybriden Architekturansatz: LLMs übernehmen übergeordnete Funktionen wie Kontextverständnis oder strategische Planung, während spezialisierte SLMs operative Aufgaben abarbeiten. Dieses Vorgehen erinnert stark an das Microservices-Paradigma in der Softwareentwicklung: Statt einen monolithischen Codeblock zu pflegen, wird die Anwendung in unabhängige, klar abgegrenzte Dienste zerlegt. Jeder Service - oder in diesem Fall jedes Modell - ist auf eine spezifische Funktion optimiert und kann unabhängig angepasst, ausgetauscht oder erweitert werden. So entsteht eine KI-Architektur, die anpassbar, skalierbar und fehlertolerant ist. Ein zusätzlicher Vorteil dieser Struktur: Agenten erzeugen bei ihrer Arbeit fortlaufend aufgabenspezifische Nutzungsdaten, die sich ideal zur kontinuierlichen Weiterentwicklung der beteiligten SLMs eignen. Da diese Daten reale Arbeitsabläufe, domänenspezifische Begriffe und unternehmensspezifische Entscheidungslogiken widerspiegeln, sind sie oft wertvoller als generische Trainingsdaten. Durch gezieltes Finetuning entstehen mit der Zeit echte Expertenmodelle, die nicht nur Aufgaben erledigen, sondern sie mit zunehmender Präzision und Fachkenntnis bewältigen.

"Small Language Models eröffnen der Industrie neue Wege, KI gezielt, sicher und ressourcenschonend einzusetzen. Gerade in der Fertigung sind es in der Regel nicht die größten Modelle, sondern die am besten trainierten, die den Unterschied machen", sagt Oliver Köth, CTO bei NTT DATA DACH. "Wir sehen bereits heute, wie Unternehmen ihre Produktionsdaten mit speziell trainierten Modellen lokal auswerten, wie Wartungsteams sich über sprachgesteuerte Assistenzsysteme unterstützen lassen oder wie technische Dokumente automatisch klassifiziert werden - direkt am Ort des Geschehens. Das Entscheidende ist: Mit SLMs lässt sich KI in den industriellen Alltag integrieren, ohne komplexe Cloud-Setups, ohne Datenrisiken, aber mit hoher Effizienz."

>> Mehr Infos: nttdata.com

Wie "krisenfest" sind Führungskräfte und ihre Teams?

168 Führungskräfte bezüglich ihrer "Krisenfestigkeit" befragt

Deshalb erkundete das Institut für Führungskultur im digitalen Zeitalter (IFIDZ), Wiesbaden, in seinem jüngsten Leadership-Trendbarometer, wie gut die Führungskräfte in den Unternehmen und ihre Teams für Krisen sowie Umbrüche in ihrer Organisation und deren Umfeld gewappnet sind. An der Online-Befragung nahmen 168 zumeist mittlere und obere Führungskräfte teil.

Die Befragung ergab: Die meisten Führungskräfte haben bereits ein ausgeprägtes Bewusstsein für die Anforderungen an Führung in einer von rascher und oft unvorhersehbarer Veränderung geprägten (Arbeits-)Welt.

Führungskräfte wissen, was ihre Teams "krisenfest" macht

So waren zum Beispiel rund 85 Prozent der Befragten überzeugt, dass die Arbeitswelt heute weniger planbar als früher sei. Zudem betonten 75 Prozent, sie würden auch bei einer großen Ungewissheit einen positiven Zukunftsblick bewahren.

Erfreulich ist auch, dass

• etwa zwei Drittel der Führungskräfte (64 Prozent) es als eine ihrer zentralen Aufgaben sehen, das Gefühl der psychologischen Sicherheit ihrer Teammitglieder zu stärken, sowie
• fast ebenso viele (61 Prozent) Fehler und Versäumnisse in der Vergangenheit als Lernchancen begreifen.

Und immerhin noch 54 Prozent von ihnen ist bewusst, dass Teamgeist und wechselseitiges Vertrauen die wichtigsten Kraft- und Energiequellen beim gemeinsamen Bewältigen von Krisen und Lösen von Problemen sind.

Im Arbeitsalltag stoßen Führungskräfte oft an ihre Grenzen

Dessen ungeachtet scheint jedoch im Betriebsalltag eine Kluft zwischen dem Wissen, was nötig ist bzw. wäre, und der gelebten Praxis zu bestehen. Darauf deuten folgende Faktoren hin: Jeweils weniger als die Hälfte der Befragten stimmt der Aussage zu

• "Wir sprechen im Team auch über Worst Case Szenarien und die hiermit verbundenen Ängste" (46 Prozent) und
• "Wir kennen unsere individuellen und kollektiven Stärken und Schwächen und sprechen offen über unsere Lernfelder" (45 Prozent).

Wenig überraschend ist es denn auch, dass nur 39 Prozent der Führungskräfte von sich selbst sagen, sie wüssten, was ihre Teammitglieder in "schwierigen Zeiten brauchen, um ihre Zuversicht zu bewahren". Und gar nur 27 Prozent stimmen der Aussage zu, "bei uns kennt jeder seine Rollen, Aufgaben und Verantwortlichkeiten auch in Ausnahme- und Krisensituationen".

Führungskräfte brauchen und wünschen sich mehr Unterstützung

Das zeigt laut Barbara Liebermeister, der Gründerin und Leiterin des IFIDZ, dass viele Führungskräfte beim Wahrnehmen ihrer Funktion in ihrer Organisation mehr Unterstützung bräuchten - sei es in Form individueller Coachings und maßgeschneiderter Trainings oder Foren, die dem bereichsübergreifenden Erfahrungsaustausch dienen. Dies bestätigten auch die vertiefenden persönlichen Interviews, die das IFIDZ mit etwa 15 Prozent der Befragungsteilnehmer führte. In ihnen äußerten diese nahezu übereinstimmend, dass sie sich in den vergangenen Jahren zuweilen nicht nur gefordert, sondern überfordert fühlten und an ihre Belastungsgrenzen stießen.

Entsprechend groß ist bei vielen Führungskräften die Gefahr, dass sie aufgrund der Dauerbelastung mit der Zeit ausbrennen. Dies auch angesichts der Tatsache, dass in der Onlinebefragung nur jeweils knapp die Hälfte der Führungskräfte betonte "Ich kenne meine Kraft- und Energiequellen und spüre es, wenn meine Energie erlahmt" (51 Prozent) und "Ich weiß, wie ich meine Energietanks wieder auffüllen kann" (52 Prozent).

Nähere Info über das aktuelle Leadership-Trendbarometer sowie die vorangegangenen Online-Befragungen des IFIDZ zu führungsrelevanten Themen finden Interessierte auf der Webseite www.ifidz.de in der Rubrik "Forschung".

Gesundheitswesen: Fachkräftemangel bremst GenAI-Einführung aus

Alle Unternehmen, die an der Technologie festgehalten und die Implementierung abgeschlossen haben, zeigen sich mit den aktuellen Ergebnissen von GenAI zufrieden. Zuvor hatten sie die Lösung mit anderen Technologien ergänzt und eine umfassende Schulung der Mitarbeitenden eingeführt. Das geht aus dem ABBYY State of Intelligent Automation Report 2025: GenAI Confessions hervor.

Die von Opinium durchgeführte Umfrage zeigt: 42 Prozent der Führungskräfte im Gesundheitswesen geben an, dass ihren Mitarbeitenden die nötigen Fähigkeiten für die Einführung von GenAI fehlen. Im weltweiten Durchschnitt liegt dieser Wert bei 29 Prozent.

Führungskräfte beklagten außerdem, dass Mitarbeitende mehr Zeit für Aufgaben aufwenden mussten (32 Prozent). Im weltweiten Vergleich liegt dieser Wert bei nur 18 Prozent. Besorgniserregend ist auch, dass fast ein Viertel (24 Prozent) von sogenannten "Halluzinationen" der GenAI-Tools berichtete. Weltweit waren es lediglich 16 Prozent. Zudem sagten 34 Prozent, das Trainieren der Modelle sei schwieriger gewesen als erwartet. 31 Prozent verfügten über keine angemessene Governance.

Viele Unternehmen begegneten diesen Herausforderungen mit dem Einsatz ergänzender Technologien. 51 Prozent setzten auf Document AI, 41 Prozent auf KI-Agenten und 27 Prozent auf Process Intelligence. Diese Maßnahmen verbesserten das Vertrauen und die Zufriedenheit der Nutzer (52 Prozent). Sie reduzierten den Bedarf an menschlicher Überprüfung (48 Prozent) und steigerten die Qualität der Ergebnisse (ebenfalls 48 Prozent). Angesichts des Fachkräftemangels führten 59 Prozent der Unternehmen Schulungen ein, um den Umgang mit den Tools zu verbessern. 37 Prozent etablierten regelmäßige Meetings, um die Nutzung von GenAI zu überprüfen.

Die Einführung von GenAI verlief nicht überall reibungslos. 31 Prozent der Unternehmen im Gesundheitswesen entschieden sich, nicht funktionierende Tools zurückzufahren oder ganz zu entfernen. Im globalen Vergleich traf dies nur auf 20 Prozent zu. Auch die Investitionsbereitschaft für 2026 ist geringer. Nur 24 Prozent der Führungskräfte im Gesundheitswesen planen, ihre KI-Budgets um mehr als 20 Prozent zu erhöhen. Weltweit liegt dieser Anteil bei 38 Prozent.

"Bevor Unternehmen GenAI-Tools für agentenbasierte Automatisierung einsetzen, sollten sie ihre bestehenden Prozesse genau evaluieren", sagte Maxime Vermeir, Senior Director of AI bei ABBYY. "Datenanalyse-Tools wie Process Intelligence helfen dabei, einen klaren Überblick über die Workflows zu gewinnen. Ebenso wichtig ist es, Mitarbeitende mit gezielten Schulungsprogrammen weiterzubilden, die Transformation und Wachstum ermöglichen. Und schließlich gilt es, mehr als nur einen erfolgreichen Start zu gewährleisten. Die Technologie muss auch im laufenden Betrieb effektiv, verantwortungsvoll und verlässlich eingesetzt werden."

Ein bemerkenswerter Unterschied zeigt sich auch bei den Zielen für den Einsatz von GenAI. 19 Prozent der Unternehmen im Gesundheitswesen nannten die Überwachung der Mitarbeitendenleistung als Hauptanwendung. In anderen Branchen liegt dieser Wert deutlich niedriger: bei 6 Prozent im Finanzsektor, 7 Prozent im Einzelhandel und 10 Prozent in der IT.

Die Studie zeigt zudem, dass Mitarbeitende in vielen Fällen den Anstoß zur Einführung von GenAI gaben. 42 Prozent der Führungskräfte im Gesundheitswesen berichteten, dass Beschäftigte die Technologie bereits über "Bring Your Own Software" genutzt hatten. Dabei ging es häufig darum, die persönliche Produktivität zu steigern. 58 Prozent der Unternehmen berichteten, dass Mitarbeitende GenAI einsetzen, um "professioneller und intelligenter" zu wirken. Ebenso viele schätzen den Einsatz, um die eigene Arbeitsbelastung zu verringern. Insgesamt ist die Haltung gegenüber GenAI positiv: 88 Prozent der Führungskräfte sagen, dass ihre Mitarbeitenden dem Einsatz offen und optimistisch gegenüberstehen.

Ulf Persson, CEO von ABBYY, kommentierte: "GenAI schafft bemerkenswerte Möglichkeiten, die Arbeitsweise neu zu denken, was verständlicherweise große Begeisterung auslöst. Allerdings wirft Schatten-IT potenziell ernsthafte Fragen hinsichtlich Datenschutz und Compliance auf. Das betrifft vor allem Fälle, in denen Einzelpersonen frei verfügbare Tools wie ChatGPT, Grok oder Perplexity ohne Aufsicht am Arbeitsplatz verwenden. Der unternehmerische Nutzen des Potenzials von GenAI wird erst dann wirklich freigesetzt, wenn Unternehmen eine sichere und strategische Einführung vorantreiben. Entscheidend ist dabei ein klarer Fokus auf Risikomanagement."

Wichtigste Einsatzbereiche von GenAI im Gesundheitswesen:

• Datenanalyse und Erkenntnisgewinnung (71 Prozent)
• Automatisierung von Dokumentenprozessen (61 Prozent)
• Produktivitätssteigerung der Mitarbeitenden (56 Prozent)

Die Befragung wurde von Opinium zwischen dem 20. Juni und dem 8. Juli 2025 durchgeführt. Teilgenommen haben 1.200 Führungskräfte auf Senior-Level in Unternehmen mit mehr als 100 Beschäftigten. Die Unternehmen stammen aus den USA, Großbritannien, Frankreich, Deutschland, Australien und Singapur. Darunter waren 59 aus dem Gesundheitswesen.

>> Mehr Infos: www.abbyy.com/de/solutions/healthcare/