KI-Nutzung in deutschen KMU hat sich 2025 verdoppelt: 36 Prozent der Unternehmen ab 20 Beschäftigten setzen KI aktiv ein (Vorjahr: 20 Prozent). Gleichzeitig nennt fast jedes zweite Unternehmen den Datenschutz als größten Adoption-Blocker (Bitkom 15.09.2025). Dazu kommt der Betriebsrat, der spätestens zur Quartals-Sitzung nach einer KI-Vereinbarung gemäß §87 BetrVG fragt.
Wer das jetzt nicht sauber sortiert, baut Shadow-IT statt KI-Infrastruktur, denn Mitarbeiter nutzen ihre privaten KI-Lizenzen, egal ob es bereits ein Firmen-ChatGPT gibt oder KI grundsätzlich untersagt ist. Im DACH-Markt etabliert sich für genau diese Lücke ein eigener Kategorie-Begriff: das Corporate LLM, eine LLM-Plattform mit Compliance-Stack, Adoption-Programm und KMU-tauglichem Pricing in einem.
Überblick: Es gibt vier Wege, KI im Mittelstand aufzusetzen: KI eingebaut in der Office-Suite, ein firmeneigenes ChatGPT (API plus eigenes Frontend), Self-Hosted Open-Source auf eigener Hardware, und eine Plattform wie CorporateLLM. Die Eintrittsschwelle reicht von 6.700 EUR pro Jahr (Office-Suite) bis sechsstelligem TCO (Self-Hosted).
Was ist eine LLM-Plattform?
Eine LLM-Plattform bündelt vier Schichten in einem Stack: das Sprachmodell (Inferenz), das Frontend (Chat-Oberfläche, Modell-Picker, Datei-Upload), eine Wissens-Anbindung an Ihre eigenen Dokumente (RAG) und eine Governance-Ebene mit AVV, Audit-Logs und Rollen-Rechten. Der Unterschied zum rohen LLM-API-Zugang: Die Plattform ist als fertiges Produkt für Endnutzer im Unternehmen gebaut, nicht als Baukasten für Entwickler.
Im KMU-Kontext heißt das praktisch: Mitarbeitende loggen sich ein, wählen ein Modell, laden Dokumente hoch und bekommen eine Antwort. Niemand schreibt vorher Python-Code oder packt einen API-Key in eine Umgebungsvariable. Compliance, Skalierung und Adoption stehen vom ersten Tag an in der Plattform, nicht in einem separaten Eigenbau.
Die vier Wege, ein LLM im Mittelstand aufzusetzen
Im DACH-Markt 2026 fallen alle realistischen LLM-Setups in genau vier Kategorien. Die Kategorie entscheidet Eintrittsschwelle, Compliance-Risiko und Time-to-Value, und damit, ob der Weg überhaupt zu Ihrem KMU passt.
1. Office-Suite-eingebaut: Microsoft Copilot als KI-Lizenz-Add-on
Die KI sitzt direkt in Word, Excel, Outlook, Teams oder Google Docs. Keine zweite Lizenz-Insel, keine neue Anmeldung, keine separate Schulung für ein eigenständiges Tool. Microsoft 365 Copilot ist der DACH-Marktstandard in dieser Kategorie.
- Wann sinnvoll: Microsoft 365 E3 oder E5 ist vollständig lizenziert, die Anwendungsfälle bleiben in Office-Dokumenten und Mails, niemand im Haus besteht auf Multi-Provider-Routing.
- Stärken: tiefe Office-Integration, vorhandene Lizenz-Pipeline, niedrigste Adoption-Hürde im Haus (Mitarbeitende kennen Word und Outlook).
- Schwächen: kein Multi-Provider-Routing (immer dasselbe Modell, egal welcher Use-Case), RAG nur gegen SharePoint oder OneDrive, der AVV läuft über Microsoft Ireland und ist im Compliance-Audit oft erklärungsbedürftig. Branchen-spezifische Agents oder eigene Wissens-Hubs sind nicht möglich.
2. Firmeneigenes ChatGPT: API plus eigenes Frontend
Direkter Modell-Zugang über die Provider-API (OpenAI, Anthropic, Mistral), kombiniert mit einem selbst betriebenen Frontend (LibreChat, OpenWebUI, Eigenbau). Sie kaufen Inferenz, das Tool entsteht im Haus.
- Wann sinnvoll: technisches Team im Haus, Appetit auf DIY, volle Kontrolle über System-Prompts und Logging gewünscht, Pilot-Use-Case ist klar umrissen.
- Stärken: Token-basiertes Pricing (zahlt nur Aktiv-Nutzung), maximale Flexibilität, Multi-Provider technisch möglich, keine Vendor-Lock-in-Schicht über dem Modell.
- Schwächen: kein Onboarding, kein Compliance-Bundle, kein RAG out-of-the-box, kein Audit-Trail. Sie betreiben Tool und Roll-Out komplett selbst.
3. Self-Hosted / On-Premise: Open-Source auf eigener Hardware
Open-Weight-Modelle (Llama, Mistral, Qwen) laufen auf eigenem GPU-Stack mit selbst betriebenem Inference-Server. Keine Daten verlassen das Haus.
- Wann sinnvoll: Verteidigung, Pharma, Banken-Innerstes, absolute Air-Gap-Anforderung als regulatorische Pflicht.
- Stärken: keine Datenübertragung nach außen, volle Hoheit über Modelle, Logs und Updates, langfristig variabel-kostenfrei (keine Per-Seat-Kosten).
- Schwächen: sechsstelliger TCO (GPU-Hardware ab 80.000 EUR plus ML-Ops-Team), Modell-Qualität in Frontier-Tasks typisch eine Generation hinter den proprietären Top-Modellen (bei spezifischen Aufgaben wie DeepSeek V4 Pro inzwischen vergleichbar), sechs Monate Setup-Dauer.
4. Corporate LLM: KMU-Plattform mit Compliance-Stack und Multi-Model-Routing
CorporateLLM ist die Antwort auf die Lücke, die Kategorie 1 bis 3 lassen: eine KMU-Plattform mit Multi-Provider-Routing, RAG, Custom-Agents, deutschem AVV inklusive §203-Klausel, EU-Hosting als Standard für die meisten Modelle, plus eine strukturierte Implementation-Begleitung als vertragliche Standard-Leistung ab 15 Seats.
- Wann sinnvoll: Als KMU ab 30 Mitarbeitern, ohne eigenes KI-Entwickler-Team.
- Stärken:
- Adoption als Default-Leistung: Onboarding-Workshop plus Adoption-Coaching für Multiplikatoren ist als Teil des Plattform-Programms möglich.
- Compliance-Stack out-of-the-box: deutscher AVV mit §203-Klausel, EU-Hosting als Standard für die meisten Modelle (Nicht-EU-Modelle werden im Chat-Header dauerhaft markiert).
- Multi-Provider-Routing: der Anwendungsfall bestimmt das Modell, nicht der Anbieter.
- Custom-Agents mit Skill-Library: rollen-spezifische AI-Assistenten pro Use-Case greifen auf wiederverwendbare Skills, Prompts und Knowledge im Team-Workspace zu.
- Schwächen: kein On-Premise-Self-Hosting, Implementations-Begleitung erst ab 15 Seats, für kleinere Unternehmen nur Self-Service-Schulungsvideos.
Was kostet eine LLM-Plattform für 20 Mitarbeitende? (DACH-Korridor 2026)
Die folgende Tabelle vergleicht Jahreskosten für einen 20-Seat-Account pro Kategorie. Alle Werte in EUR.
| Kategorie | Preiskorridor 20 Seats / Jahr | EU-Hosting | Deutscher AVV | Multi-Provider | Onboarding inklusive |
|---|---|---|---|---|---|
| 1. Office-Suite-eingebaut | 6.700 bis 13.000 EUR | Ja (Azure) | Bedingt | Nein | Via Microsoft-Partner |
| 2. Firmeneigenes ChatGPT | 10.000 bis 50.000 EUR je Token Nutzung | Bedingt | Nein | Bedingt | Eigenleistung |
| 3. Self-Hosted / On-Premise | ab 80.000 EUR TCO | Ja (intern) | n/a | Bedingt | Eigenleistung |
| 4. CorporateLLM | 5.800 bis 9.800 EUR | Ja | Ja (§203) | Ja | Ja |
Erfasst am 25.05.2026 (Artikel-Stand) · Office-Suite-Werte basieren auf Microsoft-Listenpreisen, die anderen Korridore auf CorporateLLM-Projekterfahrung · Angaben ohne Gewähr · Pricing kann sich ändern
Vier Dinge fallen auf:
- Preis ist nicht das entscheidende Kriterium. Kategorie 1 und 4 überlappen sich auf gleicher Höhe. Die Frage ist nicht „günstig oder teuer", sondern „Office-Add-on oder eigenständige KI-Infrastruktur".
- Eigenbau-Aufwand bei Kategorie 2 unsichtbar. Die Token-Kosten sind nur die laufende Seite. Frontend, RAG-Integration, Authentifizierung und Wartung müssen als separater Entwicklungsaufwand berechnet werden (50.000 bis 100.000 EUR, einmalig).
- Compliance-Kosten sind unsichtbar. Kategorie 1 hat „AVV bedingt", weil er über Microsoft Ireland läuft. Kategorie 2 hat keinen AVV, den müssen Sie separat verhandeln. Beides kostet Anwalts- oder Datenschutzbeauftragten-Stunden, die in der Tabelle nicht stehen.
- Adoption-Kosten ebenfalls. Wer Multiplikatoren-Workshops und Adoption-Coaching extern einkauft, zahlt 4.000 bis 30.000 EUR zusätzlich.
DSGVO-konforme KI im Mittelstand: drei Compliance-Anker
Doch egal welche Kategorie Sie wählen: drei Compliance-Anker müssen sitzen, bevor der erste Mitarbeiter sich einloggt.
- Auftragsverarbeitungs-Vertrag auf Deutsch. Kein US-Boilerplate mit deutscher Übersetzung, sondern ein Vertrag, gegen den der Datenschutzbeauftragte tatsächlich arbeiten kann. Vertragspartner deutsch, Gerichtsstand deutsch, Sub-Prozessoren vollständig ausgewiesen (jedes Modell, jeder Hosting-Provider, jeder Logging-Dienst).
- EU-Hosting als Standard, nicht als Add-on. Alle Prompt-, Output- und Embedding-Daten in der EU.
- Betriebsrats-Vereinbarung zur KI-Nutzung. Der Betriebsrat hat nach §87 BetrVG ein Mitbestimmungsrecht. Wer das überspringt, riskiert eine einstweilige Verfügung beim ersten Roll-out.
Für Schweigepflicht-Berufe kommt ein vierter Anker dazu: §203 StGB. Berufsgeheimnisträger (u.a. Steuerberater, Anwälte, Wirtschaftsprüfer, Ärzte, Psychotherapeuten, Apotheker, Notare) dürfen Mandanten- oder Patienten-Daten nur dann durch ein LLM laufen lassen, wenn der Anbieter eine Verschwiegenheitsverpflichtung gegengezeichnet hat.
Fazit: LLM im Mittelstand 2026 ist eine Implementations-Frage
Die Pflicht ist da. Die vier Wege sind klar. Was 2026 entscheidet, ist die Wahl einer geeigneten KI-Infrastruktur.
Firmeneigenes ChatGPT funktioniert, wenn KI-Experten im Haus die Eigenleistung übernehmen. Self-Hosted ist der schwierigste Weg und sollte nur gewählt werden, wenn die Compliance es zwingend erfordert.
Für KMU, die DSGVO-konforme Compliance, Multi-Modell-Routing und strukturierte Adoption-Begleitung in einer Plattform brauchen, haben wir CorporateLLM gebaut.
LLM-Pilot in 4 Wochen starten
Wenn Sie eine DSGVO-konforme LLM-Plattform suchen und Compliance, Workflow und Adoption in 4 Wochen aufsetzen wollen, ist der direkte Weg: kostenlosen Account anlegen und CorporateLLM 7 Tage kostenlos testen, ohne Zahlungsdaten.
Häufige Fragen
Welche LLM-Plattform passt für den deutschen Mittelstand?
Es gibt vier Wege, ein LLM im Mittelstand aufzusetzen: KI in der bestehenden Office-Suite (z.B. Microsoft Copilot), ein firmeneigenes ChatGPT (eigene API-Anbindung plus eigenes Frontend), Self-Hosted Open-Source auf eigener Hardware oder eine KMU-Plattform mit eingebauter Experten-Begleitung wie CorporateLLM. Welcher Weg passt, entscheidet sich an drei Fragen: Wie tief ist Microsoft 365 schon im Haus, gibt es ein eigenes Change-Management-Team und greift §203 StGB? Für 30 bis 500 MA ohne eigenes Adoption-Team und mit Schweigepflicht-Anforderungen ist der vierte Weg in der Regel der schnellste und sicherste.
Welches LLM ist DSGVO-konform für deutsche KMU?
DSGVO-konform heißt im B2B-Mittelstand drei Dinge: EU-Hosting, ein Auftragsverarbeitungs-Vertrag auf Deutsch mit deutschem Gerichtsstand und eine Betriebsrats-Vereinbarung nach §87 BetrVG. Ob diese drei Anker im jeweiligen LLM-Weg sauber gelöst werden, unterscheidet sich pro Kategorie deutlich. Office-Suite-Lösungen laufen oft über Microsoft Ireland oder Google Ireland, Firmeneigene ChatGPT-Setups brauchen einen separat verhandelten AVV, Self-Hosted hat den Vertrag intern, und Plattformen wie CorporateLLM liefern ihn als Standard inklusive §203-Klausel.
Was kostet eine LLM-Plattform für 20 Mitarbeitende im Jahr?
Der DACH-Korridor 2026 für 20 Seats hängt am gewählten Weg. Office-Suite-eingebaut liegt zwischen 6.700 und 13.000 EUR pro Jahr (je nach Microsoft-365-Edition). Firmeneigenes ChatGPT liegt bei 10.000 bis 50.000 EUR laufenden Token-Kosten, plus 30.000 bis 100.000 EUR einmaligem Eigenbau-Aufwand für Frontend, RAG und Wartung. Self-Hosted On-Premise liegt bei sechsstelligem TCO (ab 80.000 EUR inklusive GPU-Hardware und ML-Ops). CorporateLLM positioniert sich zwischen 5.800 und 9.800 EUR pro Jahr (Business Starter bis Business Pro, 20 Seats) und inkludiert Onboarding-Workshop plus Adoption-Coaching. Es ist der einzige Weg, bei dem die Adoption-Lücke nicht zusätzlich bezahlt werden muss.
Microsoft Copilot oder eigene LLM-Plattform: was passt für den Mittelstand?
Microsoft Copilot passt, wenn Microsoft 365 E3 oder E5 vollständig lizenziert ist und sich die Anwendungsfälle auf Word, Excel, Outlook, Teams und SharePoint beschränken. Eine eigene LLM-Plattform passt, wenn Multi-Provider-Routing, eigene RAG-Quellen oder branchen-spezifische Anwendungsfälle gefragt sind, und wenn der Betriebsrat oder Datenschutzbeauftragte einen separaten deutschen AVV erwartet. Im KMU mit 30 bis 500 Mitarbeitenden ist die eigene Plattform der häufigere Fit, weil M365 selten als E3 lizenziert ist und Copilot kein Multi-Provider erlaubt.
Was muss in einem AVV-Vertrag für ein LLM stehen?
Ein AVV-Vertrag für ein LLM-System muss vier Punkte abdecken: Vertragspartner und Gerichtsstand in Deutschland, vollständige Sub-Prozessor-Liste (jedes nachgelagerte Modell, jeder Hosting-Provider, jeder Logging-Dienst), klare Aussage zu Trainings-Verwendung der Inputs (Industrie-Standard ist No-Training auf Kundendaten) und im Schweigepflicht-Kontext eine explizite §203-StGB-Verschwiegenheitsklausel. US-Boilerplate mit deutscher Übersetzung reicht in einem Audit nicht aus.
