Betrieb
Lokale KI im Unternehmen. Modelle, die im Haus laufen und nichts nach außen geben.
Manche Daten dürfen das Haus nicht verlassen: Personalakten, Verträge, Konditionen, Konstruktionsdaten. Für solche Abläufe betreiben wir offene KI-Modelle auf Ihrer Hardware oder auf einem dedizierten Server in Deutschland. Diese Seite zeigt, was das heißt, wofür es sich eignet, was es kostet und wo lokale Modelle schwächer sind.
Begriff
Was lokale KI bedeutet
Lokal heißt: Das Sprachmodell läuft dort, wo Ihre Daten liegen, und nicht bei einem Modellanbieter. Dafür gibt es zwei Wege. Entweder steht die Rechenleistung in Ihrem eigenen Netz, oder wir richten einen dedizierten Server in Deutschland ein, den nur Sie und wir erreichen. In beiden Fällen verlassen keine Daten das Netz, kein Anbieter liest mit, und nichts fließt in ein Training.
Möglich machen das offene Modelle wie Llama oder Mistral. Sie lassen sich herunterladen und selbst betreiben, anders als die Modelle, die nur über die Schnittstelle eines Anbieters erreichbar sind. Die Begriffe dafür wechseln: lokale KI, KI on-premise, KI ohne Cloud. Gemeint ist dasselbe.
Nicht gemeint ist ein großes Modell in einem europäischen Rechenzentrum. Das ist eine eigene Betriebsart mit eigenem Vertrag und eigenem Platz. Und lokal heißt nicht, dass Ihre Mitarbeiter ein weiteres Chatfenster bekommen. Wir bauen das Modell in einen Ablauf ein, mit Regeln, Prüfschritten und einem Protokoll je Vorgang. Warum das den Unterschied macht, steht im Artikel KI im Mittelstand: Chatfenster oder Ablauf.
Eignung
Wofür sich lokale KI eignet, und wofür nicht
Die Frage ist nicht, ob lokal oder Cloud besser ist, sondern welche Daten an einem Ablauf beteiligt sind.
Dafür empfehlen wir den Betrieb im Haus
- Gesundheitsdaten und andere besondere Kategorien nach Artikel 9 DSGVO, mit hohen Anforderungen an jede Verarbeitung.
- Preise, Konditionen und Verträge: Geschäftsgeheimnisse, die im Haus bleiben oder vor der Verarbeitung ersetzt werden.
- Konstruktionsdaten und Rezepturen: der Kern des Unternehmenswerts. Kein Ergebnisvorteil der Cloud rechtfertigt hier das Risiko.
- Bewerbungen und Personalakten: im Haus oder nach Abwägung in einem europäischen Rechenzentrum, mit Mitbestimmung des Betriebsrats.
- Sprache in Menge: Einordnen, Zusammenfassen, Felder aus Dokumenten auslesen. Das können die offenen Modelle gut.
Dafür ist lokale KI die schwächere Wahl
- Schwierige Einzelfälle und anspruchsvolle Texte. Hier sind die großen Cloud-Modelle den offenen Modellen meist überlegen.
- Produkttexte, Datenblätter und Übersetzungen ohne Personenbezug. Die Inhalte sind meist ohnehin öffentlich, es zählt die Textqualität.
- Abläufe, die gar kein Sprachmodell brauchen. Dubletten und Schreibweisen lassen sich oft mit Regeln im System lösen. Das ist günstiger und robuster.
Wir versprechen deshalb keine lokale KI für alles. Die Analyse empfiehlt je Ablauf eine Betriebsart, mit Begründung, und Sie entscheiden, ob ein Unterschied im Ergebnis eine andere Betriebsart rechtfertigt. Für Maschinenbauer mit Exportkontrolle und Konstruktionsgeheimnissen haben wir das unter KI im Maschinenbau beschrieben.
Vergleich
Die drei Betriebsarten im Vergleich
In den meisten Unternehmen laufen am Ende mehrere nebeneinander. Lokal ist eine davon, nicht die einzige.
| Betriebsart | Wo das Modell läuft | Geeignet für | Grenze |
|---|---|---|---|
| Im Haus (lokale KI) | Offene Modelle wie Llama oder Mistral auf Ihrer Hardware oder auf einem dedizierten Server in Deutschland | Personendaten, Verträge, Gesundheitsdaten, alles mit Geheimhaltung | Gut für Sprache in Menge, bei schwierigen Einzelfällen schwächer als die großen Cloud-Modelle. Einrichtung, Rechenleistung, Wartung und Updates fallen an |
| Europäisches Rechenzentrum | Große Modelle über Anbieter mit Verarbeitung in der EU, etwa Google Vertex AI in Frankfurt oder Belgien, Microsoft Azure in Deutschland, Mistral in Frankreich | Kundendaten, Anfragen, CRM-Inhalte | Bei Anbietern mit Konzernsitz in den USA bleibt ein Restrisiko, das Ihr Datenschutzbeauftragter abwägt. Gebühren je Token |
| Cloud unter Vertrag | Modelle von Anthropic, OpenAI oder Google direkt über die Schnittstelle, mit Auftragsverarbeitungsvertrag und ohne Training mit Ihren Eingaben | Produkttexte, Übersetzungen, Bestände ohne Personenbezug | Verarbeitung kann außerhalb der EU stattfinden. Nur, wo keine Personendaten fließen oder Sie es schriftlich entscheiden |
Welche Datenart in welche Betriebsart gehört, zeigt eine Tabelle im Artikel KI-Datenschutz im Unternehmen. Den Datenfluss je Leistung und den Satz, der in jedem unserer Verträge steht, finden Sie unter Datensouveränität.
Mischform
Lokal, wo es nötig ist: sensible Stellen vorher ersetzen
Viele Abläufe enthalten nur wenige sensible Stellen. Eine Produktanfrage besteht aus einer technischen Frage und einer Signatur mit Name, Telefonnummer und Firma. Ein Angebotstext enthält eine Beschreibung und eine Zeile mit dem Rabatt. Dann ist es oft besser, die sensiblen Teile im Haus zu ersetzen, als den ganzen Ablauf auf ein schwächeres Modell zu legen.
Ein Vorverarbeitungsschritt im Haus erkennt Namen, Adressen, Kundennummern oder Preise und setzt Platzhalter ein. Das Modell arbeitet mit dem bereinigten Text, danach setzt der Ablauf die Originalwerte wieder ein. Die DSGVO nennt das Pseudonymisierung. Solche Daten gelten grundsätzlich weiter als personenbezogen, das Risiko sinkt aber deutlich.
Auch eine Wissensdatenbank aus eigenen Dokumenten bleibt auf Ihrem Server. An das Modell geht nur der Ausschnitt, der für eine Antwort nötig ist. Wie wir das bei Anfragen und Kundenberatung kombinieren, steht unter Vertrieb und Kommunikation. Ein Werkzeug nach Maß läuft ohnehin auf Ihrem Server, in einem deutschen Rechenzentrum oder in Ihrer Cloud, und seine KI-Anteile im Haus oder in einem europäischen Rechenzentrum.
Kosten
Was lokale KI kostet
| Rechenleistung | Ein gemieteter Server mit Grafikkarte kostet je nach Modellgröße etwa 200 bis 1.500 Euro im Monat (Richtwert, Stand 2026). Je größer das Modell, desto mehr Hardware braucht es. |
|---|---|
| Einrichtung | Sie ist Teil des Umbaus. Der Datenort ist einer der Faktoren, die dessen Festpreis bestimmen: Offene Modelle im Haus brauchen Einrichtung und Rechenleistung, Cloud-Modelle unter Vertrag sind schneller aufgesetzt. |
| Gebühren je Anfrage | Keine. Sie hängen nicht an der Preisliste eines Modellanbieters. |
| Wartung und Updates | Modelle und Systeme ändern sich. In der laufenden Begleitung gehören Modell-Updates dazu, jeweils mit Prüfung, bevor das neue Modell übernimmt. |
Was Analyse, Umbau und Begleitung kosten, steht mit Festpreisen unter Vorgehen und Preise. Wie sich Modellkosten in der Cloud zusammensetzen, rechnet der Artikel Was ein KI-Projekt im Mittelstand kostet an zwei Beispielen vor.
Einführung
Wie die Einführung abläuft
Wo das Modell läuft, steht fest, bevor der erste Ablauf läuft.
- Vorab
Gespräch von 30 Minuten
Sie erzählen, welcher Ablauf Sie Zeit kostet und welche Daten daran hängen. Unterlagen, Datenexporte oder Zugänge brauchen wir dafür nicht.
- Woche 1
Analyse mit Modellempfehlung
Drei Tage Aufnahme. Je Ablauf entstehen eine Datenfluss-Skizze und die Empfehlung, wo das Modell laufen soll, mit Begründung. Sie entscheiden.
- Woche 2
Regelwerk, Zugänge, Umgebung
Wir legen mit Ihnen fest, was der Ablauf darf und was er einem Menschen vorlegt. Ihre IT gibt Zugänge frei, wir richten die Umgebung ein, in der Ihre Daten bleiben.
- Woche 3
Probelauf
Der Ablauf bearbeitet eine Stichprobe, Ihre Fachabteilung prüft jede Stelle. Abweichungen werden zu Regeln.
- Woche 4 bis 5
Parallelbetrieb
Der Ablauf läuft neben der bisherigen Arbeit. Wir vergleichen Ergebnisse und Zahlen. Erst wenn sie stimmen, übernimmt er.
- Woche 6
Übergabe und Betrieb
Ihr Team bekommt die Dokumentation und die Regeln zum Anpassen. Ihre IT kann den Betrieb übernehmen, oder wir überwachen ihn in der Begleitung.
Das Modell bleibt dabei ein austauschbarer Baustein. Regeln, Prüfschritte und Protokoll gehören zum Ablauf, nicht zum Modell. Die offenen Modelle werden besser: Was heute nur in der Cloud gut funktioniert, kann in einem Jahr im eigenen Haus laufen. Dann lässt sich ein Ablauf verlegen, ohne ihn neu zu bauen. Umfangreiche Abläufe brauchen länger als sechs Wochen, den Zeitplan dafür nennt die Analyse.
Unterlagen
Unterlagen für Datenschutzbeauftragte und Betriebsrat
Für den Datenschutz
Auch beim Betrieb im Haus arbeiten wir in Ihrem Auftrag mit Ihren Daten. Deshalb schließen wir vor dem ersten Zugriff einen Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO. Ihr Datenschutzbeauftragter bekommt je Ablauf die Datenfluss-Skizze als Grundlage für das Verarbeitungsverzeichnis, das Verzeichnis der Unterauftragsverarbeiter und ein Löschkonzept mit Nachweis der Löschung nach Projektende. Unsere Zugriffe laufen über benannte Konten mit Zwei-Faktor-Anmeldung, protokolliert und jederzeit von Ihnen entziehbar.
Für den Betriebsrat
Fast jeder KI-Ablauf ist nach § 87 Absatz 1 Nr. 6 Betriebsverfassungsgesetz mitbestimmungspflichtig, auch wenn das Modell im Haus läuft. Der Betriebsrat bekommt die Beschreibung des Ablaufs, die Liste der Protokollinhalte, das Rollen- und Rechtekonzept und die Angabe, wo welches Modell läuft. Protokolliert werden Vorgänge, nicht Menschen: Kein Ablauf wertet aus, wer wie schnell oder wie fehlerfrei arbeitet.
Für die Einordnung nach EU AI Act
Die Betriebsart ändert nichts an den Pflichten aus der KI-Verordnung. Ein lokales Modell im Chatfenster für Besucher braucht denselben Hinweis wie ein Cloud-Modell. Welche Pflichten bei welchem Ablauf entstehen, beschreibt der Artikel EU AI Act für den Mittelstand.
Mehr zur Mitbestimmung steht im Artikel KI einführen mit dem Betriebsrat, die Punkte vor dem Start in der Checkliste KI rechtssicher einführen. Stand November 2026, keine Rechtsberatung.
Absender
Wer lokale KI bei Ihnen einrichtet
Five Hands ist die KI-Agentur München für sichere, datenschutzkonforme KI im Mittelstand. Wir sind an keinen Modellanbieter gebunden und verdienen nicht an Modellkosten. Deshalb können wir Ihnen je Ablauf sagen, ob das Modell im Haus laufen sollte oder ob eine andere Betriebsart das bessere Ergebnis bringt.
In jedem Vertrag mit uns steht derselbe Satz: Keine Kundendaten verlassen Ihre Systeme ohne Ihre schriftliche Entscheidung, und keine Ihrer Daten trainiert je ein fremdes Modell. Wenn Sie wissen wollen, ob sich lokale KI für einen Ihrer Abläufe eignet, buchen Sie ein Gespräch von 30 Minuten. Eine erste Einschätzung gibt auch der KI-Potenzial-Check.
Rückfragen
Häufige Fragen zu lokaler KI
Alle weiteren Antworten stehen unter Fragen und Antworten.
Was ist lokale KI?
Lokale KI heißt, dass das Sprachmodell auf Ihrer eigenen Hardware oder auf einem dedizierten Server in Deutschland läuft, den nur Sie und wir erreichen. Die Daten verlassen das Netz nicht, kein Modellanbieter liest mit, und nichts fließt in ein Training.
Welche KI-Modelle lassen sich lokal betreiben?
Offene Modelle wie Llama, Mistral, Qwen, DeepSeek oder Kolibri. Welches Modell zu einem Ablauf passt, steht in der Analyse, mit Begründung. Wir sind an keinen Anbieter gebunden. Alle Modelle, mit denen wir arbeiten, stehen auf der Seite KI-Modelle.
Brauchen wir dafür eigene Hardware?
Nicht zwingend. Das Modell kann auf Ihrer Hardware laufen oder auf einem gemieteten, dedizierten Server in Deutschland. Ein solcher Server mit Grafikkarte kostet je nach Modellgröße etwa 200 bis 1.500 Euro im Monat (Richtwert, Stand 2026).
Wie gut sind lokale Modelle im Vergleich zu den großen Cloud-Modellen?
Für Sprache in Menge sind sie gut: Einordnen, Zusammenfassen, Felder auslesen. Bei schwierigen Einzelfällen und anspruchsvollen Texten sind die großen Cloud-Modelle meist stärker. Wir sagen Ihnen je Ablauf, wo das der Fall ist, und Sie entscheiden.
Ist lokale KI automatisch DSGVO-konform?
Nein. Lokal heißt, dass keine Daten Ihr Netz verlassen. Die übrigen Pflichten bleiben: der Auftragsverarbeitungsvertrag mit uns, das Verarbeitungsverzeichnis, bei hohem Risiko eine Datenschutz-Folgenabschätzung und die Mitbestimmung des Betriebsrats. Die Bewertung trifft Ihr Datenschutzbeauftragter, wir liefern die Unterlagen dafür.
Müssen alle Abläufe lokal laufen?
Nein. Sie wählen die Betriebsart je Ablauf. Öffentliche Inhalte wie Produkttexte können über Cloud-Modelle unter Vertrag laufen, Kundendaten in einem europäischen Rechenzentrum, Geheimnisse und besonders sensible Daten im Haus. In den meisten Unternehmen laufen mehrere Betriebsarten nebeneinander.
Können wir die Betriebsart später wechseln?
Ja. Unsere Abläufe sind so gebaut, dass das Modell austauschbar ist. Regeln, Prüfschritte und Protokoll bleiben, wie sie sind. Vor einem Wechsel läuft der Ablauf mit dem neuen Modell gegen dieselben Prüfungen, und erst wenn die Ergebnisse stimmen, wird umgestellt.
Übergabe
Der erste Schritt ist ein Gespräch von 30 Minuten.
Sie erzählen uns von dem Ablauf, der Sie am meisten Zeit kostet. Wir sagen Ihnen ehrlich, ob sich KI dort lohnt und was der nächste Schritt wäre. Ob danach eine Ablaufanalyse folgt, entscheiden Sie.