Five Hands EN, English version Gespräch buchen

Betrieb

Stand

Lokale KI im Unternehmen. Modelle, die im Haus laufen und nichts nach außen geben.

Manche Daten dürfen das Haus nicht verlassen: Personalakten, Verträge, Konditionen, Konstruktionsdaten. Für solche Abläufe betreiben wir offene KI-Modelle auf Ihrer Hardware oder auf einem dedizierten Server in Deutschland. Diese Seite zeigt, was das heißt, wofür es sich eignet, was es kostet und wo lokale Modelle schwächer sind.

Gespräch buchen Datenfluss ansehen

Begriff

Was lokale KI bedeutet

Lokal heißt: Das Sprachmodell läuft dort, wo Ihre Daten liegen, und nicht bei einem Modellanbieter. Dafür gibt es zwei Wege. Entweder steht die Rechenleistung in Ihrem eigenen Netz, oder wir richten einen dedizierten Server in Deutschland ein, den nur Sie und wir erreichen. In beiden Fällen verlassen keine Daten das Netz, kein Anbieter liest mit, und nichts fließt in ein Training.

Möglich machen das offene Modelle wie Llama oder Mistral. Sie lassen sich herunterladen und selbst betreiben, anders als die Modelle, die nur über die Schnittstelle eines Anbieters erreichbar sind. Die Begriffe dafür wechseln: lokale KI, KI on-premise, KI ohne Cloud. Gemeint ist dasselbe.

Nicht gemeint ist ein großes Modell in einem europäischen Rechenzentrum. Das ist eine eigene Betriebsart mit eigenem Vertrag und eigenem Platz. Und lokal heißt nicht, dass Ihre Mitarbeiter ein weiteres Chatfenster bekommen. Wir bauen das Modell in einen Ablauf ein, mit Regeln, Prüfschritten und einem Protokoll je Vorgang. Warum das den Unterschied macht, steht im Artikel KI im Mittelstand: Chatfenster oder Ablauf.

Eignung

Wofür sich lokale KI eignet, und wofür nicht

Die Frage ist nicht, ob lokal oder Cloud besser ist, sondern welche Daten an einem Ablauf beteiligt sind.

Dafür empfehlen wir den Betrieb im Haus

  • Gesundheitsdaten und andere besondere Kategorien nach Artikel 9 DSGVO, mit hohen Anforderungen an jede Verarbeitung.
  • Preise, Konditionen und Verträge: Geschäftsgeheimnisse, die im Haus bleiben oder vor der Verarbeitung ersetzt werden.
  • Konstruktionsdaten und Rezepturen: der Kern des Unternehmenswerts. Kein Ergebnisvorteil der Cloud rechtfertigt hier das Risiko.
  • Bewerbungen und Personalakten: im Haus oder nach Abwägung in einem europäischen Rechenzentrum, mit Mitbestimmung des Betriebsrats.
  • Sprache in Menge: Einordnen, Zusammenfassen, Felder aus Dokumenten auslesen. Das können die offenen Modelle gut.

Dafür ist lokale KI die schwächere Wahl

  • Schwierige Einzelfälle und anspruchsvolle Texte. Hier sind die großen Cloud-Modelle den offenen Modellen meist überlegen.
  • Produkttexte, Datenblätter und Übersetzungen ohne Personenbezug. Die Inhalte sind meist ohnehin öffentlich, es zählt die Textqualität.
  • Abläufe, die gar kein Sprachmodell brauchen. Dubletten und Schreibweisen lassen sich oft mit Regeln im System lösen. Das ist günstiger und robuster.

Wir versprechen deshalb keine lokale KI für alles. Die Analyse empfiehlt je Ablauf eine Betriebsart, mit Begründung, und Sie entscheiden, ob ein Unterschied im Ergebnis eine andere Betriebsart rechtfertigt. Für Maschinenbauer mit Exportkontrolle und Konstruktionsgeheimnissen haben wir das unter KI im Maschinenbau beschrieben.

Vergleich

Die drei Betriebsarten im Vergleich

In den meisten Unternehmen laufen am Ende mehrere nebeneinander. Lokal ist eine davon, nicht die einzige.

Die drei Betriebsarten für KI-Modelle im Vergleich
BetriebsartWo das Modell läuftGeeignet fürGrenze
Im Haus (lokale KI)Offene Modelle wie Llama oder Mistral auf Ihrer Hardware oder auf einem dedizierten Server in DeutschlandPersonendaten, Verträge, Gesundheitsdaten, alles mit GeheimhaltungGut für Sprache in Menge, bei schwierigen Einzelfällen schwächer als die großen Cloud-Modelle. Einrichtung, Rechenleistung, Wartung und Updates fallen an
Europäisches RechenzentrumGroße Modelle über Anbieter mit Verarbeitung in der EU, etwa Google Vertex AI in Frankfurt oder Belgien, Microsoft Azure in Deutschland, Mistral in FrankreichKundendaten, Anfragen, CRM-InhalteBei Anbietern mit Konzernsitz in den USA bleibt ein Restrisiko, das Ihr Datenschutzbeauftragter abwägt. Gebühren je Token
Cloud unter VertragModelle von Anthropic, OpenAI oder Google direkt über die Schnittstelle, mit Auftragsverarbeitungsvertrag und ohne Training mit Ihren EingabenProdukttexte, Übersetzungen, Bestände ohne PersonenbezugVerarbeitung kann außerhalb der EU stattfinden. Nur, wo keine Personendaten fließen oder Sie es schriftlich entscheiden

Welche Datenart in welche Betriebsart gehört, zeigt eine Tabelle im Artikel KI-Datenschutz im Unternehmen. Den Datenfluss je Leistung und den Satz, der in jedem unserer Verträge steht, finden Sie unter Datensouveränität.

Mischform

Lokal, wo es nötig ist: sensible Stellen vorher ersetzen

Viele Abläufe enthalten nur wenige sensible Stellen. Eine Produktanfrage besteht aus einer technischen Frage und einer Signatur mit Name, Telefonnummer und Firma. Ein Angebotstext enthält eine Beschreibung und eine Zeile mit dem Rabatt. Dann ist es oft besser, die sensiblen Teile im Haus zu ersetzen, als den ganzen Ablauf auf ein schwächeres Modell zu legen.

Ein Vorverarbeitungsschritt im Haus erkennt Namen, Adressen, Kundennummern oder Preise und setzt Platzhalter ein. Das Modell arbeitet mit dem bereinigten Text, danach setzt der Ablauf die Originalwerte wieder ein. Die DSGVO nennt das Pseudonymisierung. Solche Daten gelten grundsätzlich weiter als personenbezogen, das Risiko sinkt aber deutlich.

Auch eine Wissensdatenbank aus eigenen Dokumenten bleibt auf Ihrem Server. An das Modell geht nur der Ausschnitt, der für eine Antwort nötig ist. Wie wir das bei Anfragen und Kundenberatung kombinieren, steht unter Vertrieb und Kommunikation. Ein Werkzeug nach Maß läuft ohnehin auf Ihrem Server, in einem deutschen Rechenzentrum oder in Ihrer Cloud, und seine KI-Anteile im Haus oder in einem europäischen Rechenzentrum.

Kosten

Was lokale KI kostet

Kostenbestandteile beim Betrieb lokaler KI-Modelle
RechenleistungEin gemieteter Server mit Grafikkarte kostet je nach Modellgröße etwa 200 bis 1.500 Euro im Monat (Richtwert, Stand 2026). Je größer das Modell, desto mehr Hardware braucht es.
EinrichtungSie ist Teil des Umbaus. Der Datenort ist einer der Faktoren, die dessen Festpreis bestimmen: Offene Modelle im Haus brauchen Einrichtung und Rechenleistung, Cloud-Modelle unter Vertrag sind schneller aufgesetzt.
Gebühren je AnfrageKeine. Sie hängen nicht an der Preisliste eines Modellanbieters.
Wartung und UpdatesModelle und Systeme ändern sich. In der laufenden Begleitung gehören Modell-Updates dazu, jeweils mit Prüfung, bevor das neue Modell übernimmt.

Was Analyse, Umbau und Begleitung kosten, steht mit Festpreisen unter Vorgehen und Preise. Wie sich Modellkosten in der Cloud zusammensetzen, rechnet der Artikel Was ein KI-Projekt im Mittelstand kostet an zwei Beispielen vor.

Einführung

Wie die Einführung abläuft

Wo das Modell läuft, steht fest, bevor der erste Ablauf läuft.

  1. Vorab

    Gespräch von 30 Minuten

    Sie erzählen, welcher Ablauf Sie Zeit kostet und welche Daten daran hängen. Unterlagen, Datenexporte oder Zugänge brauchen wir dafür nicht.

  2. Woche 1

    Analyse mit Modellempfehlung

    Drei Tage Aufnahme. Je Ablauf entstehen eine Datenfluss-Skizze und die Empfehlung, wo das Modell laufen soll, mit Begründung. Sie entscheiden.

  3. Woche 2

    Regelwerk, Zugänge, Umgebung

    Wir legen mit Ihnen fest, was der Ablauf darf und was er einem Menschen vorlegt. Ihre IT gibt Zugänge frei, wir richten die Umgebung ein, in der Ihre Daten bleiben.

  4. Woche 3

    Probelauf

    Der Ablauf bearbeitet eine Stichprobe, Ihre Fachabteilung prüft jede Stelle. Abweichungen werden zu Regeln.

  5. Woche 4 bis 5

    Parallelbetrieb

    Der Ablauf läuft neben der bisherigen Arbeit. Wir vergleichen Ergebnisse und Zahlen. Erst wenn sie stimmen, übernimmt er.

  6. Woche 6

    Übergabe und Betrieb

    Ihr Team bekommt die Dokumentation und die Regeln zum Anpassen. Ihre IT kann den Betrieb übernehmen, oder wir überwachen ihn in der Begleitung.

Das Modell bleibt dabei ein austauschbarer Baustein. Regeln, Prüfschritte und Protokoll gehören zum Ablauf, nicht zum Modell. Die offenen Modelle werden besser: Was heute nur in der Cloud gut funktioniert, kann in einem Jahr im eigenen Haus laufen. Dann lässt sich ein Ablauf verlegen, ohne ihn neu zu bauen. Umfangreiche Abläufe brauchen länger als sechs Wochen, den Zeitplan dafür nennt die Analyse.

Unterlagen

Unterlagen für Datenschutzbeauftragte und Betriebsrat

Für den Datenschutz

Auch beim Betrieb im Haus arbeiten wir in Ihrem Auftrag mit Ihren Daten. Deshalb schließen wir vor dem ersten Zugriff einen Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO. Ihr Datenschutzbeauftragter bekommt je Ablauf die Datenfluss-Skizze als Grundlage für das Verarbeitungsverzeichnis, das Verzeichnis der Unterauftragsverarbeiter und ein Löschkonzept mit Nachweis der Löschung nach Projektende. Unsere Zugriffe laufen über benannte Konten mit Zwei-Faktor-Anmeldung, protokolliert und jederzeit von Ihnen entziehbar.

Für den Betriebsrat

Fast jeder KI-Ablauf ist nach § 87 Absatz 1 Nr. 6 Betriebsverfassungsgesetz mitbestimmungspflichtig, auch wenn das Modell im Haus läuft. Der Betriebsrat bekommt die Beschreibung des Ablaufs, die Liste der Protokollinhalte, das Rollen- und Rechtekonzept und die Angabe, wo welches Modell läuft. Protokolliert werden Vorgänge, nicht Menschen: Kein Ablauf wertet aus, wer wie schnell oder wie fehlerfrei arbeitet.

Für die Einordnung nach EU AI Act

Die Betriebsart ändert nichts an den Pflichten aus der KI-Verordnung. Ein lokales Modell im Chatfenster für Besucher braucht denselben Hinweis wie ein Cloud-Modell. Welche Pflichten bei welchem Ablauf entstehen, beschreibt der Artikel EU AI Act für den Mittelstand.

Mehr zur Mitbestimmung steht im Artikel KI einführen mit dem Betriebsrat, die Punkte vor dem Start in der Checkliste KI rechtssicher einführen. Stand November 2026, keine Rechtsberatung.

Absender

Wer lokale KI bei Ihnen einrichtet

Five Hands ist die KI-Agentur München für sichere, datenschutzkonforme KI im Mittelstand. Wir sind an keinen Modellanbieter gebunden und verdienen nicht an Modellkosten. Deshalb können wir Ihnen je Ablauf sagen, ob das Modell im Haus laufen sollte oder ob eine andere Betriebsart das bessere Ergebnis bringt.

In jedem Vertrag mit uns steht derselbe Satz: Keine Kundendaten verlassen Ihre Systeme ohne Ihre schriftliche Entscheidung, und keine Ihrer Daten trainiert je ein fremdes Modell. Wenn Sie wissen wollen, ob sich lokale KI für einen Ihrer Abläufe eignet, buchen Sie ein Gespräch von 30 Minuten. Eine erste Einschätzung gibt auch der KI-Potenzial-Check.

Rückfragen

Häufige Fragen zu lokaler KI

Alle weiteren Antworten stehen unter Fragen und Antworten.

Was ist lokale KI?

Lokale KI heißt, dass das Sprachmodell auf Ihrer eigenen Hardware oder auf einem dedizierten Server in Deutschland läuft, den nur Sie und wir erreichen. Die Daten verlassen das Netz nicht, kein Modellanbieter liest mit, und nichts fließt in ein Training.

Welche KI-Modelle lassen sich lokal betreiben?

Offene Modelle wie Llama, Mistral, Qwen, DeepSeek oder Kolibri. Welches Modell zu einem Ablauf passt, steht in der Analyse, mit Begründung. Wir sind an keinen Anbieter gebunden. Alle Modelle, mit denen wir arbeiten, stehen auf der Seite KI-Modelle.

Brauchen wir dafür eigene Hardware?

Nicht zwingend. Das Modell kann auf Ihrer Hardware laufen oder auf einem gemieteten, dedizierten Server in Deutschland. Ein solcher Server mit Grafikkarte kostet je nach Modellgröße etwa 200 bis 1.500 Euro im Monat (Richtwert, Stand 2026).

Wie gut sind lokale Modelle im Vergleich zu den großen Cloud-Modellen?

Für Sprache in Menge sind sie gut: Einordnen, Zusammenfassen, Felder auslesen. Bei schwierigen Einzelfällen und anspruchsvollen Texten sind die großen Cloud-Modelle meist stärker. Wir sagen Ihnen je Ablauf, wo das der Fall ist, und Sie entscheiden.

Ist lokale KI automatisch DSGVO-konform?

Nein. Lokal heißt, dass keine Daten Ihr Netz verlassen. Die übrigen Pflichten bleiben: der Auftragsverarbeitungsvertrag mit uns, das Verarbeitungsverzeichnis, bei hohem Risiko eine Datenschutz-Folgenabschätzung und die Mitbestimmung des Betriebsrats. Die Bewertung trifft Ihr Datenschutzbeauftragter, wir liefern die Unterlagen dafür.

Müssen alle Abläufe lokal laufen?

Nein. Sie wählen die Betriebsart je Ablauf. Öffentliche Inhalte wie Produkttexte können über Cloud-Modelle unter Vertrag laufen, Kundendaten in einem europäischen Rechenzentrum, Geheimnisse und besonders sensible Daten im Haus. In den meisten Unternehmen laufen mehrere Betriebsarten nebeneinander.

Können wir die Betriebsart später wechseln?

Ja. Unsere Abläufe sind so gebaut, dass das Modell austauschbar ist. Regeln, Prüfschritte und Protokoll bleiben, wie sie sind. Vor einem Wechsel läuft der Ablauf mit dem neuen Modell gegen dieselben Prüfungen, und erst wenn die Ergebnisse stimmen, wird umgestellt.

Übergabe

Der erste Schritt ist ein Gespräch von 30 Minuten.

Sie erzählen uns von dem Ablauf, der Sie am meisten Zeit kostet. Wir sagen Ihnen ehrlich, ob sich KI dort lohnt und was der nächste Schritt wäre. Ob danach eine Ablaufanalyse folgt, entscheiden Sie.

Gespräch buchenVorgehen und Preise