KI im eigenen Haus

Drei Dinge, die alle „souverän“ nennen

Bevor über Werkzeuge gesprochen wird, muss geklärt sein, welches der drei Probleme eigentlich vorliegt. In den meisten Gesprächen werden sie vermischt, und weil sie unterschiedlich teuer zu lösen sind, entscheidet diese Unterscheidung über den gesamten weiteren Aufwand.

• ▪Vertraulichkeit: Die Inhalte sollen den eigenen Verantwortungsbereich nicht verlassen. Das ist der klassische Datenschutzfall – und in vielen Konstellationen bereits durch einen Auftragsverarbeitungsvertrag und eine EU-Region gelöst.
• ▪Rechtsraum: Auch ein Anbieter mit Rechenzentrum in Frankfurt kann als US-Unternehmen unter den CLOUD Act fallen. Wer diesen Zugriffspfad ausschließen will, braucht keinen anderen Standort, sondern einen anderen Anbieter.
• ▪Unabhängigkeit: Preise, Verfügbarkeit und Modellversionen liegen beim Anbieter. Wird ein Modell abgekündigt, ändern sich Ergebnisse über Nacht. Dieses Problem löst weder Standort noch Vertrag, sondern nur Austauschbarkeit.

Warum die Unterscheidung praktisch wichtig ist

Vertraulichkeit ist ein Vertragsproblem und in aller Regel das günstigste der drei. Rechtsraum ist eine Anbieterentscheidung und kostet meist etwas Aufpreis, aber keinen Eigenbetrieb. Unabhängigkeit ist eine Architekturentscheidung – und die lässt sich, das ist der überraschende Teil, ohne eigene Hardware erreichen.

Nur wenn Vertraulichkeit im strengen Sinn gefordert ist, führt der Weg zwingend ins eigene Haus. Das ist seltener der Fall, als es in Strategierunden klingt.

Die drei Betriebsmodelle

Zwischen „ChatGPT im Browser“ und „eigener Server im Keller“ liegt eine Stufe, die in der Diskussion regelmäßig übersprungen wird, obwohl sie für den Mittelstand meist die passende ist.

• ▪Stufe 1 – Cloud mit Vertrag: Ein Unternehmenstarif der großen Anbieter, mit Auftragsverarbeitungsvertrag, EU-Region und abgeschaltetem Training auf den eigenen Daten. Geringster Aufwand, beste Modellqualität, kein Betriebspersonal nötig.
• ▪Stufe 2 – Open-Weight-Modell bei einem europäischen Anbieter: Ein frei verfügbares Modell, betrieben von einem Anbieter ohne US-Konzernmutter – etwa IONOS, StackIT von Schwarz Digits, die Telekom, OVHcloud oder Mistral in Frankreich. Bedienung wie Cloud, Abrechnung nach Nutzung, kein CLOUD-Act-Bezug. Für die meisten Unternehmen mit erhöhtem Schutzbedarf die wirtschaftlich richtige Antwort.
• ▪Stufe 3 – Eigenbetrieb: Modell und Hardware im eigenen Verantwortungsbereich, ob im Serverraum oder bei einem Dienstleister mit dedizierten Maschinen. Volle Kontrolle, voller Aufwand.

Wann Stufe 3 tatsächlich nötig ist

Die Liste der Fälle, in denen echter Eigenbetrieb sachlich geboten ist, ist kürzer als erwartet – aber sie ist nicht leer.

• ▪Berufsgeheimnisträger nach § 203 StGB – Ärztinnen, Anwälte, Steuerberaterinnen. Seit der Neufassung von 2017 ist die Einbindung von Dienstleistern zwar zulässig, wenn sie vertraglich zur Geheimhaltung verpflichtet werden; die Anforderungen an Auswahl und Kontrolle liegen aber deutlich höher als sonst.
• ▪Verschlusssachen und sicherheitsempfindliche Aufträge, bei denen der Auftraggeber die Verarbeitungsumgebung vorschreibt.
• ▪Vertragliche Datenlokalisierungsklauseln, wie sie in Konzernrahmenverträgen und öffentlichen Vergaben vorkommen – hier entscheidet nicht das eigene Schutzbedürfnis, sondern eine Zusage an Dritte.
• ▪Betriebsvereinbarungen, die eine Verarbeitung außerhalb des Unternehmens ausschließen. Das ist ein selbst gesetztes Hindernis, aber ein bindendes.
• ▪Dauerhaft sehr hohe, gleichmäßige Last – dann kippt irgendwann auch die Wirtschaftlichkeit zugunsten eigener Hardware.

Die Werkzeuge und ihre Rolle

Die vier gängigen Bausteine lösen unterschiedliche Aufgaben und werden regelmäßig gegeneinander verglichen, obwohl sie nicht konkurrieren. Wer sie nach ihrer Rolle sortiert, trifft die Auswahl fast von selbst.

• ▪Ollama – der Einstieg. Lädt ein Modell mit einem Befehl und startet es auf einem einzelnen Rechner. Ideal, um in einer Woche herauszufinden, ob die Ergebnisqualität für den geplanten Zweck überhaupt reicht. Für den Mehrbenutzerbetrieb ist es nicht gebaut.
• ▪vLLM – der Produktionsserver. Bedient viele gleichzeitige Anfragen effizient, weil es Anfragen fortlaufend bündelt und den Speicher für laufende Unterhaltungen sparsam verwaltet. Das ist die Software, die hinter einem ernsthaften Eigenbetrieb steht – sie setzt allerdings Grafikkarten und jemanden voraus, der sie betreibt. Vergleichbare Alternativen sind SGLang, TGI von Hugging Face oder TensorRT-LLM von NVIDIA.
• ▪LiteLLM – der Vermittler. Legt eine einheitliche Schnittstelle vor beliebige Modelle, egal ob sie bei OpenAI, bei einem europäischen Anbieter oder auf dem eigenen Server liegen. Bringt Budgets, Nutzungsgrenzen, getrennte Schlüssel je Abteilung und eine vollständige Protokollierung mit.
• ▪Open WebUI – die Oberfläche. Eine vertraute Chat-Ansicht mit Nutzerverwaltung und Dokumenten-Upload. Ohne so etwas bleibt jedes selbst betriebene Modell im Alltag ungenutzt, weil niemand Anfragen von Hand an eine Programmierschnittstelle schickt.

Der Vermittler ist der unterschätzte Baustein

Wenn aus dieser Seite eine einzige Empfehlung mitgenommen wird, dann diese: Ein Vermittler wie LiteLLM ist für die meisten Unternehmen wertvoller als eigene Hardware – und er kostet einen Bruchteil davon.

Er löst nämlich das dritte Problem von oben, die Unabhängigkeit, ohne Eigenbetrieb. Alle Anwendungen sprechen mit einer Schnittstelle; welches Modell dahinter antwortet, ist eine Konfigurationszeile. Ein Anbieterwechsel wird damit zur Einstellungssache statt zum Projekt. Gleichzeitig entsteht genau die Protokollierung, die für Nachweispflichten ohnehin gebraucht wird: wer wann welches Modell mit welchem Verbrauch genutzt hat.

Das ist die Maßnahme mit dem besten Verhältnis von Aufwand zu Wirkung – und sie funktioniert unabhängig davon, ob am Ende Stufe 1, 2 oder 3 gewählt wird.

Open Weight ist nicht Open Source

Frei herunterladbare Modelle werden pauschal als „Open Source“ bezeichnet. Das ist unpräzise und im Unternehmenskontext gefährlich: Offene Gewichte bedeuten, dass die Modelldatei verfügbar ist – nicht, dass die Lizenz jede Nutzung erlaubt. Trainingsdaten und Trainingscode sind fast nie offengelegt.

Die Lizenzen unterscheiden sich erheblich, und der Unterschied ist vor dem produktiven Einsatz zu prüfen, nicht danach.

• ▪Echte Open-Source-Lizenzen (Apache 2.0 oder MIT) mit unkomplizierter kommerzieller Nutzung: die meisten Qwen-Modelle von Alibaba, mehrere Mistral-Modelle, DeepSeek-R1 sowie die gpt-oss-Modelle von OpenAI.
• ▪Eigene Anbieterlizenzen mit Auflagen: Llama von Meta erlaubt kommerzielle Nutzung, verlangt aber die Einhaltung einer Nutzungsrichtlinie, einen Hinweis „Built with Llama“ und enthält eine Sonderklausel für sehr große Dienste. Gemma von Google bringt ebenfalls eigene Nutzungsbeschränkungen mit.
• ▪Nur für Forschung freigegebene Varianten – die gibt es auch bei Anbietern, deren andere Modelle frei nutzbar sind. Der Modellname allein sagt nichts über die Lizenz.
• ▪Modelle mit europäischem Bezug: Teuken-7B aus dem Forschungsprojekt OpenGPT-X wurde gezielt für alle EU-Amtssprachen trainiert und steht unter Apache 2.0 – für viele Aufgaben nicht auf dem Niveau der großen Modelle, aber ein belastbarer Beleg, dass es geht.

Was es wirklich kostet

Der häufigste Denkfehler ist, den Eigenbetrieb als Sparmaßnahme zu betrachten. Die Rechnung geht selten auf: Wer ein größeres Modell für mehrere Dutzend gleichzeitige Nutzende bereitstellen will, landet bei Grafikkarten im Anschaffungsbereich eines Mittelklassewagens – während dieselben Modelle bei Anbietern nach Verbrauch für sehr kleine Beträge je Anfrage bereitstehen.

Hinzu kommt, dass die Hardware nicht nach der Modellgröße bemessen wird, sondern nach der Gleichzeitigkeit. Ein Modell, das allein bequem in den Speicher passt, braucht bei dreißig parallelen Unterhaltungen ein Vielfaches – weil jede laufende Unterhaltung zusätzlichen Speicher belegt. Genau diese Zahl fehlt in den meisten Kalkulationen.

• ▪Hardware und deren Abschreibung, plus Ersatz bei Ausfall – ein Server ohne zweiten Server ist kein Betrieb, sondern ein Versuch.
• ▪Strom und Kühlung, bei Grafikkarten kein Randposten.
• ▪Betrieb und Bereitschaft: Wer reagiert, wenn das Modell freitagabends nicht mehr antwortet?
• ▪Modellpflege: Alle paar Monate erscheint eine bessere Generation. Wer nicht wechselt, arbeitet nach zwei Jahren mit spürbar schwächeren Ergebnissen als der Wettbewerb.
• ▪Der Qualitätsabstand selbst: Offene Modelle haben stark aufgeholt, liegen bei anspruchsvollen Aufgaben aber weiterhin hinter den jeweils besten kommerziellen Modellen.

Was Eigenbetrieb nicht löst

Ein eigener Server beantwortet die Frage, wo die Daten liegen. Er beantwortet keine der übrigen Fragen, die eine KI-Einführung mit sich bringt – und dieser Irrtum ist teuer, weil er Pflichten für erledigt hält, die weiterbestehen.

• ▪Die Schulungspflicht nach Artikel 4 EU AI Act gilt unverändert. Sie hängt am Einsatz von KI, nicht am Betriebsmodell.
• ▪Eine KI-Richtlinie bleibt nötig: Welche Aufgaben abgegeben werden dürfen und wer für Ergebnisse geradesteht, ist unabhängig vom Standort des Servers zu regeln.
• ▪Die datenschutzrechtliche Verantwortung verschwindet nicht, sie wandert zu Ihnen. Ohne Auftragsverarbeiter sind Sie selbst die verarbeitende Stelle – mit allen Nachweispflichten.
• ▪Mitbestimmung bleibt Mitbestimmung: Ein selbst betriebenes System ist für den Betriebsrat genauso zustimmungsbedürftig wie ein eingekauftes.
• ▪Falsche Ausgaben bleiben falsche Ausgaben. Ein Modell im eigenen Keller erfindet genauso Sachverhalte wie eines in der Cloud – tendenziell sogar etwas häufiger, weil die verfügbaren offenen Modelle kleiner sind.