Eigene KI im Haus: Wann sich das rechnet und wann nicht

Die Frage kommt in fast jedem zweiten Erstgespräch, meistens vom IT-Verantwortlichen oder vom Geschäftsführer selbst: Können wir so ein Modell nicht einfach bei uns im Haus betreiben? Dann bleiben die Daten hier und wir haben das Thema vom Tisch.

Der Gedanke ist nachvollziehbar. In den meisten Fällen ist er trotzdem die falsche Antwort, und zwar weniger aus technischen als aus wirtschaftlichen Gründen.

Was tatsächlich dranhängt

Ein Modell im eigenen Haus zu betreiben ist heute technisch keine große Sache mehr. Die Software dafür ist frei verfügbar, die Modelle sind es größtenteils auch, und in einem Nachmittag läuft eine erste Installation.

Der Aufwand liegt danach.

Sie brauchen Hardware, die den Namen verdient. Für ein Modell, das brauchbare deutsche Texte produziert, reden wir über eine Maschine im mittleren vierstelligen bis unteren fünfstelligen Bereich, die außerdem Strom zieht und irgendwo stehen muss, wo es kühl genug ist.

Sie brauchen jemanden, der sie betreut. Updates, Sicherheitspatches, Fehlersuche, wenn morgens nichts antwortet. Das ist die Stelle, an der es bei Betrieben ohne eigene IT-Abteilung regelmäßig scheitert.

Und Sie bekommen einen Rückstand. Die Modelle, die Sie selbst betreiben können, liegen in der Qualität typischerweise ein bis zwei Generationen hinter dem, was die großen Anbieter aktuell liefern. Für viele Aufgaben reicht das gut aus. Ihre Mitarbeiter merken den Unterschied trotzdem, wenn sie privat das eine und im Büro das andere benutzen.

Was hinter der Frage meistens steckt

Wenn ich nachhake, warum die Daten unbedingt im Haus bleiben sollen, kommt selten eine konkrete Vorschrift. Es kommt ein Gefühl, und dieses Gefühl ist ernst zu nehmen, aber es ist selten ein Argument für eigene Hardware.

Meistens geht es um drei Dinge: Die Daten sollen nicht zum Training verwendet werden. Sie sollen die EU nicht verlassen. Und es soll jemanden geben, der vertraglich haftet.

Alle drei bekommen Sie ohne eigenen Serverraum. Es gibt europäische Anbieter, die genau das vertraglich zusichern, und die großen Anbieter haben inzwischen ebenfalls Angebote mit EU-Verarbeitung und ohne Training auf Kundendaten. Der Vertrag zur Auftragsverarbeitung regelt den Rest.

Der Unterschied in den Kosten ist deutlich. Ein Team von zwanzig Leuten fährt mit einem solchen Dienst im niedrigen dreistelligen Bereich pro Monat. Die eigene Maschine ist nach drei Jahren womöglich günstiger, wenn man den Betreuungsaufwand großzügig ignoriert. Genau diesen Aufwand ignorieren die meisten Rechnungen, die mir vorgelegt werden.

Wann es sich doch lohnt

Es gibt Fälle, in denen ich zum eigenen Betrieb rate, und sie sind klarer umrissen, als man denkt.

Wenn Sie mit Daten arbeiten, die vertraglich das Haus nicht verlassen dürfen, etwa weil ein Großkunde das im Rahmenvertrag so festgeschrieben hat. Das kommt in der Zulieferindustrie häufiger vor, als man annimmt, und dann ist die Diskussion beendet.

Wenn Sie sehr große Mengen gleichartiger Texte verarbeiten. Bei mehreren zehntausend Vorgängen im Monat kippt die Rechnung irgendwann, weil die Kosten pro Anfrage bei den Anbietern mit dem Volumen skalieren, die eigene Maschine dagegen nicht.

Und wenn Sie ohnehin eine IT-Abteilung haben, die Server betreut. Dann ist eine Maschine mehr kein grundsätzlich neues Thema, sondern eine Erweiterung von etwas, das Sie schon können.

Der Zwischenweg, den ich meistens empfehle

Fangen Sie mit einem Dienst an, der EU-Verarbeitung und einen ordentlichen Vertrag bietet. Schreiben Sie in die interne Regel, welche Daten hineindürfen. Arbeiten Sie damit sechs Monate.

Danach wissen Sie zwei Dinge, die Sie heute noch nicht wissen können: welche Aufgaben tatsächlich anfallen und wie viel Sie davon haben. Erst mit diesen Zahlen lässt sich die Frage nach eigener Hardware ernsthaft rechnen.

Ich habe mehrere Betriebe erlebt, die zuerst die Maschine gekauft und dann festgestellt haben, dass die eigentliche Anwendung eine ganz andere war als gedacht. Die Maschine steht dann da. In die andere Richtung habe ich das noch nie erlebt.