„Darf ich die Kundenmail einfach in ChatGPT kopieren?“ Diese Frage stellen sich viele Betriebe. Oft fällt dann das Wort „lokale KI“ als Alternative. Aber was heißt das genau? Dieser Beitrag ist Teil 1 meiner Serie KI im eigenen Haus: lokal statt ChatGPT. Ich erkläre dir ohne Fachchinesisch, was lokale KI ist und für wen sie passt. Am Ende gibt es eine Checkliste zum Abhaken, auch als PDF.
Was ist lokale KI?
Lokale KI läuft auf einem Rechner in deinem Büro oder auf einem Server, den du selbst kontrollierst. Deine Texte gehen dabei nicht über das Internet zu einem fremden Anbieter. Die KI rechnet bei dir im Haus und schickt die Antwort direkt zurück.
Bei ChatGPT und ähnlichen Diensten ist das anders. Dort läuft die KI in der Cloud. Cloud heißt: auf den Servern des Anbieters, oft in den USA. Alles, was du eintippst, geht dorthin. Was dann mit deinen Daten passiert, regeln der Vertrag und die Einstellungen beim Anbieter.
Technisch steckt hinter beiden Varianten dasselbe Prinzip. Ein Sprachmodell verarbeitet deine Eingabe. Das ist ein Programm, das Texte versteht und schreibt. Der Unterschied liegt nur darin, wo dieses Programm läuft.
Was die Datenschutzbehörden dazu sagen
Die deutsche Datenschutzkonferenz (DSK) hat 2024 eine Orientierungshilfe zu KI und Datenschutz veröffentlicht. Darin unterscheidet sie offene Cloud-Dienste und geschlossene Systeme. Bei offenen Diensten sieht sie das Risiko, dass Daten für weitere Zwecke genutzt oder in Drittländer übermittelt werden. Ihr Fazit: „Technisch geschlossene Systeme sind daher aus datenschutzrechtlicher Sicht vorzugswürdig.“
Die österreichische Datenschutzbehörde (DSB) rät, genau zu prüfen, ob personenbezogene Daten an den Hersteller gelangen. Sie weist darauf hin, dass manche Anbieter eine „On-Premise“-Lösung anbieten. Das heißt: Die Software läuft auf eigenen Servern. In der Schweiz gilt laut dem Eidgenössischen Datenschutzbeauftragten (EDÖB) das bestehende Datenschutzgesetz direkt auch für KI.
Was lokale KI kann – und wo ihre Grenzen liegen
Für lokale KI gibt es fertige Programme, die ein Sprachmodell auf dem eigenen Rechner starten. Ein bekanntes ist Ollama. In dessen Hilfeseite steht: „Ollama runs locally. We don’t see your prompts or data when you run locally.“ Auf Deutsch: Läuft Ollama bei dir, sieht der Hersteller deine Eingaben und Daten nicht. Ollama ist nicht das einzige Programm dieser Art. Für dich als Chef ist der Name aber zweitrangig. Wichtig ist, dass die Verarbeitung auf deinem eigenen Gerät passiert.
Die Grenze ist die Qualität. Lokale Modelle sind kleiner als die großen Cloud-Modelle. Für Alltagsaufgaben reichen sie oft gut aus. Bei langen, komplexen Texten oder Feinheiten in der Formulierung sind sie häufig schwächer. Und wie jede KI können auch lokale Modelle falsche Fakten erfinden. Mehr dazu folgt in einem eigenen Beitrag dieser Serie.
Dazu kommt die Betreuung. Ein KI-Rechner im Haus braucht Updates und jemanden, der sich bei Störungen kümmert. Bei einem Cloud-Dienst macht das der Anbieter.
Wo lokale KI dir im Alltag hilft
- Kundenmails zusammenfassen. Lange Mails mit Namen und Bestelldaten bleiben im Haus. Du bekommst die Kernpunkte in wenigen Zeilen.
- Angebote vorformulieren. Aus deinen Stichpunkten entsteht ein Textentwurf. Preise und Konditionen prüfst du selbst.
- Interne Dokumente durchsuchen. Handbücher oder Preislisten lassen sich mit einer lokalen KI befragen, ohne sie hochzuladen.
Allen drei Beispielen ist eines gemeinsam: Ein Mensch prüft das Ergebnis, bevor es weitergeht. Die KI liefert Entwürfe und Zusammenfassungen. Die Entscheidung bleibt bei dir.
Ich betreibe selbst einen eigenen KI-Rechner im Büro. Für Aufgaben mit sensiblen Kundendaten nutze ich ihn statt eines Cloud-Dienstes. Für allgemeine Texte ohne Personenbezug greife ich auch zu Cloud-KI. Diese Mischform ist für viele Betriebe ein guter Weg.
Beispiel: Dieselbe Kundenmail auf zwei Wegen
Stell dir vor, eine Kundin schreibt eine lange Mail. Darin stehen ihr Name, ihre Adresse und Details zu einer Reklamation. Du willst eine kurze Zusammenfassung für dein Team.
Mit Cloud-KI kopierst du die Mail in das Chatfenster. Sie geht über das Internet zum Anbieter, wird dort verarbeitet und im Verlauf gespeichert. Ob sie ins Training fließt, hängt von deinem Konto und deinen Einstellungen ab.
Mit lokaler KI fügst du die Mail in ein Programm ein, das auf deinem eigenen KI-Rechner läuft. Die Zusammenfassung entsteht im Haus. Die Mail verlässt dein Netzwerk nicht. Das Ergebnis siehst du genauso schnell auf dem Bildschirm.
Für dich als Nutzer fühlt sich beides ähnlich an. Der Unterschied liegt im Hintergrund: wer deine Daten zu sehen bekommt und wer dafür verantwortlich ist.
Lokale KI und Datenschutz in Deutschland, Österreich und der Schweiz
Ein wichtiger Punkt vorweg: Lokale KI ist nicht automatisch datenschutzkonform. Die DSGVO in Deutschland und Österreich gilt genauso, wenn die KI bei dir im Haus läuft. Du brauchst weiter einen Zweck und eine Rechtsgrundlage. Der Grundsatz der Datenminimierung bleibt auch: Du verarbeitest nur so viele Daten wie nötig. Und auch die lokale KI gehört in dein Verzeichnis der Verarbeitungstätigkeiten, mit Zweck und Art der Daten.
Was wegfällt, ist der Datenabfluss an einen fremden Anbieter. Damit entfällt meist der Vertrag mit einem KI-Anbieter. Auch die Frage, ob Daten in die USA gehen, stellt sich nicht. Betreut ein Dienstleister deinen KI-Rechner, kann aber ein Vertrag mit ihm nötig sein. In der Schweiz gilt das Datenschutzgesetz (DSG) ebenso direkt für KI, ob lokal oder in der Cloud. Was bei Cloud-Diensten wie ChatGPT zu prüfen ist, steht im Beitrag Was passiert mit deinen Daten in ChatGPT & Co.?.
Auch der AI Act gilt für lokale KI. Wer KI im Betrieb einsetzt, sollte etwas für das KI-Wissen seiner Leute tun. Was das konkret heißt, erkläre ich im Beitrag zur KI-Kompetenz nach AI Act.
Wann lokale KI Sinn macht – und wann nicht
Lokale KI lohnt sich vor allem bei sensiblen Daten. Dazu gehören Kundendaten und Personaldaten. Besonders heikel sind Gesundheitsdaten, etwa in einer Praxis oder im Pflegebereich. Auch wenn mehrere Leute im Team täglich mit KI arbeiten, kann ein eigener Rechner passen.
Weniger sinnvoll ist sie, wenn du nur öffentliche Texte bearbeitest. Für Produktbeschreibungen oder Blogentwürfe ohne Personenbezug reicht oft ein Cloud-Dienst mit Firmenkonto. Und wenn niemand im Haus den Rechner betreuen kann, wird lokale KI schnell zur Last. Dann brauchst du einen Dienstleister dafür.
Für Technik-Interessierte: Wie sich lokale KI beim Programmieren schlägt, habe ich im Praxistest lokale KI ausprobiert. Begriffe rund um Websites und KI erkläre ich im Glossar.
Wenn du lokale KI ausprobieren willst, fang klein an. Wähle eine Aufgabe, die jede Woche gleich ist und wenig Risiko hat. Kläre vorher, wer den Rechner betreut. Und vergleiche nach ein paar Wochen nüchtern: Spart es Zeit, und reicht die Qualität?
Checkliste: Passt lokale KI zu deinem Betrieb?
Hake ab, was in deinem Betrieb schon passt. Dein Stand bleibt in diesem Browser gespeichert.
- Ich weiß, welche Daten im Betrieb heute in KI-Tools landen. Frag im Team nach. Notiere Beispiele: Kundenmails, Angebote, Protokolle.
- Ich habe geprüft, ob darunter Kundendaten oder Personaldaten sind. Geh die Beispiele durch. Steht ein Name, eine Adresse oder eine Bestellnummer drin?
- Ich weiß, wo der Anbieter meiner KI die Daten speichert. Such in den Unterlagen des Anbieters nach dem Speicherort und der Aufbewahrungsdauer.
- Ich habe entschieden, welche Aufgaben in der Cloud bleiben dürfen. Schreib zwei Spalten: „Cloud ist in Ordnung“ und „nur im eigenen Haus“.
- Ich weiß, wer im Haus einen lokalen KI-Rechner betreuen würde. Gibt es eine Person oder einen Dienstleister für Updates und Störungen?
- Ich habe eine Aufgabe ausgewählt, mit der ich testen will. Wähle etwas Wiederkehrendes mit wenig Risiko, zum Beispiel interne Zusammenfassungen.
Häufige Fragen
Brauche ich für lokale KI Internet?
Für die Arbeit selbst nicht. Die KI rechnet auf deinem Rechner. Internet brauchst du zum Herunterladen der Sprachmodelle und für Updates.
Ist lokale KI automatisch DSGVO-konform?
Nein. Die Regeln der DSGVO gelten weiter, ebenso das Schweizer DSG. Es fällt nur der Datenabfluss an einen fremden Anbieter weg. Zweck und Rechtsgrundlage brauchst du trotzdem.
Ist lokale KI so gut wie ChatGPT?
Nicht in allem. Lokale Modelle sind kleiner als die großen Cloud-Modelle. Für Zusammenfassungen und Entwürfe reichen sie oft. Bei langen, anspruchsvollen Texten liefern Cloud-Modelle meist bessere Ergebnisse.
Kann ich lokale KI auf meinem normalen Bürorechner betreiben?
Zum Ausprobieren mit kleinen Modellen oft ja. Wenn mehrere Leute im Team damit arbeiten sollen, braucht es meist einen eigenen, leistungsstarken Rechner. Welche Hardware passt, hängt von deinen Aufgaben ab.
Wer kümmert sich um Updates?
Das musst du selbst regeln. Entweder übernimmt das jemand im Betrieb oder ein Dienstleister. Ohne Updates veraltet die Software, und Sicherheitslücken bleiben offen. Plane die Betreuung deshalb von Anfang an mit ein.
Du willst wissen, ob lokale KI zu deinem Betrieb passt? Ich prüfe das gern mit dir. Wie ich heikle Daten mit lokaler KI verarbeite, steht bei KI-Infrastruktur & Automatisierung. Den Einstieg für dein Team bietet der Workshop KI mit WordPress. Weiter in der Serie geht es mit der Frage: Was passiert mit deinen Daten in ChatGPT & Co.?
