Lokale KI und eigene Modelle

Vier Ebenen, und wir bauen alle vier

Ein Modell allein tut nichts. Es ist eine Ebene in einer Maschine, die vier davon hat, und der Nutzen entsteht erst, wenn alle vier zusammenpassen. Das ist der Grund, aus dem wir nicht bei einer davon aufhören.

• Die Kommandozentrale

  Die Oberfläche, in der ihr seht, was gerade läuft, was auf eure Freigabe wartet und was schiefging. Startet, hält nach, protokolliert. Das ist Software, die wir auf euren Betrieb schreiben, kein Werkzeug, in das ihr euch hineinfaltet.

• Die Agenten

  Die kleinen Programme, die die Arbeit tun. Jedes mit einer Aufgabe, mit genau den Rechten, die es dafür braucht, und mit einem Protokoll, an dem man sieht, worauf es sich gestützt hat.

• Das Modell

  Diese Seite

  Der Verstand darunter. Hier sitzt eine Wahl, von der die meisten nicht wissen, dass sie sie haben. Ein öffentliches Modell aus der Cloud, ein Anbieter in Europa, oder euer eigenes im Haus, das nur euren Betrieb kennt. Alle drei sind in Ordnung, und bei der dritten gehen wir besonders weit.

• Die Infrastruktur

  Der Server, auf dem das alles steht. Open Source, bei euch im Haus oder in unserem Rack, mit Sicherung, Überwachung und einem geübten Weg zurück. Ohne diese Ebene ist digitale Souveränität eine Absichtserklärung.

Alles auf Wunsch. Ihr nehmt jede Ebene von uns oder bringt eure eigene mit. Wer schon einen Server hat, behält ihn. Wer nur ein Modell braucht, bekommt nur das. Was wir nicht bauen, ist eine Ebene, die sich später nicht mehr tauschen lässt.

Zwei Listen, und dazwischen liegt der ganze Unterschied

Ihr tauscht Weltwissen gegen Betriebswissen. Das ist ein guter Tausch, und am schnellsten liest er sich so.

Für die erste Liste bezahlt ihr auch keinen eurer Mitarbeiter. Für die zweite schon.

Drei Wege, wie euer Wissen in das Modell kommt

Wissen kommt nicht auf einem Weg hinein, sondern auf dreien, und sie kosten sehr unterschiedlich viel. Wir fangen oben an und gehen nur so weit nach unten, wie es sich lohnt.

1. 1

   Sagen

   Der schnellste Weg, und der, den die meisten unterschätzen. Eure Regeln, euer Ton, eure verbotenen Formulierungen und ein paar wirklich gute Beispiele stehen als Text da, den ein Mensch liest und ändert. Eine Änderung ist in einer Stunde gemacht und wirkt sofort. Alles, worüber im Betrieb noch gestritten wird, gehört hierher. Einen Streit kann man in einem Text austragen, in einem trainierten Modell nicht.

2. 2

   Nachschlagen

   Für alles, was sich ändert. Preisliste, Bestände, der Vertrag von gestern, das Protokoll von heute Morgen. Das Modell bekommt eine Suche auf eure eigenen Unterlagen und schlägt nach, statt zu raten, und es nennt die Stelle, aus der die Antwort kommt. Ein Preis, der sich am Montag ändert, ist am Montag geändert und nicht beim nächsten Training.

3. 3

   Antrainieren

   Für das, was immer gilt. Wie ihr schreibt, wie eure Formulare aussehen, welche Schritte eine Vorgangsart hat, wo die Grenze zwischen zwei Fällen verläuft. Das wandert in das Modell selbst, und danach braucht es die lange Anweisung nicht mehr. Es wird dabei schneller, im Betrieb günstiger und in seinem Fach zuverlässiger. Wir hängen dafür eine zusätzliche Schicht an ein offenes Modell, statt es neu zu bauen. Das ist der Unterschied zwischen einem Wochenende und einem halben Jahr.

Wer euch verspricht, euer Wissen ins Modell zu trainieren, meint meistens die zweite Stufe. Wir sagen euch, welche wir nehmen und warum, und die häufigste ehrliche Antwort ist eine Mischung aus allen dreien.

Es wird besser, während ihr damit arbeitet

Ein Modell, das nach der Einführung bleibt, wie es war, ist eine Momentaufnahme eures Betriebs. Euer Betrieb ist aber keine. Deshalb hängt daran derselbe Kreis, den ihr aus der Qualitätssicherung kennt, nur dass ihn hier Agenten drehen.

Jede Korrektur ist ein Beispiel

Wenn jemand einen Entwurf überarbeitet, bevor er rausgeht, ist der Unterschied zwischen vorher und nachher die wertvollste Information im ganzen System. Sie wird eingefangen, statt im Postausgang zu verschwinden.

Ein Agent sammelt, ein Mensch entscheidet

Vorgeschlagen wird maschinell, aufgenommen wird nach einer Freigabe. Ein System, das sich unbeaufsichtigt selbst nachzieht, lernt irgendwann auch den Fehler mit.

Geprüft wird gegen das alte Modell

Mit Fällen, die im Training nicht vorkamen, und beurteilt von euren Leuten. Wird es nicht besser, bleibt das alte im Einsatz. Genau dafür macht man einen Test.

Vorher steht, woran Erfolg gemessen wird

Ohne diese Zahl ist jedes Ergebnis eine Geschmacksfrage, und dann gewinnt der, der am lautesten findet, es sei besser geworden.

Was ihr davon habt

Der Datenschutz ist der Grund, aus dem die meisten fragen. Er ist nicht der größte.

Nichts verlässt das Haus

Kein Anbieter dazwischen, keine Übermittlung in ein anderes Land, keine Nutzungsbedingung, die sich zum nächsten Quartal ändert. Was ihr euren eigenen Kunden über deren Daten zusagt, könnt ihr mit einer Adresse belegen statt mit einem Verweis auf Vertragsklauseln.

Die Kosten sind eine Anschaffung, kein Zähler

Ihr zahlt Hardware und Strom, nicht jede einzelne Anfrage. Wer viel damit arbeitet, wird dafür nicht bestraft. Zehntausend Dokumente über Nacht kosten euch eine Nacht und keine Rechnung.

Es fällt nicht aus, weil woanders etwas ausfällt

Keine Warteschlange zur Mittagszeit, kein fremder Statusbericht, und keine abgekündigte Modellversion, die euren Ablauf über Nacht umbaut. Was heute läuft, läuft in zwei Jahren genauso, wenn ihr das wollt.

Es läuft ohne Internet

Auf der Baustelle, in der Halle, im Außendienst, im Werk hinter der eigenen Brandmauer. Für manche Betriebe ist das der einzige Grund, aus dem KI überhaupt in Frage kommt.

Das Modell gehört euch

Es ist eine Datei. Ihr könnt sie sichern, kopieren, auf einen anderen Rechner legen und dort weiterarbeiten. Was ihr hineintrainiert habt, gehört nicht dem Anbieter, und euer Wissen wird nirgendwo zum Trainingsmaterial für jemand anderen.

Es bleibt prüfbar

Was das Modell gelernt hat, steht in Regeln und Beispielen, die ein Mensch lesen kann. Ein System, dessen Verhalten niemand mehr erklären kann, gehört nicht in einen Betrieb, egal wie gut es antwortet.

Aber es ist eine Anschaffung

Ein Rechner mit passender Karte, Strom, ein Platz mit Kühlung und jemand, der ihn betreibt. Das rechnet sich gegen die monatlichen Kosten eines Zugangs, und ab welcher Menge es sich dreht, rechnen wir mit euch aus, bevor irgendetwas bestellt wird.

Wie so ein Projekt läuft

Sechs Schritte, und der erste ist der, an dem die meisten Vorhaben scheitern.

1. 1

   Die Aufgabe schneiden

   Nicht „KI einführen“, sondern eine Aufgabe, die oft genug vorkommt, klar genug ist und heute Zeit frisst. Dazu die Zahl, an der wir hinterher messen, ob es funktioniert hat.

2. 2

   Beispiele sammeln

   Aus echten Vorgängen, nicht aus ausgedachten. Wo personenbezogene Daten drinstehen, werden sie vorher entfernt. Lieber fünfhundert saubere Beispiele als fünftausend mittelmäßige, das ist bei dieser Sache die ganze Kunst.

3. 3

   Das Basismodell wählen

   Nach Aufgabe und nach Hardware, nicht nach Bekanntheit. Es gibt mehrere offene Familien, aus denen sich das nehmen lässt, etwa Llama, Qwen, Mistral oder Gemma. Welche davon bei euch läuft, ist eine Messfrage und keine Glaubensfrage, und tauschen lässt sie sich später.

4. 4

   Trainieren

   Wir hängen eine zusätzliche Schicht an das Modell, statt es komplett neu zu rechnen. Das ist der bezahlbare Weg, es dauert Stunden statt Monate, und es lässt sich rückgängig machen.

5. 5

   Prüfen

   Gegen das unveränderte Modell und mit Fällen, die im Training nicht vorkamen. Beurteilt wird von euren Leuten, nicht von uns. Wird es nicht besser, war es das Training nicht wert, und wir sagen das auch.

6. 6

   In Betrieb nehmen

   Auf eurer Hardware oder auf unserer, angebunden an die Stelle, an der die Arbeit anfällt, mit Sicherung, Überwachung und einem Weg zurück auf den vorherigen Stand.