Fine-tuning

Ein großes Sprachmodell wie GPT-4 oder Claude wurde auf allgemeinen Internetdaten trainiert und kann fast alles. Für spezifische Anwendungen, etwa die Beurteilung von Anfragen in Ihrer Branche oder das Schreiben im festen Ton Ihres Unternehmens, ist ein allgemeines Modell nicht optimal. Fine-Tuning löst dies, indem das Modell an Beispielen nachtrainiert wird, die genau zeigen, was Sie erwarten.

So funktioniert es: Sie liefern eine Reihe von Beispielen, in denen Eingabe und gewünschte Ausgabe feststehen, zum Beispiel eine Kundenfrage mit der Antwort, die eine erfahrene Kollegin geben würde. Das Modell lernt das Muster in diesen Beispielen und wendet es auf neue Eingaben an. In der Praxis geschieht das meist mit parameter-effizienten Verfahren wie LoRA, bei denen nur ein kleiner Teil des Modells angepasst wird. Das hält ein Projekt bezahlbar und macht den Wechsel auf ein neueres Basismodell einfacher.

Fine-Tuning ist keine Wissensdatenbank. Das Modell wird besser in einer festen Aufgabe, einem Stil oder einer Einordnung, lernt aber keine neuen Fakten: Informationen, die sich nach dem Projekt ändern, stecken nicht im Modell. Für aktuelle oder veränderliche Kenntnisse nutzen Sie RAG, bei dem der Agent bei jeder Frage Ihre eigenen Quellen heranzieht. Die Reihenfolge, die in der Praxis funktioniert: zuerst Prompt-Engineering, dann eine Anbindung an Ihre eigenen Quellen, und Fine-Tuning erst, wenn das Modell denselben Stil oder dasselbe Beurteilungsmuster zuverlässig anwenden muss und Prompts das nicht leisten.

Was Sie brauchen: einige hundert bis einige tausend gute Beispiele, konsistent aufgebaut, mit einer klaren Grenze zwischen akzeptabel und nicht akzeptabel. Qualität wiegt schwerer als Menge. Halten Sie pro Beispiel fest, wie die Eingabe war, wie die gewünschte Ausgabe aussieht und warum eine Variante abgelehnt wurde. Ohne diese Ablehnungen lernt das Modell nur, was richtig ist, nicht wo die Grenze liegt.

Ein Projekt über vier Wochen: in Woche 1 legen wir die Aufgabe fest, die Grenzen dessen, was das Modell darf, und welche Beispiele nutzbar sind. In Woche 2 liefern Sie die Beispiele und wir legen eine Menge beiseite, die nicht zum Training verwendet wird, damit wir später messen können, ob das Modell wirklich besser arbeitet. In Woche 3 läuft das Modell auf dieser separaten Menge und eine Kollegin beurteilt die Ergebnisse, einschließlich der Fälle, in denen das Modell unsicher ist. In Woche 4 geht das Modell innerhalb der vereinbarten Aufgabe in Betrieb, mit menschlicher Kontrolle an den von Ihnen benannten Stellen.

Wo es schiefgeht: zu wenige Beispiele, widersprüchliche Beispiele oder eine Aufgabe, die eigentlich aktuelle Informationen braucht. Ein Modell, das mit hundert Beispielen nachtrainiert wurde, kommt nicht zuverlässig mit einer Branche zurecht, in der jeder Kunde anders ist. Planen Sie außerdem Wartung ein: ein neues Basismodell oder eine geänderte Arbeitsweise bedeutet, das Training zu wiederholen. Kalkulieren Sie daher eine feste Evaluierungsmenge und eine verantwortliche Person bei Ihnen ein.

Die Kosten liegen vor allem in der Vorbereitung, nicht in der Rechenzeit des Trainings: das Sammeln und Beurteilen von Beispielen kostet Stunden Ihres eigenen Teams. Bei Match-AI beginnt ein KI-Kollege mit einer Einarbeitungsphase von 4 Wochen für 999 € bis 3 Personen oder 2.495 € bis 10 Personen pro 4 Wochen, zzgl. MwSt., und wir starten Fine-Tuning nur, wenn die erste Analyse zeigt, dass Prompt-Engineering und eine Anbindung an Ihre eigenen Quellen das Problem nicht lösen.