Inference ist der Betrieb des fertigen Modells: Eine Eingabe läuft durchs Netz, Token für Token entsteht die Antwort — die Gewichte bleiben unverändert.
Was bedeutet Inference?
Der Betrieb des fertigen Modells: Eine Eingabe läuft durch das Netz, Token für Token entsteht die Antwort. Die Gewichte bleiben dabei unverändert — es wird gerechnet, nicht gelernt.
Abgrenzung — worauf es ankommt
Training = Gewichte ändern (selten, teuer). Inference = Gewichte anwenden (jede einzelne Chat-Antwort). Wer sagt „die KI lernt aus meinem Chat dazu“, verwechselt genau diese beiden Dinge.
Beispiel aus der Praxis
Jede ChatGPT-Antwort ist Inference. Die laufenden Inference-Kosten (GPU-Sekunden pro Anfrage) sind der Grund, warum KI-Anbieter nach Tokens abrechnen.
Inference in Ihrem Unternehmen nutzen?
Von der Theorie in die Praxis: Wir zeigen Ihnen den passenden Weg — pragmatisch, DSGVO-konform und messbar.
Kostenlos · unverbindlich