Die Weitergabe von Modellwissen (Knowledge Distillation) gehört zur Kategorie Künstliche Intelligenz und ist besonders in Bereichen wie Automatisierung und Industrie 4.0 wichtig.
Stellen Sie sich vor, es gibt eine große, sehr kluge Künstliche Intelligenz (KI), die komplexe Aufgaben löst, aber viel Rechenleistung braucht – wie ein erfahrener Experte. Manchmal soll jedoch eine kleinere, schnellere KI die gleichen Aufgaben übernehmen, etwa weil sie auf einem einfachen Gerät laufen muss. Hier kommt die Weitergabe von Modellwissen ins Spiel: Das Wissen oder „die Erfahrung“ des großen KI-Modells (Lehrermodell) wird gezielt auf ein kleineres, effizienteres Modell (Schülermodell) übertragen. Das kleine Modell lernt so die Tricks und Abkürzungen vom großen Modell, liefert ähnliche Ergebnisse, verbraucht aber viel weniger Ressourcen.
Ein Beispiel: In einer Fabrik überwacht eine große KI-Software alle Maschinen. Damit auch kleine Geräte oder Roboter in der Halle klug agieren können, erhalten sie durch Knowledge Distillation nur das wirklich relevante Wissen. So können sie schnell und energiesparend arbeiten und trotzdem von den Erkenntnissen der Haupt-KI profitieren.
Deutsch 
English (UK)