KI benötigt viel Ressourcen
Eine intrinsische Eigenschaft von Large Language Models (LLMs) ist, dass sie eine sehr hohe Anzahl von Parametern aufweisen und die Ausführung selbst auf neuen Endnutzer-Computern sehr rechen- und speicher-intensiv ist.
Die meisten LLMs, welche sich herunterladen lassen und damit lokal auf dem eigenen Computer nutzbar sind, verfügen über mehrere Milliarden Parameter – einige Modelle kommen sogar mit mehreren Hundert Milliarden Parameter daher.
Selbst wenn das Sprachmodell mittels Quantisierung “komprimiert” wurde, werden meistens immer noch mehrere Gigabytes für die Speicherung und Ausführung benötigt.
Die Rolle von spezialisierter Hardware
Wenn keine AI-optimierte Hardware – bspw. eine Grafikkarte (GPU) oder sogar eine Tensor Processing Unit (TPU) – vorhanden ist, dann muss das Sprachmodell vollständig im Hauptspeicher (RAM) des Computers ausgeführt werden, wo es mit anderen Programmen und dem Betriebssystem um Ressourcen konkurrenziert.
Für die Ausführung von Sprachenmodellen auf dem eigenen Computer sind 4 GB RAM oft zu wenig und selbst 8 GB RAM sind für viele Sprachmodelle noch knapp.
Die Grösse des Sprachmodells schlägt sich auch auf die Performance bei der Ausführung durch. Je grösser ein Sprachmodell, desto aufwendiger die Berechnung des Outputs (Inferenz). Wenn keine AI-optimierte Hardware genutzt werden kann, muss die Inferenz durch die CPU ausgeführt werden. Die CPU ist jedoch nicht auf AI-Inferenz spezialisiert, sodass die Ausführung sehr langsam ist und anderen Anwendungen auf dem Computer (Browser, Office-Programme, etc) Ressourcen entzieht.
Für eine Aufrüstung des Computers mit spezialisierter AI-Hardware oder einfach mehr RAM-Speicher ist in vielen Fällen jedoch keine Bereitschaft vorhanden oder es ist technisch nicht möglich – v.a. bei mobilen Geräten.
Kleine Sprachmodelle zur Hilfe
Um Sprachmodelle auch auf Geräten mit geringeren Hardware-Ressourcen nutzen zu können, wurden deshalb “kleine” Large Language Models – oder einfach Small Language Models entwickelt.
Eines dieser kleinen Sprachmodelle ist “SmolLM”, welches in 3 Grössen daherkommt: mit 135, 360 und 1’700 Millionen Parameter.
Mittels Quantisierung wurden die Modelle noch weiter verkleinert, sodass deren Dateigrössen nur 92, 229 und 991 MB betragen. Mit einer Dateigrösse von lediglich 92 MB ist das kleinste “SmolLM” in der Tat sehr klein und passt auch in den RAM von älterer Hardware.
