Das Orchestron Modell von Nvidia ist bisher eines der leistungsfähigsten Modelle, welche unter 12 GB VRAM Speicher mit der jetztigen Version meines Programmes benötigen.
Ich habe das selbe Modell auf drei Geräten gegengetestet und bin mit dem Ergebnissen zufrieden.
Die Leistung skaliert entsprechend der ARC Architekutr linear nach oben und findet bei 150 Watt Komplettverbrauch auf der ARC770LE ihre Spitze.
Im unterem Segment, hier dann drei bis fünf mal so Langsam, ist man mit 30 Watt für das gesammte System und dennoch brauchbarer KI Leistung auf dem Level der großen Systeme auch Gut aufgestellt.
Der Laptop, wie hier im Video zu sehen ist die goldene Mitte aus Leistung und Verbrauch in diesem Fall. Nur wenig weniger Leistung im Vergleich zur Desktop Variante und dafür entsprechend dennoch geringeren Stromverbrauch machen einen Laptop/MiniPC heute in solchen Fällen sogar attraktiver, als einen Desktop Rechner.
In dem Video sehen wir den Vorbau schon gemacht und können uns mit der nackten KI Antwort beschäftigen. Auch die gesammte Geschwindigkeit von XAIGPUARC konnte im Vergleich zu vorher signifikant gesteigert werden. Die Anwendung ist lesbarer und kleiner.
Frei auf Github oder hier im Blog verfügbar.
Salve
Alucian
Frei auf Github Verfügbar zum Download und Ausprobieren:
https://github.com/alucianOriginal
Demo Video neuester Version: