You are viewing a single comment's thread from:

RE: Schwerlastszenarien erfolgreich. Übliches GPU Auslesetool erkennt Speicherverbrauch von XAIGPUARC nicht mehr!!!

in #deutsch12 days ago

Die GPU Verbindungen habe ich schon sehr Tief ausgearbeitet inzwischen. Das kommt alles erst Später Öffentlich. Wenn es Rund läuft.

So einfach ist es nämlich nicht, wie es aussieht.^^

Aber es ist Machbar für mich, definitv. Meine Fortschritte sind der beste Beweis.

Zum Beispiel für die Dual GPU Sachen, muss ich darauf achten, das die PCI-E Verbindungen vom Programm nicht zu sehr genutzt werden, weil sie natürlich langsamer sind, als würde ich die Sachen einfach in den Cache der GPU packen jeweils.

Was ziemlich weit Fortgeschritten ist im Kern von XAIGPUARC sind die iGPU/dGPU Verbindungen. Das wird wohl zuerst Funktionieren. Sozusagen kann man eine interne GPU mit einer dedizierten Verheiraten und Nutzen.

Aber ob das Schneller sein wird, bezweifele ich. Was es aber bringt, ist die Möglichkeit größere Modelle zu laden, um damit entsprechend bessere Antworten zu erhalten.

Sozusagen das MultiGPU Setup für Arme wie wir es sind. :-)

Sort:  

Sozusagen kann man eine interne GPU mit einer dedizierten Verheiraten und Nutzen.

klingt cool