Small Form Factor (SFF) GPU a helyi LLM és a alap AI képzésekhez

[Nic]

Szeretnék néhány nagy nyelvi modellt (LLM) lokálisan futtatni, valamint esetleg néhány nagyon kicsi, specifikus modellt is betanítani. Remélem, kaphatok néhány javaslatot olyan GPU kártyákra, amelyek hatékonyan végzik ezt kis formátumban (SFF). A GPU kártya egy Supermicro CSE-826-ban lesz elhelyezve egy H12SSL-i alaplappal, Epyc 7502-vel és 256 GB ECC-vel. A gazdagép operációs rendszere Proxmox, de az egész kártya egy megfelelő virtuális gépnek lesz átadva. Az RTX4000 SFF ADA-t vizsgálom kiindulópontként. Minden javaslatot nagyra értékelnék. Ha kihagytam valamilyen fontos rendszerinformációt, szóljatok.
Ez lesz az első bevezetésem az AI világába. Köszönöm mindenkinek!

[Keller]

Ha csak most kezded, én nem mennék SFF-re. Hatalmas prémiumot fizetsz egy normál kártyához képest (a 4090 valami négyszer gyorsabb, mint az RTX 4000 Ada...) és a teljesítmény szar, mert 70W-ra van korlátozva.

Ha személyes okokból muszáj 70W-os kártyát használnod, akkor szerezz be inkább egy RTX 2000 Ada-t. Kapsz 16GB VRAM-ot, és kevésbé leszel átcseszve, mint az RTX 4000 SFF Ada-nál. Ha csak most kezded, először próbáld ki a munkaterhelést egy Runpodon, óránként 1 dollárért megspórolhatsz magadnak egy 800 dolláros hibát.

A kulcs a jó időtöltéshez: (1.) Nvidia - nyilvánvaló okok miatt (2.) Ampere vagy újabb - FlashAttention támogatás és (3.) annyi VRAM, amennyit megengedhetsz magadnak - az LLM-ek súlyonként 5 bitet használnak + kontextus minimum, a képzés 18 bájtot használ * (súlyok száma) + aktivációk (ami a konvolúciós hálózatoknál hatalmas).

[Nic]

Köszönöm az információkat!
Az egyetlen szerverem, ami jelenleg van, az 2U rack, és nem fogad el teljes magasságú kártyákat. Arra gondoltam, hogy az SFF-be való belépés egyszerűbb és olcsóbb lehet, mint egy új szerver system. Mindenképpen megnézem az RTX2000 Ada-t, mint opciót. Biztos vagyok benne, hogy tudnám használni néhány CAD / renderelési feladatra is, amikor nem az LLM-ekkel szórakozom.

A 2000-es Ada megfelelő teljesítményt fog nyújtani (és itt a "megfelelő" alatt tényleg használhatót értek) az LLM nyelvi modellekhez és esetleg néhány generatív feladatra?

[Keller]

Köszönöm az információkat!
Az egyetlen szerverem, ami jelenleg van, az 2U rack, és nem fogad el teljes magasságú kártyákat. Arra gondoltam, hogy az SFF-be való belépés egyszerűbb és olcsóbb lehet, mint egy új szerver system. Mindenképpen megnézem az RTX2000 Ada-t, mint opciót. Biztos vagyok benne, hogy tudnám használni néhány CAD / renderelési feladatra is, amikor nem az LLM-ekkel szórakozom.

A 2000-es Ada megfelelő teljesítményt fog nyújtani (és itt a "megfelelő" alatt tényleg használhatót értek) az LLM nyelvi modellekhez és esetleg néhány generatív feladatra?

Kicsit rosszabbul fog teljesíteni, mint egy 4060-as, de kétszer annyi VRAM-mal rendelkezik, ami viszont nagyszerű a nyelvi modellezéshez.

[Nic]

Köszönöm!
Berendeltem egy új RTX2000 ADA kártyát a Szerver.Hu-n. Amint mindent beállítottam és futtattam néhány modellt, beszámolok a teljesítményről.
Eléggé izgatott vagyok, hogy hamarosan egy-két LLM-et helyben is futtathatok majd!