Nem az én hozzászólásomat kellene törölni, hanem ezt a szarházit kellene kitiltani a fórumról. Minden megnyilvánulása ilyen vadparaszt stílusú. Én csak ugyanazt írtam neki szóról szóra, amit ő pár hete.
"Azert 4 GPU valamit biztosan be tudna segiteni, miert nem kuld a ChatGPT kiszamolatlan adatcsomagokat etc."
Nincs kiszamolatlan adatcsomag. Kvazi egy jo nagy fuggvenytablat neznek meg. Vagy le van toltve a teljes tabla vagy nincs. Nem szamitasi kapacitas, hanem RAM kell hozza es ha odaadnak neked a teljes adatbazist, akkor onnantol lemasolhatod sajat celra fizetes nelkul. Nem veletlen lett hirtelen zart a korabban open AI. Egyebkent 4*24 GB az meg mindig keves a 4.0-hoz.
"ha a cegemnel lennel ugy rugnalak ki"
Ilyen kartyaspecifikaciokkal kb. egy kriptos cegrol lehet szo, ami gyorsan atszervezte magat MI cegge amikor a europai aramarak miatt a banyaszat mar nem erte meg es egyebkent is itt az uj trend.
Nekem jelez a szarkazmust detektorom, de azért egy /s elfért volna a hozzászólás végén. (ha nem akkor köszönjük Emese, sok sikert kívánok a cégednek) Utoljára szerkesztette: Gabbbbbbbbbbbb, 2024.01.25. 08:40:58
Az általad említett géppel te nyilván nem a _felhasználók többségét_ képviseled. Még szerencse, hogy nem kell egy szövegértési nehézségekkel küzdő főnöknek hajbókolnom. Álom munkahely lehet a céged...
Jo otlet, nekem itt van 4 db 24GBos fullos GPU (es 256GB gyors ram, 128 PCIe Lanes AMD processzor, 16GB/s PCIe SSD) es nem tudom kihasznalni pl a ChatGPT 4 kozben, es varnom kell a lassu reakciokra. Azert 4 GPU valamit biztosan be tudna segiteni, miert nem kuld a ChatGPT kiszamolatlan adatcsomagokat etc. Ideje lenne ebbe az iranyba tobbet lepni. Utoljára szerkesztette: reptile1313, 2024.01.24. 20:35:10
A lokalis MI futtatasnal nem annyira a szamitasi eroforras mint inkabb a memoria a gond. Ugyanis a modellt be kell tolteni valahova ahol futtathato, tehat PC-k eseten ha ertelmes valaszidot akarunk, akkor a videokartyaba. Na most egy tobb terabyte-os neuralis matrixot nem tudom hogyan akarnak benyomni egy PC videokartyajaba, de meg hattertarrol swap-pelve sem igazan realis, mert ekkora hattertar sincs a legtobb gepben.
Valoszinuleg ha ennyire elterjednek ezek a modellek a szoftverekben, akkor mar csak a 100%-ban online mukodes lesz elerheto a legtobb szoftver (windows, office, stb.) eseten.
Kisebb modelleket ugyan be lehet tolteni egy PC-be, de annak szerintem nem sok ertelme van, mert ami elfer egy PC-ben az alapvetoen tul buta. Akarhogy nezem ez igy max. a hardvereladasok novelesere tett probalkozasnak tunik a realitasokkal szembe menve. Majd ha minden mas utan marad folos par TB tarhely a videokartya sarkaban, akkor talan realis cel lesz egy mai ertelmesebb LLM futtatasa. Persze addigra nem tudom meddig jutnak a modellek fejlesztesevel.
ps: Egy atlagos ember neuralis matrixa kb. 4800 TB-nyi tarhelyet igenyelne es egyetlen ember sem tud mindenrol mindent, amit a mostani altalanos neuralis modellektol elvarnak.
Majd az MS belekódolja az oprendszerébe, hogy ha nem 16GB ram van a videókártyádon fogja a rendszert, mint az ssd hiánya. És mindjárt szalad mindenki csudiúj videjókátyát venni...
Az az érzésem, hogy ez is akkora bukta lesz, mint a 3D TV és a VR. Nem tudom elképzelni, hogy a felhasználók többsége miért akarna helyben LLM-et futtatni, amikor a felhőből elérhető modellek sokkal erősebbek. Akik pedig mégis, az erősen réteg igény. Mondjuk a játékosok, amennyiben belepakolják az újabb játékokba, de ők már eddig is nagy teljesítményű gépeket használtak, szóval nem sok változás lesz.
Informatika és tudomány
