A lokalis MI futtatasnal nem annyira a szamitasi eroforras mint inkabb a memoria a gond. Ugyanis a modellt be kell tolteni valahova ahol futtathato, tehat PC-k eseten ha ertelmes valaszidot akarunk, akkor a videokartyaba. Na most egy tobb terabyte-os neuralis matrixot nem tudom hogyan akarnak benyomni egy PC videokartyajaba, de meg hattertarrol swap-pelve sem igazan realis, mert ekkora hattertar sincs a legtobb gepben.
Valoszinuleg ha ennyire elterjednek ezek a modellek a szoftverekben, akkor mar csak a 100%-ban online mukodes lesz elerheto a legtobb szoftver (windows, office, stb.) eseten.
Kisebb modelleket ugyan be lehet tolteni egy PC-be, de annak szerintem nem sok ertelme van, mert ami elfer egy PC-ben az alapvetoen tul buta. Akarhogy nezem ez igy max. a hardvereladasok novelesere tett probalkozasnak tunik a realitasokkal szembe menve. Majd ha minden mas utan marad folos par TB tarhely a videokartya sarkaban, akkor talan realis cel lesz egy mai ertelmesebb LLM futtatasa. Persze addigra nem tudom meddig jutnak a modellek fejlesztesevel.
ps: Egy atlagos ember neuralis matrixa kb. 4800 TB-nyi tarhelyet igenyelne es egyetlen ember sem tud mindenrol mindent, amit a mostani altalanos neuralis modellektol elvarnak.