A GPT3-ast ha jól emlékszem 40 TB szövegen tanították, és a modell maga az 800 GB. A neurális háló az egy statisztikai modell. Elképzelhető, hogy a GPT megtanult néhány szövegrészt, mint egy versikét, de a tudása nagyrészét az emberi szöveg mögött meghúzódó összefüggések rendszerezése teszi ki. Szóval nem lehet visszakérdezni tőle a teljes training data-t.