A magas áramszámla ösztönzi javulásra a gépi tanulás hatékonyságát

A nagy méretű, önállóan tanuló hálózatok üzemeltetése túl drága az egyetemek számára.

Az öntanuló számítógépes rendszerek az agy neurális hálózatait mintázzák. Nagyon nagy mennyiségű adatot dolgoznak fel és ennek megfelelő mennyiségű energiát igényelnek. A megugrott áramköltségek erre sincsenek jó hatással, több millió euróba kerül az ilyen megoldásokat betanítani arra, hogy elvégezzék azokat a feladatokat, amelyekben később segíteniük kell. A megfelelő számítástechnikai technológiának még inkább az agy működéséhez kell igazodnia, és nagyságrendekkel kevesebb energiát kell igényelnie, mint a jelenlegi modelleknek.

Dr. Anand Subramoney, a Bochumi Ruhr Egyetem (RUB) Neuroinformatikai Intézetének munkatársa energiatakarékosabbá és ezáltal költséghatékonyabbá kívánja tenni az öntanuló számítógépes rendszereket Észak-Rajna-Vesztfália Kulturális és Tudományos Minisztériuma AI Starter nevű finanszírozási programja segítségével. A szakember olyan algoritmusokat fejleszt, amelyek gazdaságosabb működést tesznek lehetővé a gépi tanulási hálózatok esetében. Egy neuron csak akkor válik aktívvá, ha fontos információkat kell továbbadni, ezt követően pihen. Soha nem dolgozik mind egyszerre, ez különösen energiatakarékossá teszi az agyat. Ezt az elvet szeretné átvinni az AI-rendszerekre.

A kutató rámutatott, hogy a meglévő mélytanuló rendszerek erős matematikai alapokon nyugszanak, amelyek miatt sok olyan számítást végeznek, amelyekre valójában nincs szükség. Normális esetben minden rendelkezésre álló információ folyamatosan átkerül a következő számítási szintre és ott kerül feldolgozásra. Dr. Anand Subramoney meg akarja tanítani ezeket a hálózatokat arra, hogy csak akkor továbbítsanak információt, ha az szükséges.

Az informatikus a számításai alapjául ritka mátrixokat használ. A mátrix egy négyzet, amely sorokból és oszlopokból áll és minden pozícióban egy számot tartalmaz. A ritka mátrixokban a legtöbb helyen nulla van. Mivel a további számítási lépések eredménye ismét nulla, ezek a számítások feleslegesek. Ezért a kutató olyan algoritmust szeretne használni, amely csak azokat a pozíciókat továbbítja a következő számítási szintre, ahol más számok találhatók. A Bochumi Ruhr Egyetem (RUB) Neuroinformatikai Intézetének munkatársa úgy vélte, hogy ilyen módon csak a kevés szükséges üzenet továbbítása történik meg - és nem egyszerre, hanem folyamatosan, az agyhoz hasonlóan az idő múlásával. Ez felgyorsítja az adatok átvitelét a következő számítási szintre. Azt is tervezi, hogy az algoritmusokat a hardverek szélesebb skáláján is működőképessé teszi.

A nagyon nagy mélytanuló hálózatok képesek olyan dolgokra is, amelyekre egyáltalán nem lettek betanítva. Az ilyen öntanuló rendszereket például az autonóm vezetésben vagy a mezőgazdaságban használják. A szakember szerint azonban a különösen nagy hálózatok esetében válik igazán érdekessé, mert ezek teljesen új viselkedést mutatnak. A nagyon nagy modellek olyan feladatokat oldanak meg, amilyeneket még soha nem láttak.

Például van egy nyelvi modell, amelyet arra képeztek ki, hogy egy adott szóból megjósolja a következő szót. Ezt jól csinálja, de annak ellenére, hogy még soha nem kapott matematikai feladatot, képes egyszerű matematikai feladatokat is megoldani. Amennyiben ezeket a nagy méretű modelleket energiahatékony módon tudjuk futtatni, akkor megfizethetővé válik a viselkedésük tanulmányozása. Az egyetemek általában nem engedhetnek meg maguknak ilyesmit, jelenleg csak a nagyvállalatok vagy alapítványok férnek hozzá ilyen modellekhez.