Ha megkeresnél mondjuk 1000 embert, akik mind ismerik egymást és megkérdnéd őket, hogy közülük egy adott embert vizsgálva jelöljék be egy skálán, hogy az illető mennyire intelligens, akkor a sok ember meglepően hasonló értékeket jelölne be.
Ugyanakkor ha azt is megkérdeznéd, hogy milyen szempontok szerint döntöttek az adott szám mellett, akkor nagyon nagy lenne a szórás, gyakorlatilag ahány ember, annyiféle szempont lenne.
Az intelligencia tesztek a sok ember megkérdezése nélkül határozzák meg ezt a számot, tehát valójában nem valamiféle objektív tulajdonságot mérnek, hanem azt próbálják meghatározni, hogy mi lenne az a szám, amivel a többi ember az illető intelligenciáját jellemezné, akármi legyen is egyes esetekben az osztályozás szempontja.
Az intelligencia feladatsorok tehát tényleg önkényesek pont azért, mert ahogyan az emberek intelligencia fogalma változik, úgy kell követni azt a tesztekkel is, különben nem mérné azt, ami a feladata: az emberek feltételezhető véleményét egy adott személy intelligenciájáról.