Kansainvälisen ÄO-testin luotettavuus

Tässä tutkimuksessa valittiin kolmena eri vuonna (2020, 2021 ja 2022) sattumanvaraisesti kolme erillistä ryhmää, joista jokaisessa oli 66 032 erilaista tulosta kansainvälisen ÄO-testin tietokannasta. Kunkin ryhmän tarkoitus on edustaa maailman väestöä (kuvitellussa maailmassa, jossa väkiluku on 80 000) ja arvioida testin ja sen ÄO-pisteytystä laskevan algoritmin tehokkuutta. Jokaisessa ryhmässä on otettu huomioon kunkin maan osuus maailman väestöstä vuonna 2023.

Esimerkiksi vuonna 2023 Kiina edustaa noin 18,89 %:a maailman väestöstä. Tämän vuoksi kiinalaisten käyttäjien tuloksia (yhteensä 15 112) sisällytettiin jokaiseen ryhmään (18,89 % 80 000:sta) kyseisenä vuonna.

Tuloksia suodatettiin ennen niiden valintaa, jotta mukaan otettiin vain aitoja tuloksia (ei kaksoiskappaleita tai robottien tuottamia). Samaa suodatusta sovellettiin poikkeuksetta kaikkiin maihin. Sama suodatin on käytössä myös, kun laaditaan maiden välistä ÄO-rankingia vuosittain.

Käytettävissä oleva aineisto riitti edustamaan 82,54 % maailman väestöstä kaikkien näiden kolmen vuoden aikana kussakin ryhmässä (66 032 / 80 000).

Niiden maiden osalta, jotka vastaavat jäljelle jäävää 17,46 %:a, ei ollut tarpeeksi tietoja, jotta ne olisi voitu sisällyttää kunnolla tutkimukseen ilman, että kokonaisedustusta (80 000) olisi täytynyt merkittävästi pienentää vähentämällä vaadittua vähimmäisosallistujamäärää maittain. Siksi nämä maat jätettiin pois, mutta niiden ei pitäisi merkittävästi vaikuttaa kokonais- tuloksiin.

Kolmen vuoden tulokset, pyöristettyinä kokonaisluvuksi, osoittavat keskihajonnan olevan noin 15 ja keskimääräisen ÄO:n noin 100.

Tilastollisesti tämä viittaa siihen, että kansainvälinen ÄO-testi voi tarjota merkityksellisen viitteen yksilön ÄO-pisteistä (ainakin muutaman pisteen tarkkuudella) Ravenin matriisit -menetelmän avulla. Tuloksia tulee kuitenkin tulkita suuntaa-antavina, eikä testi korvaa psykologin konsultaatiota.