Tarkkuus, vakaus ja kyberturvallisuus
Suuririskisen tekoälyn on oltava riittävän tarkka, toimittava luotettavasti myös häiriötilanteissa ja kestettävä siihen kohdistuvia kyberhyökkäyksiä.
Mistä tässä on kyse
Kolme kysymystä, joihin valvontaviranomainen haluaa luvut eikä adjektiiveja: kuinka tarkka järjestelmäsi on, mitä se tekee kun jokin menee rikki, ja kestääkö se tahallista harhautusta? Art. 15 vaatii ilmoitetut tarkkuustasot, vikasietoisen toiminnan ja suojan tekoälylle ominaisia hyökkäyksiä vastaan (datan myrkytys, manipuloidut syötteet). 'Toimii hyvin' ei ole tarkkuustaso.
15. artikla asettaa kolme teknistä vaatimusta, jotka kulkevat käsi kädessä. Järjestelmän on toimittava riittävän tarkasti käyttötarkoitukseensa nähden, ja sen tarkkuustasot on ilmoitettava käyttöohjeissa. Ei luvata enempää kuin järjestelmä todella osaa. Tarkkuus on myös pidettävä johdonmukaisena koko elinkaaren ajan.
Toimintavarmuus (robustness) tarkoittaa, että järjestelmä kestää virheet, häiriöt ja odottamattomat tilanteet kaatumatta tai tuottamatta vaarallisia tuloksia, esimerkiksi varajärjestelyin ja vikasietoisuudella. Kyberturvallisuus taas suojaa nimenomaan tekoälylle ominaisilta hyökkäyksiltä: koulutusdatan myrkyttämiseltä tai mallin harhauttamiselta muokattuja syötteitä antamalla. Nämä on rakennettava järjestelmään alusta asti, ei lisättävä päälle jälkikäteen.
Art. 15 vaatii kolme asiaa, joita käsitellään usein erillisinä mutta jotka mitataan yhdessä: asianmukainen tarkkuus, vakaus ja kyberturvallisuus sekä johdonmukaisuus koko elinkaaren ajan. Viimeinen on se, joka erottaa tämän tavanomaisesta laadunvarmistuksesta.
Tarkkuustaso ja relevantit mittarit on ilmoitettava käyttöohjeissa (Art. 13). Tämä tekee tarkkuudesta julkisen lupauksen: luku, jonka kirjoitat käyttöohjeeseen, on se, jota vasten järjestelmää arvioidaan. Käytännön suositus on ilmoittaa mittari, mittausolosuhteet ja aineisto. Pelkkä prosenttiluku ilman kontekstia on väite, jota ei voi todentaa eikä puolustaa.
Vakaus tarkoittaa häiriönsietoa: teknistä redundanssia, varajärjestelyjä ja sitä, että virheet, viat ja epäjohdonmukaisuudet eivät kaada järjestelmää tai tuota vaarallista tulosta. Erityisesti mainitaan palautekierre: tilanne, jossa järjestelmän omat tuotokset päätyvät sen omaan koulutusdataan ja vahvistavat virhettä.
Kyberturvallisuudessa asetus nimeää tekoälykohtaiset hyökkäystyypit: datamyrkytys (koulutusdatan manipulointi), mallimyrkytys, vastakkainasettelevat syötteet ja mallin varastaminen. Nämä eivät ole geneerisiä tietoturvariskejä ja tavanomainen tietoturvapolitiikka ei kata niitä. Ne on käsiteltävä nimenomaisesti.
Yleisin virhe on ilmoittaa tarkkuus yhtenä lukuna. Todellinen tarkkuus vaihtelee ryhmittäin, ja jos et ilmoita hajontaa, ilmoitat käytännössä parhaan tapauksen. Toinen yleinen virhe on käsitellä kyberturvallisuus olemassa olevalla ISO 27001 -politiikalla; se on hyvä pohja mutta se ei tunne datamyrkytystä eikä vastakkainasettelevia syötteitä.
Jos et ilmoita tarkkuuden hajontaa, ilmoitat käytännössä parhaan tapauksen.
Mitä laki vaatii, kohta kohdalta
Määritä ja ilmoita järjestelmän tarkkuustaso, testaa se virheitä ja häiriöitä vastaan ja suojaa se tekoälylle ominaiselta manipuloinnilta.
- §1Asianmukainen tarkkuus-, vakaus- ja kyberturvallisuustaso koko elinkaaren ajan
- §2Komissio edistää yhdessä tekoälytoimiston kanssa vertailuarvojen ja mittausmenetelmien kehittämistä tarkkuuden ja vakauden mittaamiseksi
- §3Tarkkuustaso ja relevantit metriikat ilmoitetaan käyttöohjeissa
- §4Vakaus ja häiriönsieto: tekninen redundanssi, varajärjestelyt ja vikaturvalliset ratkaisut; jatkuvasti oppivien järjestelmien vinoutuneiden palautesilmukoiden estäminen
- §5Kyberturvallisuus ja suojautuminen hyökkäyksiltä (mallin myrkytys, kiertohyökkäykset, luottamuksellisuushyökkäykset)
Usein kysytyt kysymykset
pkai tuottaa tämän artiklan vaatimat asiakirjat (Tekninen dokumentaatio (liite IV), Riskienhallintasuunnitelma, Markkinoille saattamisen jälkeinen seuranta, Vaatimustenmukaisuuden tarkistuslista, Datanhallinnan kuvaus) yrityksesi tiedoilla, noin 20 minuutissa.
Näytä artiklan sisältö tiivistettynä
Suuririskiset järjestelmät on suunniteltava ja kehitettävä siten, että ne saavuttavat asianmukaisen tarkkuuden, vakauden ja kyberturvallisuuden tason ja toimivat näiltä osin johdonmukaisesti koko elinkaarensa ajan (1 kohta). Komissio edistää vertailuarvojen ja mittausmenetelmien kehittämistä (2 kohta). Tarkkuustasot ja asiaankuuluvat tarkkuusmittarit on ilmoitettava käyttöohjeissa (3 kohta). Järjestelmien on oltava mahdollisimman vikasietoisia virheiden, vikojen ja epäjohdonmukaisuuksien suhteen; tekninen ja organisatorinen varautuminen (esim. varmuuskopiointi- ja vikasietoratkaisut); käytön aikana oppivien järjestelmien osalta on käsiteltävä mahdollisesti vinoutuneiden tuotosten syötteenä käyttämisen riski (palautesilmukat) asianmukaisin lieventämistoimin (4 kohta). Järjestelmien on kestettävä kolmansien osapuolten luvattomat yritykset muuttaa käyttöä, tuotoksia tai suorituskykyä haavoittuvuuksia hyödyntämällä; kyberturvallisuusratkaisujen on oltava oikeassa suhteessa riskeihin, ja niiden on katettava tapauksen mukaan toimenpiteet datan myrkytystä, mallin myrkytystä, adversariaalisia syötteitä (mallin kiertäminen), luottamuksellisuushyökkäyksiä ja mallivirheitä vastaan (5 kohta).
Tämä on artiklan sisältö tiivistettynä, ei sanatarkka lainaus. Sitova sanamuoto on EUR-Lexin virallisessa suomennoksessa, joka on linkitetty yllä.