Dôvera
Dôkazy a audit
Ako AISYSTEMS rozmýšľa o dôkazoch, auditnej stope, dohľadateľnosti a budúcom auditnom smere AISYSTEMS SENTINEL.
AISYSTEMS stavia AI systémy tak, aby sa pri dôležitých krokoch dalo spätne ukázať, z čoho systém vychádzal, čo navrhol, kto výstup posúdil a aká bola hranica použitia. Dôkazová stopa nemá byť sklad všetkých dát. Má byť malý, zrozumiteľný a overiteľný záznam.
Prečo to má význam
Moderné rámce pre AI smerujú k rovnakému jadru: systém má mať jasný účel, zodpovednosť, dokumentáciu, záznamy, kontrolu rizík a možnosť ľudského dohľadu. NIST AI RMF pracuje s funkciami riadenia, mapovania, merania a správy. Akt EÚ o umelej inteligencii pri vysokorizikových AI systémoch rieši technickú dokumentáciu, vedenie záznamov, transparentnosť, ľudský dohľad, presnosť, robustnosť a kyberbezpečnosť. ISO/IEC 42001 dáva organizačný rámec pre riadenie AI systémov. OWASP LLM Top 10 pripomína, že pri aplikáciách s jazykovými modelmi treba počítať aj s vkladaním manipulatívnych pokynov, nesprávnym spracovaním výstupov a únikom citlivých informácií.
Pre AISYSTEMS z toho vyplýva praktická zásada: AI výstup má byť dohľadateľný bez toho, aby verejný systém videl viac, než potrebuje.
Čo má byť dohľadateľné
- účel a rozsah spracovania,
- vstup a použité verejné alebo schválené zdroje,
- rola systému alebo agenta,
- návrh výstupu a jeho verzia,
- ľudské posúdenie, schválenie alebo zamietnutie,
- čas, zdroj, stav a kontrolný odtlačok dôležitého výstupu,
- obmedzenia, ktoré hovoria, čo dôkaz nepreukazuje.
AISYSTEMS SENTINEL
AISYSTEMS pre tento smer pripravuje vlastný auditný rámec a projekt AISYSTEMS SENTINEL. Verejne ho treba chápať ako vývojový smer pre technickú dohľadateľnosť, nie ako certifikáciu alebo regulačnú autoritu.
SENTINEL nie je vzdialený skener firmy, modelu alebo agenta. Jeho zmysel je pozorovací režim bez práva meniť sledovaný systém: cez dohodnutý export, oznámenie systému, napojenie na sledovanie prevádzky alebo iné schválené rozhranie prijme dôkazové vstupy, zjednotí ich, priradí k rozsahu kontroly a vytvorí dôkazový balík alebo odvodenú správu.
Výklad, prijatie, auditný záver alebo certifikácia zostávajú na človeku, firme, auditorovi alebo príslušnej autorite.
Čo dôkaz nie je
Dôkaz nie je miesto pre citlivé prístupové údaje, súkromné osobné údaje, neobmedzené prevádzkové záznamy alebo interný kontext skopírovaný do verejných dokumentov. Dôkaz nemá nahrádzať právne stanovisko, certifikáciu ani rozhodnutie audítora.