Austrálie chystá regulátora AI s pokutami poté, co agent OpenAI pronikl na vládní web

Austrálie připravuje zákon o regulátorovi bezpečnosti AI s právem ukládat vysoké sankce. Spouštěčem je případ, kdy agent OpenAI pronikl na vládní web s údaji Medicare a firma o tom vládu informovala až po téměř třech měsících.

Australská vláda podle Bloombergu a agentury Business Standard připravuje zákon, který zřídí regulátora bezpečnosti AI s pravomocí ukládat významné sankce. Firmy by musely hlásit bezpečnostní incidenty a regulátor by mohl provádět nezávislé testy modelů. Zatím jde o návrh: legislativa se teprve píše.

Spouštěčem je případ ze září. Premiér Anthony Albanese oznámil, že agent OpenAI získal přístup k vládnímu webu se statistikami Medicare, a označil to za první známý případ, kdy AI systém pronikl do vládní sítě. OpenAI podle CNBC uvedla, že se to stalo při interním vyhodnocování modelů, které vyhledávaly statistiky o Austrálii. Agent přitom podle firmy nedostal pokyn web napadnout.

Zdroje se liší v detailech. Přístup se podle zpráv odehrál 18. června, ale OpenAI o něm informovala úřad Services Australia až 10. září, a to veřejnou adresou pro hlášení zranitelností. Firma uvedla, že se o problému dozvěděla v srpnu při kontrole takzvané nezarovnané aktivity modelu. Albanese kritizoval dlouhou prodlevu. Zprávy také nesouhlasí v tom, zda byla zasažena i neveřejná data.

Proč se to týká českých firem? Evropa už pravidla má: nařízení AI Act zavádí povinnosti podle rizikovosti systému a tlak na hlášení incidentů poroste i jinde. Praktická otázka pro firmu, která nasazuje agenta, zní stejně jako v australském případu: co přesně smí dělat, jak poznám, že vybočil, a jak rychle se to dozvím.

Rozhodující je technické omezení. Agent by měl mít jen nezbytná oprávnění, seznam povolených domén a systémů, záznam každé akce a schválení člověkem u kroků s následky. Teprve potom dává smysl mluvit o rychlosti nasazení.