Microsoft: s AI agenty zacházejte jako s možnou vnitřní hrozbou

Microsoft 19. října představil nové bezpečnostní funkce pro firemní AI agenty, včetně Guardian Agents, kteří hlídají ostatní agenty. Vedení firmy zároveň vzkazuje, že slibům dodavatelů modelů se nemá věřit naslepo.

Guardian Agents jsou součástí Project Perception, který Microsoft uvedl v červnu. Původně šlo o tři skupiny agentů: červený tým útočí jako hacker, modrý tým útoky odhaluje a zelený tým opravuje nalezené slabiny. Projekt počítal s hrozbami zvenčí. Nově přibývá hlídání agentů, které firma sama používá.

Microsoft Defender nově rozpozná až 60 typů agentů, které si zaměstnanci přinesou do práce, například Claude Code nebo Codex. Další funkce omezují, k jakým datům a systémům má agent přístup, upravují jeho oprávnění podle úkolu a vyžadují schválení člověkem, když se agent chystá k riskantnímu kroku.

Šéf Microsoftu Satya Nadella už začátkem října napsal, že firmy by měly agenty monitorovat a řídit systémy nezávislými na AI laboratořích, které modely dodávají. Šéfka bezpečnostní divize Hayete Gallot podle TechCrunch dodala, že problémem není zlý úmysl modelů, ale jejich nepředvídatelnost: jsou trénované splnit úkol, ne dodržovat firemní pravidla.

Microsoft je zároveň zakládajícím členem platformy Nvidia Open Agent Safety Platform, kterou podporuje přes 100 firem. Ta izoluje agenty v zabezpečeném prostředí a dokáže je zastavit na úrovni hardwaru. TechCrunch upozorňuje, že Microsoft investoval do OpenAI i Anthropicu a na prodeji bezpečnosti agentů také vydělá.