Kdo má poslední slovo? Asistovaná, delegovaná a autonomní AI

Rozdíl mezi asistovanou, delegovanou a autonomní AI spočívá hlavně v tom, kdo rozhoduje, kdo provádí výslednou akci a kdy do procesu vstupuje člověk.

Asistovaná AI navrhuje a člověk schvaluje. Delegovaná AI jedná samostatně v běžných případech a člověku předává výjimky. Autonomní AI plánuje a provádí kroky sama, ale pouze v předem vymezených hranicích.

Nejde tedy jen o to, jak chytrý nebo výkonný model používáte. Stejný jazykový model může být součástí asistovaného i autonomního systému. Rozhodující je, jaká má oprávnění, jaké akce může provádět a jak je nastavený lidský dohled.

Pochopení těchto úrovní pomáhá předejít situaci, kdy firma předá AI příliš velkou kontrolu dříve, než dokáže spolehlivě měřit její výsledky, zachytit chyby a zastavit nežádoucí akce.

Tři úrovně AI podle role člověka

Označení asistovaná, delegovaná a autonomní AI představuje praktický model, nikoli univerzálně závaznou technickou klasifikaci. Ve skutečnosti existuje plynulé spektrum od plně manuálního procesu až po systém fungující bez každodenního zásahu.

NIST AI Risk Management Framework podobně popisuje konfigurace spolupráce člověka a AI jako kontinuum: AI může sloužit jen jako další názor, předat rozhodnutí lidskému expertovi nebo rozhodovat autonomně. Vhodné nastavení vždy závisí na konkrétním způsobu použití a možných dopadech chyby.

Profil NIST zaměřený na generativní AI zároveň upozorňuje, že různé způsoby použití mohou vyžadovat rozdílnou úroveň lidské kontroly, dokumentace a provozního dohledu.

1. Asistovaná AI: Systém radí, člověk rozhoduje

V asistovaném režimu AI připraví návrh, ale bez souhlasu člověka se nic dalšího nestane. Člověk kontroluje každý výstup a nese konečné rozhodnutí.

Typickým příkladem je AI, která:

• připraví návrh odpovědi zákazníkovi;
• shrne dokument nebo obchodní schůzku;
• navrhne úpravu smluvního ustanovení;
• doporučí kategorii příchozího požadavku;
• vytvoří první verzi analýzy nebo nabídky.

Uživatel může výstup přijmout, upravit nebo úplně odmítnout. AI v tomto režimu zrychluje práci, ale sama neodesílá e-mail, nemění důležitý záznam ani nevydává závazné rozhodnutí.

Kdy je asistovaný režim vhodný?

Asistovaná AI dává smysl především při prvním nasazení, kdy ještě neznáte všechny typy vstupů a chyb. Je také vhodná u úkolů, ve kterých záleží na mezilidském kontextu, odborném úsudku nebo právní odpovědnosti.

Často jde například o smlouvy, citlivou zákaznickou komunikaci, personální rozhodování nebo práci s významným finančním dopadem.

Lidská kontrola ale nesmí být pouze formální. Pokud člověk kvůli množství výstupů všechno automaticky potvrzuje, vzniká takzvaný automation bias neboli tendence nekriticky důvěřovat výsledku systému.

Efektivní kontrola vyžaduje, aby uživatel rozuměl omezením AI, měl dostatek informací a mohl výstup skutečně odmítnout.

2. Delegovaná AI: Systém pracuje, člověk řeší výjimky

V delegovaném režimu už člověk neschvaluje každý běžný případ. AI může pokračovat samostatně, pokud jsou splněny předem definované podmínky. Nejasné, rizikové nebo nestandardní situace předá člověku.

Člověk tak funguje jako záchranná brzda, ale zároveň sleduje kvalitu celého provozu. Neřeší každodenní rutinu, přesto musí být schopný zasáhnout, když systém překročí nastavené hranice.

Modelovým příkladem může být zpracování přijaté faktury. Systém dokáže fakturu načíst, porovnat s objednávkou a připravit k zaúčtování.

Automaticky pokračuje pouze tehdy, když souhlasí dodavatel, částka, číslo objednávky a další povinné údaje. Při nesrovnalosti případ předá účetnímu.

Delegovaná AI potřebuje:

• jasně definovaný standardní případ;
• měřitelné podmínky správného výstupu;
• pravidla pro předání výjimky;
• omezená oprávnění;
• auditní stopu provedených kroků;
• monitoring kvality a chyb;
• možnost opravy nebo vrácení akce.

Nestačí nechat samotný model rozhodnout, že je jeho odpověď „dostatečně dobrá“. Pokud je to možné, kvalitu by měla ověřovat externí pravidla, porovnání se zdrojem, povinná pole nebo jiný nezávislý kontrolní mechanismus.

3. Autonomní AI: Systém rozhoduje a jedná na vymezeném hřišti

Autonomní AI dostane cíl a může sama plánovat jednotlivé kroky, vybírat nástroje, pracovat s daty a provádět akce bez každodenního schvalování člověkem.

Takto může fungovat například agent, který v rámci stanovených limitů rozděluje interní požadavky, plánuje technické úlohy, sleduje provozní stav systému nebo provádí vratné optimalizace infrastruktury.

Autonomie ale neznamená neomezenou volnost. Spolehlivý autonomní systém potřebuje jasně ohraničené prostředí:

• ke kterým datům a nástrojům má přístup;
• jaké typy akcí smí provádět;
• jaké finanční, časové nebo provozní limity nesmí překročit;
• které kroky jsou zakázané nebo vyžadují schválení;
• podle čeho pozná dokončení úkolu;
• kdy se musí zastavit nebo požádat o pomoc;
• jak lze jeho činnost přerušit a obnovit do bezpečného stavu.

Microsoft ve svém bezpečnostním doporučení pro autonomní agentní systémy upozorňuje, že s rostoucí autonomií roste také možný dopad chybného nastavení, zneužití nebo napadení systému. Oprávnění a provozní hranice jsou proto stejně důležité jako samotné schopnosti agenta.

Google Cloud u kritických agentních systémů doporučuje zachovat mechanismus, který člověku umožní činnost agentů sledovat, přerušit nebo změnit. I vysoce autonomní provoz tedy potřebuje funkční možnost lidského zásahu.

Člověk v autonomním režimu nevypadává ze systému úplně. Přesouvá se z role každodenního schvalovatele do role architekta, vlastníka a provozního dohledu. Nastavuje pravidla, sleduje výsledky, řeší incidenty a rozhoduje o změnách systému.

Autonomní neznamená bez odpovědnosti

Častou představou je, že autonomní AI funguje úplně bez člověka. Ve skutečnosti by měl mít někdo vždy odpovědnost za účel systému, oprávnění, sledované metriky a reakci na incident.

U rizikových způsobů použití může být lidský dohled také právním požadavkem. Článek 14 evropského AI Actu stanovuje u vysoce rizikových AI systémů požadavky na účinný lidský dohled.

Jeho úroveň má odpovídat riziku, míře autonomie a kontextu použití. Pověřený člověk má být podle okolností schopný výstup interpretovat, ignorovat nebo zvrátit a činnost systému bezpečně zastavit.

To neznamená, že každý firemní AI nástroj automaticky spadá mezi vysoce rizikové systémy. Ukazuje to ale důležitý princip: čím závažnější může být chyba, tím silnější musí být kontrolní mechanismy a pravomoc člověka zasáhnout.

Kdy může systém přejít z asistovaného do delegovaného režimu?

Přechod nedává smysl řídit pouze dojmem, že „už to většinou funguje“. Nejdříve musí být možné určit, co je správný výstup a jak se chyba pozná.

Systém je kandidátem na delegování, pokud:

1. Dosahuje stabilních výsledků na reprezentativních případech.
2. Má definované metriky a přijatelné hranice.
3. Tým zná hlavní způsoby selhání.
4. Standardní výstupy lze automaticky ověřit.
5. Nejasné případy se bezpečně předávají člověku.
6. Provedené akce lze dohledat a podle potřeby vrátit.
7. Uživatelé vědí, jak systém funguje a kdy mu nemají důvěřovat.

Stačí systém otestovat na dvaceti příkladech?

Neexistuje univerzální počet testů, po kterém je AI bezpečně připravená na delegovaný provoz.

Dvacet případů může být užitečný začátek pro rychlé odhalení základních problémů, ale obvykle nestačí jako důkaz spolehlivosti produkčního systému.

Velikost testovací sady musí odpovídat rozmanitosti vstupů, množství výjimek a dopadu případné chyby. Potřebujete běžné případy, hraniční situace, historicky problematické vstupy i příklady, které by mohly systém zmást.

Kdy může delegovaná AI získat větší autonomii?

Před rozšířením autonomie by systém měl prokázat stabilitu v reálném provozu, nikoli jen v připraveném testu. Výjimky musí být známé a jejich řešení dostatečně spolehlivé.

Důležité je ověřit zejména:

• stabilitu kvality v čase;
• chování při neúplných nebo neočekávaných vstupech;
• odolnost vůči výpadku nástroje nebo datového zdroje;
• správné nastavení přístupových oprávnění;
• limity nákladů, počtu kroků a doby běhu;
• funkční upozornění, auditní záznamy a možnost zastavení;
• jasnou odpovědnost za provoz a incidenty.

Autonomie se navíc nemusí zapnout pro celý proces najednou. Systém může samostatně sbírat podklady a klasifikovat požadavky, ale před odesláním zprávy nebo provedením finanční operace si stále vyžádat schválení.

Proč neexistuje univerzálně přijatelná chybovost?

Hodnota 5, 10 nebo 15 procent sama o sobě neříká, zda je systém připravený na autonomní provoz. Rozhodující je typ chyby a její dopad.

Desetiprocentní chybovost může být přijatelná u interního návrhu štítků, který lze snadno opravit. Jediná chybná platba, neoprávněné zveřejnění dat nebo nespravedlivé personální rozhodnutí ale může být nepřijatelné i při jinak velmi vysoké celkové přesnosti.

Vedle souhrnné úspěšnosti proto sledujte:

• závažnost jednotlivých typů chyb;
• podíl falešně pozitivních a falešně negativních výsledků;
• počet případů předaných člověku;
• četnost ručních oprav;
• schopnost chybu včas odhalit;
• vratnost provedených akcí;
• počet incidentů a jejich dopad;
• náklady a čas potřebný na provozní kontrolu.

Nový klient nebo proces znamená nový kontext

Systém, který funguje autonomně u jednoho klienta, nemusí být stejně spolehlivý u jiného. Mohou se změnit data, terminologie, firemní pravidla, typy výjimek, očekávání uživatelů i přijatelné riziko.

Po nasazení do nového kontextu je proto rozumné autonomii dočasně snížit. Podle dopadu procesu se systém může vrátit do delegovaného, nebo dokonce asistovaného režimu.

Teprve po ověření na reálných případech může znovu získávat větší samostatnost.

Stejný princip platí při významné změně modelu, promptu, datového zdroje, integrace nebo obchodních pravidel. Dřívější výsledky nemusí automaticky dokazovat spolehlivost nové konfigurace.

Jak vybrat správnou úroveň autonomie AI

Při rozhodování si položte pět otázek:

1. Jak závažný může být chybný výsledek?
2. Lze chybu odhalit dříve, než způsobí škodu?
3. Je provedená akce snadno vratná?
4. Dokážeme správný výsledek objektivně definovat a měřit?
5. Má systém bezpečný způsob eskalace a zastavení?

Čím vyšší je dopad chyby, obtížnější kontrola a menší vratnost, tím více důvodů existuje pro asistovaný nebo delegovaný režim.

Nejlepší úroveň AI není ta nejautonomnější. Je to nejnižší míra autonomie, která přinese požadovanou hodnotu a zároveň udrží riziko pod kontrolou.

Může jeden systém kombinovat všechny tři režimy?

Ano. V praxi je to často nejlepší řešení.

AI může autonomně dohledat podklady, delegovaně klasifikovat případ podle jasných pravidel a před konečným rozhodnutím vyžádat schválení člověka.

Úroveň autonomie je proto vhodné určovat pro jednotlivá rozhodnutí a akce, nikoli pouze pro celou aplikaci jedním štítkem.

Je běžný chatbot autonomní AI?

Většinou ne. Chatbot, který pouze odpovídá na dotazy a neprovádí samostatné akce, funguje spíše jako asistovaná AI.

Autonomnější se stává ve chvíli, kdy může sám plánovat postup, používat nástroje, měnit data nebo spouštět navazující procesy.

Jak poznáme, ve kterém režimu systém skutečně funguje?

Sledujte, kdo má poslední slovo.

Pokud člověk schvaluje každý výstup, jde o asistovaný režim. Pokud AI řeší běžné případy a člověk pouze výjimky, jde o delegovaný režim. Pokud systém sám plánuje a provádí kroky ve vymezených hranicích, jde o autonomní režim.

Autonomie není cíl za každou cenu

Dobře navržená AI nemusí dělat všechno sama. Musí spolehlivě zvládat právě ty úkoly a rozhodnutí, které jí firma svěří.

Začněte proto asistencí, sbírejte reálné výsledky a postupně automatizujte pouze situace, které dokážete měřit, kontrolovat a bezpečně vrátit. Větší autonomii přidávejte až ve chvíli, kdy systém zná své hranice a lidé vědí, kdy zasáhnout.

Nejste si jistí, kolik kontroly můžete AI ve svém procesu bezpečně předat? Ozvěte se nám. Společně zmapujeme rozhodovací body, rizika a pojistky a navrhneme cestu od prvního asistenta k automatizaci, která bude skutečně fungovat.