Jakých pět chyb zabíjí projekty AI automatizace?

Projekty AI automatizace obvykle nezastaví špatně zvolený model. Mnohem častěji jim chybí jasně definovaný problém, realistická očekávání, pohled na celý proces, znalost skutečného provozu nebo kvalitní data.

Firma si například pořídí integrační platformu, napojí jazykový model a během několika týdnů vytvoří první automatizovaný scénář. Technicky všechno funguje. Přesto zaměstnanci výstupům nevěří, proces vyžaduje další ruční práci a nikdo nedokáže říct, jestli se investice skutečně vyplatila.

AI automatizace totiž není jen model nebo sada propojených aplikací. Je to provozní systém, ve kterém se potkávají procesy, data, rozhodovací pravidla, odpovědnost lidí a technická infrastruktura. Slabina v kterékoli z těchto částí se dříve či později projeví ve výsledku.

1. Firma vybírá řešení dříve, než pojmenuje problém

„Chceme nasadit Make.“

„Potřebujeme Pipedrive.“

„Postavte nám AI agenta.“

Taková zadání znějí konkrétně, ale ve skutečnosti popisují prostředek, nikoli cíl.

Nejdříve je potřeba určit, co přesně se má v procesu změnit. Může jít například o zkrácení doby zpracování poptávky, snížení počtu ručních přepisů, rychlejší dohledání informací nebo omezení chyb při předávání dat mezi systémy.

Teprve potom lze posoudit, zda problém vyřeší jednoduché pravidlo, běžná integrace, úprava procesu, nebo skutečně AI.

Bez výchozího stavu a cílové metriky navíc není možné přínos projektu vyhodnotit. Tým sice může ukázat funkční automatizaci, ale neprokáže, že šetří čas, snižuje náklady nebo zlepšuje kvalitu.

Před volbou konkrétního nástroje si proto odpovězte na čtyři otázky:

• Co dnes konkrétně nefunguje nebo spotřebovává nepřiměřené množství práce?
• Koho se problém týká a jak často nastává?
• Jak změříme současný stav a očekávané zlepšení?
• Je AI pro daný krok skutečně nutná, nebo stačí běžná automatizace?

Modelový příklad: obchodní tým nepotřebuje „AI na e-maily“. Potřebuje zkrátit dobu mezi přijetím poptávky a jejím správným přiřazením obchodníkovi.

Úspěch lze měřit mediánem doby přiřazení, podílem správně klasifikovaných poptávek a množstvím případů, které musí opravit člověk. Takové zadání už umožňuje porovnat různé varianty řešení.

2. Od AI se očekává lidský úsudek a stoprocentní přesnost

Klasická automatizace vykonává předem stanovená pravidla. Generativní AI vytváří výstup na základě pravděpodobnostního modelu.

Může proto reagovat různě i na podobné vstupy. Její odpověď může být nepřesná, neúplná nebo nevhodná pro konkrétní kontext.

To neznamená, že se AI nedá spolehlivě používat. Znamená to, že spolehlivost musí být navržena na úrovni celého systému.

Nestačí jednorázově vybrat model a považovat projekt za dokončený. Systém je potřeba testovat, sledovat a postupně upravovat podle skutečných výsledků.

Provozní návrh by měl určit:

• jaká přesnost je pro daný účel přijatelná;
• které chyby jsou pouze nepříjemné a které mohou způsobit finanční, právní nebo bezpečnostní problém;
• kdy systém pokračuje automaticky a kdy má výsledek předat člověku;
• jak se bude kvalita testovat před spuštěním a sledovat v provozu;
• jak lze chybnou akci zastavit, vrátit nebo opravit.

Lidská kontrola přitom neznamená, že člověk musí potvrzovat každý krok navždy. Režim human-in-the-loop, tedy zapojení člověka do rozhodovacího procesu, by měl odpovídat riziku konkrétní činnosti.

Automatické shrnutí interního zápisu může mít jinou míru kontroly než odeslání cenové nabídky, změna zákaznických dat nebo rozhodnutí, které ovlivňuje konkrétního člověka.

Cílem proto není dosáhnout maximální autonomie za každou cenu. Cílem je nastavit systém tak, aby věděl, co může udělat sám a kdy se má zastavit.

3. Automatizují se jednotlivé úkoly místo celého procesu

Izolovaný úkol se automatizuje relativně snadno. Systém může přepsat přílohu, vytvořit záznam v CRM, vygenerovat odpověď nebo poslat upozornění.

Obchodní hodnotu ale obvykle vytváří až celý proces od spouštěče po ověřený výstup.

Pokud jednotlivé scénáře vznikají bez společného návrhu, mohou si konkurovat, opakovaně zpracovávat stejný vstup nebo vytvářet rozdílné verze téhož údaje.

Jakmile se změní pole v CRM, struktura dokumentu nebo způsob předávání dat, několik nenápadně propojených automatizací se může rozpadnout současně.

Před implementací je proto potřeba zmapovat:

1. Co celý proces spouští?
2. Odkud přicházejí data?
3. Jaká rozhodnutí během procesu vznikají?
4. Které systémy a role do něj vstupují?
5. Jaké existují výjimky a opakované pokusy?
6. Co je ověřený výstup a kdo za něj odpovídá?

Technický návrh musí řešit také zdánlivě provozní detaily. Například prevenci duplicitního zpracování, auditní stopu, oprávnění, chování při výpadku externí služby, limity API nebo způsob obnovy.

Bez těchto pojistek se ruční práce neztratí. Pouze se přesune z běžného provozu do řešení chyb, incidentů a nečekaných výjimek.

4. Automatizuje se ideální představa, ne skutečný proces

Procesní dokumentace často popisuje, jak by práce měla probíhat.

Realita ale obsahuje výjimky. Chybějící údaje se dohledávají v e-mailu, část klientů používá starou šablonu, některé požadavky schvaluje jiný člověk a urgentní případy obcházejí standardní postup.

Pokud se automatizuje pouze „čistá“ varianta procesu, pilot může vypadat úspěšně. Po nasazení ale začne systém selhávat na běžných odchylkách.

Automatizace pak zrychlí právě tu část práce, která byla správně popsaná. Nejasné vstupy a výjimky se mezitím začnou hromadit u lidí.

Správným prvním krokem proto není kreslit budoucí ideální workflow. Nejdříve je potřeba zachytit několik skutečných průchodů procesem a mluvit s lidmi, kteří jej opravdu vykonávají.

Ptejte se například:

• Kde nejčastěji čekáte na informace?
• Co musíte pravidelně opravovat ručně?
• Podle čeho poznáte výjimku?
• Která rozhodnutí nejsou v dokumentaci?
• Co děláte, když některý systém neodpovídá?
• Které části procesu lidé obcházejí a proč?

I krátké pozorování reálného provozu může odkrýt výrazný rozdíl mezi oficiálním postupem a skutečnou prací.

U složitějšího procesu je ale potřeba zapojit více rolí, projít různé typy případů a zohlednit také sezonní nebo méně časté situace. Návrh automatizace by neměl stát pouze na jedné zkušenosti nebo ukázkovém scénáři.

Teprve potom dává smysl proces zjednodušit, odstranit zbytečné kroky a rozhodnout, které části automatizovat.

Rozbitý proces se implementací AI neopraví. Pouze začne produkovat chyby rychleji a ve větším objemu.

5. Systém stojí na nekvalitních nebo neřízených datech

AI může být správně nakonfigurovaná a přesto poskytovat špatné výsledky, pokud pracuje s neúplnými, zastaralými, duplicitními nebo rozpornými daty.

Datová kvalita přitom není jen otázkou vstupu. Kontrolovat je potřeba celý „AI sendvič“: zdroje před zpracováním i výstupy před provedením další akce.

Před implementací ověřte:

• který systém je hlavním zdrojem každého údaje;
• kdo odpovídá za jeho správnost a aktualizaci;
• zda má systém oprávnění data pro daný účel použít;
• jak se řeší duplicity, chybějící hodnoty a konflikty;
• zda lze zpětně dohledat použitý vstup, verzi pravidel nebo promptu a výslednou akci;
• jak se pozná nesprávný výstup dříve, než ovlivní další část procesu.

Pro znalostního asistenta může být důležitou metrikou podíl odpovědí podložených schváleným zdrojem. Pro klasifikaci poptávek zase přesnost v jednotlivých kategoriích a počet případů, které musí převzít člověk.

Jedna obecná metrika ve stylu „AI funguje“ nestačí.

Kvalita dat navíc není jednorázový úkol před spuštěním. Zdroje se mění, dokumenty zastarávají, struktura vstupů se vyvíjí a požadavky uživatelů se mohou postupně posouvat. Proto je potřeba sledovat nejen technickou dostupnost systému, ale také kvalitu jeho výstupů v čase.

Jak správně připravit první pilot AI automatizace?

Úspěšný pilot nemusí automatizovat celý firemní proces. Musí ale ověřit konkrétní předpoklad a ukázat, zda řešení přináší měřitelnou hodnotu za přijatelných rizik.

1. Vyberte úzký, ale kompletní případ použití

Zvolte proces s dostatečným objemem opakované práce, dostupnými daty a jasným vlastníkem.

Pilot by měl mít skutečný vstup i ověřitelný výstup. Neměl by být pouze působivým demem postaveným na několika ručně vybraných příkladech.

2. Změřte současný stav

Zaznamenejte čas, chybovost, objem ručních zásahů, čekání a další náklady.

Bez výchozího stavu nebude možné odlišit skutečné zlepšení od subjektivního dojmu, že je nový systém rychlejší nebo modernější.

3. Připravte reprezentativní testovací případy

Testovací sada má zahrnovat běžné vstupy, hraniční situace i známé výjimky.

Metriky vybírejte podle účelu a rizikovosti systému. Jinak se má testovat interní asistent pro dohledávání dokumentů a jinak systém, který automaticky komunikuje se zákazníky nebo mění data v interních aplikacích.

4. Navrhněte kontrolu, eskalaci a návratový scénář

Předem určete, kdy systém pokračuje automaticky, kdy si vyžádá doplnění a kdy případ převezme člověk.

U akcí, které mění data nebo komunikují navenek, navrhněte auditní stopu a možnost opravy.

5. Vyhodnoťte obchodní i provozní výsledek

Pilot neposuzujte pouze podle přesnosti modelu.

Zahrňte čas, který systém ušetřil, ale také práci spotřebovanou kontrolou, správou výjimek, provozem a údržbou. Teprve celkový dopad ukáže, zda má smysl řešení dále rozšiřovat.

Potřebuje každá automatizace umělou inteligenci?

Ne. Pokud lze rozhodnutí přesně popsat stabilními pravidly, bývá klasická automatizace levnější, předvídatelnější a snáze testovatelná.

AI dává větší smysl u nestrukturovaných vstupů, klasifikace, extrakce významu, generování textu nebo situací, ve kterých pevná pravidla nestačí.

Někdy je nejlepším řešením kombinace obou přístupů. AI například vyhodnotí obsah dokumentu, ale další kroky už proběhnou podle jasně definovaných pravidel.

Kdy musí výstup AI kontrolovat člověk?

Míra kontroly by měla odpovídat dopadu případné chyby.

U nízkorizikových a snadno vratných kroků může stačit namátková kontrola a průběžný monitoring. U finančních, právních, personálních, bezpečnostních nebo jinak významných rozhodnutí je vhodná předběžná lidská kontrola, případně další nezávislý způsob ověření.

Jak poznat, že je pilot připravený na rozšíření?

Pilot je připravený ke škálování, pokud:

• dosahuje předem stanovených výsledků na reprezentativních datech;
• zvládá běžné i známé nestandardní případy;
• má jasného vlastníka;
• obsahuje monitoring a eskalační postup;
• lze zpětně dohledat jeho rozhodnutí a akce;
• ekonomika dává smysl i po započtení provozu a lidské kontroly.

Nejdřív proces, potom automatizace

Dobrá AI automatizace nezačíná výběrem modelu ani kreslením scénáře. Začíná měřitelným problémem a poctivým pohledem na to, jak práce skutečně probíhá.

Teprve když znáte proces, jeho výjimky, rizika, data a odpovědnost lidí, můžete správně rozhodnout, kde má AI přínos a kde by pouze přidala další vrstvu složitosti.

Pokud připravujete první pilot nebo potřebujete zjistit, proč stávající automatizace nepřináší očekávaný výsledek, začněte auditem procesu, dat a provozních rizik. Často odhalí nejdražší chyby ještě předtím, než se zapíšou do kódu.