AI sendvič: Proč ani nejlepší model nezachrání špatná data

AI sendvič je praktická metafora pro architekturu AI automatizace. Horní housku tvoří vstupní data a kontext, prostřední vrstvu samotný AI model a spodní housku kontrola, formátování a doručení výstupu. Pokud nefunguje vstup nebo výstup, lepší model ani dokonale vyladěný prompt celý systém nezachrání.

Když se ve firmě mluví o zavedení umělé inteligence, pozornost se obvykle soustředí na prostřední část. Jaký jazykový model vybrat? Jak napsat prompt? Potřebujeme AI agenta? Má smysl větší model?

Jenže samotná AI je pouze jednou součástí řešení. O jeho spolehlivosti často rozhoduje především to, co do modelu vstupuje, a co se stane s jeho odpovědí potom.

Právě tuto skutečnost jednoduše vysvětluje koncept AI sendviče.

Co je AI sendvič?

AI sendvič není formální technologický standard. Je to praktický způsob, jak přemýšlet o AI systému jako o třech navazujících vrstvách.

Jednotlivé vrstvy nelze hodnotit odděleně. Kvalitní model nedokáže spolehlivě pracovat s informací, kterou nemá k dispozici.

Stejně tak ani správný výstup nepřinese hodnotu, pokud se uloží do špatného systému, přepíše správná data nebo se bez kontroly odešle zákazníkovi.

Horní houska: Vstupní data a kontext

Horní vrstva určuje, s čím bude AI pracovat. Nejde pouze o text, který uživatel napíše do chatu.

V podnikové automatizaci mohou vstupy přicházet z CRM, ERP, e-mailů, produktového katalogu, interní dokumentace, databází, zákaznického portálu nebo dalších aplikací.

Aby byly vstupy použitelné, musí splňovat několik podmínek.

Data musí mít jasný zdroj

Pokud se cena produktu liší v CRM, e-shopu a interním dokumentu, AI sama nepozná, která hodnota je správná.

Systém proto potřebuje předem určený zdroj pravdy, tedy místo, jehož údaje jsou pro konkrétní účel považovány za platné.

Stejně důležité je vlastnictví dat. Někdo musí odpovídat za jejich správnost, aktualizaci a pravidla použití. Bez vlastníka se i dobře vyčištěný zdroj začne postupně rozcházet s realitou.

Data musí být aktuální a dohledatelná

U každého zdroje by mělo být možné zjistit, kdy byl aktualizován, odkud informace pochází a zda je stále platná.

To je zásadní zejména u cen, produktových podmínek, smluv, interních směrnic nebo kontaktních údajů.

NIST ve svém profilu pro řízení rizik generativní AI doporučuje hodnotit kvalitu a integritu dat a sledovat původ používaných informací. Nejde tedy pouze o množství dat, ale také o jejich důvěryhodnost a dohledatelnost.

AI potřebuje relevantní kontext

Jazykový model může znát obecné principy obchodní komunikace, ale nezná aktuální skladovou dostupnost, individuální podmínky zákazníka ani interní pravidla firmy, pokud je nedostane v zadání nebo prostřednictvím připojeného zdroje.

Jedním ze způsobů, jak modelu dodat firemní informace, je RAG neboli retrieval-augmented generation. Systém před vytvořením odpovědi vyhledá relevantní podklady a vloží je do kontextu modelu.

Tento proces se označuje také jako grounding neboli ukotvení odpovědi v ověřitelných zdrojích.

Grounding může snížit riziko vymyšlených nebo zastaralých odpovědí. Nevyřeší ale nekvalitní zdroj. Pokud systém dohledá starý ceník nebo chybnou dokumentaci, model může podat velmi přesvědčivou odpověď založenou na nesprávné informaci.

Náplň: Model, prompt a logika zpracování

Prostřední část AI sendviče tvoří samotná umělá inteligence. Patří sem zvolený model, prompty, nastavení, případné nástroje a logika, která rozhoduje o jednotlivých krocích.

Na této vrstvě záleží. Různé modely se liší schopnostmi, rychlostí, cenou i velikostí kontextového okna. Dobře navržený prompt pomáhá určit úkol, požadovaný formát, omezení a způsob práce s nejistotou.

Model ale nemůže nahradit chybějící firemní realitu.

Pokud neví, které zdroje smí používat, nemá aktuální kontext nebo dostane protichůdná data, prompt situaci pouze zakryje. Výměna modelu za výkonnější variantu pak často zlepší formulaci odpovědi, nikoli její věcnou správnost.

Proto je důležité rozlišovat dvě různé situace:

• Halucinace: model vytvoří tvrzení, které nemá oporu v dostupných zdrojích.
• Chyba ve zdroji: model správně zpracuje informaci, která je sama o sobě neaktuální nebo nesprávná.

Kvalitní kontext a grounding pomáhají snižovat riziko halucinací, ale nemohou zaručit bezchybný výsledek. A pokud jsou chybné samotné podklady, model může chybu pouze přesvědčivě reprodukovat.

Spodní houska: Kontrola a doručení výstupu

Výstupem AI nemusí být jen text zobrazený uživateli. Může jít o vytvoření objednávky, změnu záznamu v CRM, klasifikaci požadavku, odeslání e-mailu, spuštění další automatizace nebo předání dat do účetního systému.

Čím větší dopad má následující akce, tím důležitější je spodní vrstva sendviče.

Výstupní část by měla určit:

• v jakém formátu má model odpovědět;
• které hodnoty jsou povinné a jak se validují;
• zda výsledek odpovídá použitému zdroji;
• kdy může systém pokračovat automaticky;
• kdy je potřeba lidská kontrola;
• kam se výstup uloží nebo odešle;
• jak lze chybnou akci dohledat, zastavit nebo vrátit.

Nestačí například požádat AI, aby z e-mailu vytáhla fakturační údaje. Před uložením je potřeba ověřit formát identifikačního čísla, povinná pole, případné duplicity i to, zda má být stávající záznam skutečně přepsán.

OWASP označuje nedostatečné ověřování výstupů jazykových modelů za riziko „improper output handling“. Neověřený obsah může při předání do dalších částí systému způsobit chybnou akci nebo vytvořit bezpečnostní problém.

Odpověď modelu proto nelze automaticky považovat za důvěryhodný systémový vstup.

Proč jsou data pro AI tak důležitá?

1. Data určují, z jaké reality systém vychází

Model nerozumí firmě stejným způsobem jako její zaměstnanci. Pracuje s informacemi, které získal při trénování, a s kontextem dodaným v konkrétním systému.

Pokud nemá přístup k aktuálním firemním údajům, nemůže spolehlivě odpovídat na otázky o produktech, zákaznících nebo interních postupech.

2. Špatný vstup vede ke špatnému výsledku

Princip „garbage in, garbage out“ platí i pro nejpokročilejší modely. Neúplný záznam, zastaralý dokument nebo nesprávně propojený zákazník mohou vést k chybnému výstupu bez ohledu na kvalitu použité AI.

Model navíc dokáže špatný výsledek formulovat velmi přesvědčivě. Chyba proto nemusí být na první pohled vidět.

3. Nekvalitní data ničí důvěru uživatelů

Zaměstnanci si k novému systému vytvářejí důvěru podle prvních zkušeností. Pokud musí odpovědi opakovaně kontrolovat, opravovat nebo dohledávat znovu, začnou automatizaci obcházet.

Technicky funkční řešení se pak nepoužívá, protože lidé nevěří jeho výsledkům. Investice do modelu, integrace i školení tak nepřinese očekávaný efekt.

4. Chyba se díky automatizaci rychle škáluje

Ruční chyba obvykle ovlivní jeden konkrétní případ. Chybný údaj v automatizovaném systému se může během krátké doby propsat do desítek objednávek, odpovědí nebo zákaznických záznamů.

Právě proto nestačí kontrolovat pouze to, zda automatizace běží. Je potřeba sledovat také správnost a kvalitu výsledků.

Modelový příklad: AI obchodník nabízí produkt, který už neexistuje

Představme si AI asistenta, který připravuje odpovědi na zákaznické poptávky. Model má kvalitní prompt, používá profesionální tón a správně čerpá z interní produktové dokumentace.

V dokumentaci ale zůstal produkt, který firma před několika měsíci vyřadila z nabídky.

AI nedělá chybu ve zpracování. Najde relevantní dokument, přečte jeho obsah a připraví přesvědčivou nabídku. Automatizace následně e-mail bez kontroly odešle zákazníkovi.

Selhaly obě housky:

• na vstupu nebyl aktuální a spravovaný zdroj informací;
• na výstupu chyběla kontrola dostupnosti před odesláním nabídky.

Další ladění promptu by tento problém nevyřešilo. Správným opatřením je určit aktuální produktový katalog jako zdroj pravdy, nastavit odpovědnost za jeho správu a před odesláním ověřovat dostupnost nabízených položek.

Jak připravit data pro spolehlivou AI automatizaci?

1. Zmapujte všechny zdroje

Sepište, odkud automatizace získává informace, jak často se jednotlivé zdroje aktualizují a kdo je spravuje.

Zaměřte se také na neoficiální podklady, jako jsou tabulky, e-maily nebo dokumenty uložené mimo hlavní systém.

2. Určete zdroje pravdy

Pro každý důležitý údaj stanovte systém, jehož hodnota má přednost. Pokud existuje více verzí stejné informace, automatizace musí mít jasné pravidlo, kterou použít.

3. Vyčistěte a sjednoťte data

Odstraňte duplicity, opravte neplatné záznamy a sjednoťte formáty. Součástí přípravy je také vyřešení chybějících hodnot, rozdílných názvů a vazeb mezi systémy.

4. Omezte přístup podle účelu

AI by neměla automaticky získat přístup ke všem firemním datům. Nastavte oprávnění podle konkrétního případu použití a zohledněte osobní, obchodně citlivé i jinak chráněné informace.

5. Definujte výstupní pravidla

Určete požadovaný formát, povinná pole, přijatelné hodnoty a podmínky, za kterých může systém výsledek použít.

U rizikových kroků přidejte schválení člověkem nebo další nezávislé ověření.

6. Sledujte kvalitu v provozu

Data i chování systému se mění. Průběžně proto vyhodnocujte přesnost, relevanci, počet ručních oprav, důvody eskalací a případy, kdy model nepoužil správný zdroj.

Kontrolní seznam pro návrh AI sendviče

Před spuštěním automatizace si ověřte:

• Víme, odkud pochází každý důležitý vstup?
• Máme pro klíčové údaje určený zdroj pravdy?
• Jsou informace aktuální, úplné a použitelné pro daný účel?
• Dostává model dostatek relevantního kontextu?
• Umíme dohledat zdroje, ze kterých odpověď vznikla?
• Má výstup pevně definovaný formát?
• Kontrolujeme výsledek před další systémovou akcí?
• Ví systém, kdy má případ předat člověku?
• Lze chybnou akci zastavit nebo vrátit?
• Sledujeme kvalitu výstupů i po nasazení?

Pokud na několik otázek odpovídáte „ne“, problém pravděpodobně není v modelu. Chybí některá z nosných vrstev celého řešení.

Vyřeší kvalitní data všechny halucinace AI?

Nevyřeší. Kvalitní a relevantní kontext může riziko nepodložených odpovědí výrazně snížit, nikoli zcela odstranit.

Proto je potřeba kombinovat grounding s testováním, validací výstupů, monitoringem a lidskou kontrolou podle závažnosti případné chyby.

Musíme před spuštěním vyčistit všechna firemní data?

Ne. Začněte daty, která používá konkrétní proces.

Menší, dobře spravovaný a důvěryhodný zdroj bývá pro pilot užitečnější než přístup k velkému množství dokumentů s nejasnou platností.

Jak poznáme, že problém způsobují data, a ne model?

Zkontrolujte, zda byl ve vstupu dostupný správný údaj, zda systém dohledal relevantní zdroj a zda byl tento zdroj aktuální.

Pokud model věrně zpracoval chybnou informaci, změna modelu problém neodstraní. Pokud správný kontext měl, ale odpověď mu odporuje, je potřeba řešit model, prompt, způsob vyhledávání nebo validaci.

Dobrá AI nezačíná promptem

Samotný model může být působivý, ale skutečnou hodnotu vytváří až celý systém kolem něj. Spolehlivá AI automatizace potřebuje čisté vstupy, relevantní kontext, správně nastavené zpracování a kontrolovaný výstup.

Než tedy začnete měnit model nebo po desáté upravovat prompt, podívejte se na obě housky. Právě tam se často skrývá důvod, proč AI funguje skvěle v ukázce, ale selhává v reálném provozu.

Chcete zjistit, zda jsou vaše procesy a data připravené na smysluplnou AI automatizaci? Ozvěte se nám. Společně projdeme celý AI sendvič a navrhneme řešení, které bude fungovat nejen v demu, ale i při každodenním používání.