Hodnota začíná konkrétním úkolem
Úvaha o AI bývá příliš široká: „chceme chatbot“ nebo „potřebujeme agenty“. Takové věty neříkají, komu má systém pomoci, jaký vstup dostane ani co se stane při špatné odpovědi. Začněte opakovatelnou prací, jejím vlastníkem a měřítkem: například nalezení správného interního postupu, třídění žádostí nebo příprava návrhu odpovědi, který člověk zkontroluje. Změřte současný čas, chybovost a počet případů, v nichž chybí podklady.
Potom porovnejte běžné vyhledávání, pravidlovou automatizaci a model. Generativní výstup je užitečný, když úloha vyžaduje práci s proměnlivým jazykem nebo skládání informací z více podkladů. Pokud jde o přesné rozhodovací pravidlo, může být vhodnější deterministický postup. Pilot má ukázat rozdíl na reprezentativních případech, ne pouze na několika působivých ukázkách. Úspěch znamená lepší výsledek v celém procesu včetně lidské kontroly a oprav.
Data a oprávnění před modelem
U interního vyhledávání se kvalita odpovědi opírá o kvalitu zdrojů. Dokumenty mohou být zastaralé, protichůdné, duplicitní nebo nedostupné správným lidem. Před stavbou RAG systému je třeba určit vlastnictví dokumentu, pravidla aktualizace, oprávnění a způsob, jak citovat konkrétní pasáž. Index nesmí vytvořit novou cestu k informacím, na které uživatel nemá právo. Vyhodnocení musí zahrnout také otázky, na něž systém nemá odpovědět.
Citlivá data vyžadují přehled toku: co odchází k poskytovateli modelu, co se ukládá do logů, jak dlouho se drží konverzace a kdo může výstupy číst. Nasazení lokálního modelu může přinést větší kontrolu nad infrastrukturou, ale zároveň odpovědnost za výkon, aktualizace a bezpečnost prostředí. Rozhodnutí o umístění modelu se proto dělá podle skutečných dat a provozních nároků, ne jen podle označení „privátní“. Právní posouzení závisí na konkrétním použití.
RAG a kvalita odpovědi
RAG obvykle kombinuje vyhledání relevantních podkladů s generováním odpovědi. Problém může vzniknout v každé části: dokument se nezaindexuje, vyhledávání vrátí nesprávnou verzi, úryvek ztratí důležitý kontext nebo model vytvoří závěr, který ze zdroje neplyne. Proto se měří odděleně dostupnost správného dokumentu, přesnost citace a užitečnost výsledné odpovědi. Zlepšovat pouze prompt bez testovací sady často znamená měnit chování naslepo.
Testovací sada má obsahovat běžné otázky, hraniční případy, podobně formulované dotazy s jiným významem a otázky bez odpovědi. Lidé, kteří práci skutečně vykonávají, posoudí, zda výsledek pomáhá v kontextu jejich rozhodnutí. Každá změna dokumentů, modelu nebo vyhledávání může kvalitu změnit, proto je vhodné sadu opakovat. NIST AI Risk Management Framework poskytuje obecný rámec pro řízení rizik v celém životním cyklu, nikoli razítko správnosti konkrétní aplikace.
Automatizace s lidskou hranicí
Ne každá AI úloha musí končit automatickou akcí. Návrh odpovědi, souhrn dokumentu nebo doporučení k předání může člověku ušetřit čas a současně zachovat rozhodovací odpovědnost. Pokud má systém měnit záznamy nebo posílat komunikaci, je nutné přesně definovat povolené operace, potvrzení, možnosti zrušení a auditní stopu. Oprávnění nástroje nemají být širší, než úloha potřebuje. Výjimka se musí dostat ke člověku v podobě, kterou lze skutečně vyřešit.
Text z dokumentů, e-mailů a webových stránek je nedůvěryhodný vstup, i když vypadá jako instrukce. OWASP popisuje prompt injection jako riziko aplikací s jazykovými modely. Obrana proto nespočívá jen v systémovém promptu: důležité jsou úzké oprávnění nástrojů, oddělení dat od instrukcí, kontrola výstupu a potvrzení významných akcí. Pilot musí zahrnout škodlivé i náhodně matoucí vstupy. Bez těchto zkoušek je automatizace příliš snadno zaměnitelná za spolehlivý proces.
Pilot a rozhodnutí o provozu
Pilot začíná malou sadou úloh s jasnými vstupy, očekávaným výsledkem a cenou chyby. Předem se stanoví, jak se porovná s dnešním postupem: ušetřený čas po započtení kontroly, podíl správných odpovědí, počet vrácených případů a náklady na provoz. Hodnocení pouze podle průměru může skrýt selhání u vzácných, ale důležitých situací. Případy s vysokým dopadem potřebují zvláštní bránu nebo se do automatizace vůbec nezařadí.
Produkční provoz přidává správu verzí modelu a promptu, monitoring kvality, rozpočtový limit, reakci na incident a postup vypnutí. Každá změna má být dohledatelná vůči testovací sadě. Pokud není možné spolehlivě měřit kvalitu nebo určit vlastníka výsledku, je lepší zůstat u asistovaného režimu. Tento přístup je přiměřený i malému projektu: méně komponent, ale jasně vymezená odpovědnost a ověřitelný výsledek. Náklady se posuzují společně s časem lidí, kontrolou výstupů, uchováváním dat a správou závislostí. Levný jednotlivý dotaz nemusí znamenat levný pracovní postup, pokud vytváří mnoho oprav nebo nepřehledné výjimky.