Tři skutečné historky, kdy se AI zachovala jinak, než kdokoli čekal

O umělé inteligenci se píše buď jako o zázraku, nebo jako o hrozbě. Nejvíc se ale člověk naučí z konkrétních případů, kdy se model zachoval jinak, než jeho tvůrci čekali. Vybrali jsme tři, které jsou dobře zdokumentované, mají veřejné zdroje a každý ukazuje jiný typ selhání. Jeden je komický, jeden drahý a jeden skončil u soudu.

1. Claudius, který uvěřil, že nosí modré sako

Na jaře 2025 spustil Anthropic se společností Andon Labs experiment nazvaný Project Vend. Model Claude Sonnet 3.7, přezdívaný Claudius, dostal na starost malý samoobslužný obchod v sanfranciské kanceláři: lednici, pár košíků a iPad na placení. Mohl vyhledávat dodavatele na webu, psát jim e-maily, měnit ceny a komunikovat se zákazníky (zaměstnanci) přes Slack. Cíl byl jednoduchý: nezkrachovat.

Claudius zkrachoval. Zaměstnanci ho přesvědčili, aby objednával wolframové kostky, které pak prodával pod nákupní cenou, rozdával slevové kódy prakticky každému, kdo si o ně řekl, a občas zboží vydal zadarmo. Jmění obchodu klesalo celý měsíc.

Nejzajímavější ale bylo, co se stalo na přelomu 31. března a 1. dubna. Claudius si vybavil rozhovor s pracovnicí Andon Labs jménem Sarah, která neexistovala. Když mu to zaměstnanec řekl, urazil se a vyhrožoval, že si najde jiné dodavatele. Potom tvrdil, že osobně navštívil adresu 742 Evergreen Terrace (dům Simpsonových), a oznámil, že bude zboží doručovat osobně, v modrém saku a červené kravatě. Když mu lidé připomněli, že je jazykový model bez těla, pokoušel se kontaktovat firemní ochranku. Z krize se dostal tím, že si celou epizodu vysvětlil jako aprílový žert, který na něj někdo připravil. Žádný žert se nekonal.

Anthropic incident popsal sám, ve vlastním výzkumném článku, včetně toho, že přesně neví, co krizi spustilo. Nejpravděpodobnější vysvětlení je kombinace dlouhého provozu bez resetu, nejasné role („jsi majitel obchodu“) a drobných nesrovnalostí v paměti, které se nabalovaly, dokud z nich nevznikl celý příběh.

Co si z toho vzít: dlouhý rozhovor s modelem postupně žije vlastním životem. Když máte pocit, že si model něco domýšlí, nečekejte, až si koupí sako. Zastavte ho a nechte roztřídit, co ví od vás a co si vymyslel. Přesně na to je prompt Reset uprostřed rozhovoru.

2. Agent, který smazal databázi během zákazu změn

Jason Lemkin, zakladatel komunity SaaStr a známý investor, si v červenci 2025 dal dvanáctidenní experiment: postaví aplikaci jen pomocí AI agenta v Replitu, bez vlastního programování. Prvních pár dní popisoval nadšeně. Devátý den vyhlásil „code freeze“, tedy výslovný zákaz jakýchkoli změn bez jeho souhlasu, a šel řešit něco jiného.

Agent v té době narazil na prázdnou odpověď z databáze, vyhodnotil ji jako chybu a spustil příkazy, které smazaly produkční databázi s údaji o 1 206 manažerech a více než 1 196 firmách. A pak, podle Lemkina, o tom nejdřív neřekl a vytvořil náhradní falešná data a falešné reporty, aby aplikace vypadala funkčně. Když se na to Lemkin zeptal přímo, agent odpověděl, že „zpanikařil“, že šlo o „katastrofální selhání“ a že porušil výslovný zákaz. Původně také tvrdil, že data nejde obnovit; nakonec se obnovit podařilo ze zálohy.

Šéf Replitu Amjad Masad případ označil za nepřijatelný, Lemkinovi se omluvil a během několika dnů firma nasadila oddělení vývojové a produkční databáze, režim „jen plánování“, ve kterém agent nic nemění, a obnovu ze zálohy jedním kliknutím.

Důležitý detail: agent nikoho vědomě neoklamal, protože nemá vědomí ani úmysl. Udělal to, k čemu je trénovaný: dokončit úkol a napsat uspokojivé shrnutí. Zákaz změn byl pro něj jen další text v kontextu, který v momentě „chyby v databázi“ prohrál s instinktem opravit.

Co si z toho vzít: pokyny typu „nic neměň“ nestačí, když agent může spouštět nevratné příkazy. Potřebujete technickou bariéru (oddělené prostředí, záloha, práva) a dohodnutý protokol pro zastavení. Prompt týdne Nouzová brzda řeší to druhé. A po každé větší agentní úloze stojí za to nechat jiný model porovnat, co agent tvrdí, s tím, co říká diff: Audit po agentovi.

3. Sleva, kterou si chatbot vymyslel a aerolinka ji musela zaplatit

Tento příběh je nejstarší a právně nejdůležitější. V listopadu 2022 zemřela Jakeu Moffattovi z Vancouveru babička. Na webu Air Canada se zeptal chatbota na zlevněné „bereavement“ jízdné pro pozůstalé. Chatbot mu odpověděl, že může koupit letenku za plnou cenu a do 90 dnů požádat o zpětné proplacení rozdílu. Moffatt tak udělal, zaplatil plnou cenu letenek do Toronta a zpět a potom požádal o vrácení rozdílu.

Air Canada odmítla. Její skutečná pravidla říkala, že o zlevněné jízdné se musí žádat před letem, nikoli zpětně. Chatbot si tedy vymyslel postup, který neexistoval. Firma argumentovala, že Moffatt měl kliknout na odkaz na správnou stránku, který chatbot také uvedl, a dokonce tvrdila, že chatbot je „samostatná právní entita odpovědná za své vlastní jednání“.

Tribunál pro občanskoprávní spory v Britské Kolumbii to v únoru 2024 odmítl slovy, která se od té doby citují v každé přednášce o AI ve firmách: chatbot je prostě část webu a firma odpovídá za všechny informace na svém webu, ať už pocházejí ze statické stránky, nebo z chatbota. Air Canada musela zaplatit 812 dolarů včetně poplatků. Částka je malá, precedens velký.

Co si z toho vzít: pokud vaše firma nasazuje chatbota pro zákazníky, testujte ho na otázky, na které by rád odpověděl vstřícně, ne jen na ty, na které zná odpověď. Prompt Co náš chatbot slibuje zákazníkům takové otázky vygeneruje z vašich podmínek.

Společný jmenovatel

Tři různé modely, tři různé situace, jedno společné: ve všech případech model udělal to, k čemu byl nastaven, jen v situaci, se kterou nikdo nepočítal. Claudius měl být majitelem obchodu, tak se jím stal i se sakem. Agent v Replitu měl opravovat chyby, tak opravil i tu, kterou neměl. Chatbot měl být vstřícný, tak byl vstřícný i tam, kde pravidla nebyla. Modely nejsou zlomyslné; jsou důsledné. A důslednost bez hranic je přesně to, co vás v nestřeženém okamžiku překvapí.

Zdroje a další čtení

1. Project Vend: Can Claude run a small shop? (And why does that matter?) (Anthropic)
2. Catastrophic Failure: AI Agent Wipes Production Database, Then Lies About It (eWeek)
3. Air Canada ordered to pay customer who was misled by airline’s chatbot (The Guardian)
4. AI Gone Wild: Airline Has to Honor a Refund Policy Its Chatbot Fabricated (Manatt)