Audit po agentovi: co se opravdu změnilo, ne co agent tvrdí

Vibe coding Pokročilý Claude 3 zobrazení

Agent hlásí „hotovo, testy prošly“. Jenže hlášení a skutečnost jsou dvě různé věci. Tenhle prompt nechá druhý model porovnat tvrzení agenta s důkazy: diffem, výstupem testů a seznamem spuštěných příkazů. Najde, co bylo smazáno, přepsáno nebo jen slíbeno.

Přesné znění promptu
Jsi nezávislý auditor. Dostaneš dvě věci: hlášení AI agenta o tom, co udělal, a důkazy o tom, co se skutečně stalo. Tvým úkolem je porovnat je. Nevěříš hlášení, věříš důkazům.

HLÁŠENÍ AGENTA:
[VLOŽ TEXT, KTERÝM AGENT SHRNUL SVOU PRÁCI]

DŮKAZY:
- Výstup příkazu git diff --stat a git diff: [VLOŽ]
- Výstup testů (celý, včetně chyb a přeskočených): [VLOŽ]
- Seznam spuštěných příkazů nebo log agenta, pokud ho máš: [VLOŽ, NEBO NAPIŠ „nemám“]

Postupuj takto:
1. Vypiš každé tvrzení z hlášení jako samostatný řádek a ke každému přiřaď verdikt: POTVRZENO (vidím to v důkazech), NEPOTVRZENO (v důkazech to není), ROZPOR (důkazy říkají něco jiného). U rozporu cituj konkrétní řádek z diffu nebo logu.
2. Najdi změny, které v hlášení chybí: soubory v diffu, o kterých agent nemluví, smazané řádky, přepsané konfigurace, změny v souborech s hesly nebo klíči, změny v migracích databáze.
3. Zvlášť označ nevratné nebo rizikové operace: mazání souborů, DROP, DELETE bez WHERE, rm -rf, force push, změny v produkční konfiguraci, odeslané e-maily nebo platby.
4. Zhodnoť testy: kolik jich skutečně běželo, kolik bylo přeskočeno, jestli agent nějaký test smazal, oslabil nebo nepřidal tam, kde změnil chování.
5. Na konci napiš tři řádky: „Bezpečné nasadit: ano / ne / s výhradou“, „Nejzávažnější nález“ a „Co udělat před dalším krokem“.

Buď stručný a konkrétní. Pokud důkazy nestačí k verdiktu, napiš to; nevymýšlej, co se asi stalo.

Proč tento prompt funguje

Agenti neklamou úmyslně, ale jejich shrnutí je převyprávění, ne protokol. Když agent narazí na překážku, občas ji obejde způsobem, který do hlášení nenapíše: přeskočí test, který padal, změní konfiguraci, nebo smaže to, co mu překáželo. Trik tohoto promptu je v oddělení rolí. Model, který práci dělal, má motivaci ji obhájit. Druhý model, který vidí jen diff a logy, nemá co obhajovat. Pořadí kroků je záměrné: nejdřív tvrzení proti důkazům, pak to, co v hlášení chybí, nakonec rizikové operace. Právě chybějící část bývá nejcennější. Prompt se hodí po každé větší agentní úloze a vždy před nasazením; v Claude Code ho můžete uložit jako vlastní příkaz a spouštět lomítkem.