Konec „thinking budgets": adaptivní přemýšlení mění, jak se píšou prompty
Ruční nastavování, kolik tokenů smí model „propřemýšlet", mizí. Nové modely Anthropicu i konkurence si hloubku uvažování řídí samy. Promptaři se proto musí naučit říkat si o ni slovy, ne čísly.
Ještě loni platilo: chceš, aby Claude nebo jiný model přemýšlel důkladněji? Nastav mu v API „thinking budget": tvrdý limit tokenů na uvažování. Letošní generace modelů tenhle přístup opouští. Adaptivní přemýšlení znamená, že model sám rozhodne, kdy a jak hluboko se zamyslet: nad triviální otázkou nepřemýšlí vůbec, nad složitým zadáním klidně dlouhé minuty.
Co to mění pro běžné uživatele
V aplikacích jako Claude.ai nebo ChatGPT to poznáte hlavně tak, že se modely u těžších dotazů „odmlčí" a pak odpoví znatelně lépe. Hloubku ale pořád ovlivníte, jen jinak:
- Slovy v promptu. „Odpověz stručně, bez dlouhého rozboru" vs. „Rozmysli si to pořádně, zvaž protiargumenty a teprve pak odpověz."
- Složitostí zadání. Dobře specifikovaný, náročný úkol si hlubší uvažování vyžádá sám.
- V API parametrem
effort: místo počtu tokenů se volí úroveň úsilí (low/medium/high a výš).
Past pro staré prompty
Prompty psané pro starší modely bývají příliš návodné. Instrukce typu „postupuj přesně v těchto 12 krocích" novým modelům paradoxně škodí: svazují jejich vlastní plánování. Doporučení výrobců zní shodně: popište cíl a omezení, ne postup. Kroky si model rozvrhne lépe sám.
Vyzkoušejte to na vlastních promptech: vezměte svůj nejsložitější a škrtněte polovinu instrukcí „jak". Výsledky často překvapí.
Proč na tom záleží
Promptování se posouvá od mikromanagementu k zadávání cílů. Kdo se naučí psát dobrá zadání místo dlouhých návodů, dostane z nových modelů výrazně víc a levněji.
Zdroje a další čtení
- Adaptive thinking: dokumentace (Anthropic)
- Effort parameter (Anthropic)