AI bez internetu: jak si pustit model na vlastním počítači a kdy to dává smysl

Ještě před dvěma lety byla „AI na vlastním počítači" hračka pro nadšence s drahou grafickou kartou. Dnes si ji nainstalujete za deset minut na MacBook Air a pro řadu úkolů vám bude stačit. Tenhle článek je průvodce pro lidi, kteří nechtějí posílat smlouvy, zdravotní záznamy nebo firemní data do cizího cloudu, pracují tam, kde není signál, nebo prostě chtějí vědět, jak to funguje.

Proč vůbec offline

Čtyři důvody, které se opakují u většiny lidí, kteří k lokální AI přejdou:

• Soukromí a data. Text, který vložíte do lokálního modelu, nikdy neopustí počítač. Pro právníky, lékaře, účetní nebo kohokoli pod GDPR je to rozdíl mezi „můžu" a „nesmím".
• Cena. Model stáhnete jednou a pak běží zadarmo, bez předplatného a bez limitu zpráv. Elektřina na notebooku je zanedbatelná.
• Dostupnost. Vlak, letadlo, chata, nemocnice: AI funguje bez signálu a nezáleží na tom, jestli má OpenAI zrovna výpadek.
• Kontrola. Model se nezmění přes noc, nezmizí z nabídky a nikdo mu nepřepíše pravidla. Co funguje dnes, funguje i za rok.

A jeden důvod proti, rovnou na začátek: lokální model na běžném počítači je zhruba tam, kde byly cloudové modely před rokem nebo dvěma. Na shrnutí, přepisy, překlady, otázky nad vlastními dokumenty a jednodušší kód to stačí. Na složité uvažování, dlouhé agentní úlohy a nejnovější znalosti dál vede Claude, GPT nebo Gemini v cloudu.

Co je „otevřený model" a kdo je vydává

ChatGPT nebo Claude si nestáhnete; běží jen na serverech výrobce. Vedle nich ale existují modely s veřejně dostupnými váhami, které si kdokoli stáhne a spustí. V říjnu 2026 jsou nejdůležitější rodiny:

• Qwen (Alibaba): aktuálně nejpoužívanější volba pro lokální běh. Řada Qwen3 má velikosti od 1,7 do 235 miliard parametrů, novější Qwen3.8-27B zvládne i obraz a video. Licence Apache 2.0, tedy volná i pro firmy. Čeština slušná.
• Gemma 4 (Google DeepMind): rodina od 2 do 31 miliard parametrů, multimodální, nejmenší varianty běží i na telefonu. Dvanáctimiliardová verze je sladké místo pro notebook se 16 GB.
• gpt-oss (OpenAI): dva otevřené modely od tvůrce ChatGPT. Varianta 20B se vejde do 16 GB paměti a je dobrá na uvažování, varianta 120B potřebuje serverovou kartu.
• Llama 4 (Meta), DeepSeek V4, Mistral Small a Devstral (Mistral, EU), GLM (Z.ai), Kimi (Moonshot): silné modely, z nichž ty největší na notebook nevejdete; jejich menší verze ale ano. Mistral stojí za pozornost pro firmy, které chtějí evropského dodavatele.
• Phi-4-mini (Microsoft): 3,8 miliardy parametrů, běží i na 8 GB a bez grafické karty. Pro češtinu slabší.

Přehled včetně cen za API a toho, co se do kterého stroje vejde, průběžně aktualizujeme na stránce Přehled modelů.

Co potřebujete: paměť rozhoduje

U lokální AI nezáleží v první řadě na procesoru, ale na tom, kolik paměti máte a jak rychle do ní procesor nebo grafika dosáhne. Model se před během celý načte do paměti; jeho velikost v gigabajtech je proto první otázka. Modely se stahují „zmenšené" (kvantizované, typicky na 4 bity), takže osmimiliardový model zabere zhruba 5 GB místo 16.

Orientační pravidlo pro říjen 2026:

• 8 GB RAM: modely do zhruba 4 miliard parametrů: Gemma 4 v nejmenší variantě, Phi-4-mini, Llama 3.2 3B. Rychlost 15 až 30 slov za sekundu. Čeština u takto malých modelů drhne, hodí se spíš na angličtinu a jednoduché úkoly.
• 16 GB RAM: nejrozšířenější kategorie. Qwen3 8B, Gemma 4 12B, Llama 3.1 8B, těsně i gpt-oss-20b. Na Macu s čipem M3 kolem 15 slov za sekundu, na M5 kolem 25, na Windows s kartou RTX 4060 přes 35. Tady už se dá normálně pracovat.
• 32 GB a víc: Qwen3.8-27B, Gemma 4 31B, Mistral Small, Devstral pro kód. Kvalita se blíží cloudovým modelům střední třídy. Mac s jednotnou pamětí je tu ve výhodě, protože grafika sdílí celou RAM; na Windows se model musí vejít do paměti grafické karty, jinak zpomalí.

Dvě věci, které návody často zamlčí. Zaprvé kontextové okno: výchozí nastavení bývá 4 096 tokenů, tedy asi tři stránky textu; pro delší dokumenty ho musíte zvětšit a stojí to další paměť. Zadruhé teplo a baterie: model vytíží stroj naplno, notebook se zahřeje a baterie vydrží dvě až tři hodiny souvislé práce.

Čím to spustit

• LM Studio je nejlepší start pro lidi, kteří nechtějí vidět terminál. Aplikace pro Mac, Windows i Linux: vyberete model z katalogu, kliknete stáhnout, píšete. Má pole pro systémový prompt a umí nahrát dokument do rozhovoru.
• Ollama je standard mezi vývojáři a dnes už má i vlastní grafickou aplikaci. Jeden příkaz stáhne model (ollama run qwen3:8b), navíc poskytuje rozhraní kompatibilní s OpenAI, takže se na něj napojí většina nástrojů, včetně editorů kódu. Od července má Ollama i cloudové modely a vyhledávání na webu; pokud chcete čistě offline, obojí vypněte.
• Open WebUI přidá k Ollamě rozhraní, které vypadá jako ChatGPT, včetně historie, více uživatelů a hlavně vlastních dokumentů: nahrajete složku PDF a ptáte se jich. Tomu se říká RAG a je to nejužitečnější věc, kterou s lokální AI uděláte.
• Na telefonu běží nejmenší Gemma 4 a Qwen přes aplikace jako PocketPal; použitelné na rychlé shrnutí nebo překlad, ne na práci.

Pokud si netroufáte na instalaci sami, nechte to na agentovi: zadání Postav mi lokální AI pracoviště ho provede od zjištění stavu přes instalaci až po kontrolu, že nic neodchází ven.

Čeština: hlavní háček

Otevřené modely jsou trénované převážně na angličtině a čínštině. Čeština je u nich o stupeň horší než u cloudových modelů a u malých variant (pod 4 miliardy parametrů) se model občas uprostřed odpovědi přepne do angličtiny nebo vymýšlí slova. Pomáhá trojí: vybrat model, který je na češtinu znám jako slušný (Qwen, Gemma, Mistral), sáhnout po větší variantě, pokud se vejde, a dát modelu pevný systémový prompt. Ten jsme připravili: Systémový prompt pro malý lokální model.

Na co se lokální AI hodí

• Shrnutí, přepis a úprava textů, které nesmí ven: smlouvy, posudky, interní dokumenty. Pro tenhle případ máme připravený prompt Citlivý dokument, který nesmí opustit počítač.
• Otázky nad vlastní knihovnou dokumentů (RAG): firemní směrnice, poznámky, manuály.
• Překlady a jazyková korektura v cestě bez signálu.
• Pomoc s kódem v editoru, zvlášť s modely Devstral nebo Qwen Coder.
• Hromadné zpracování: roztřídit tisíc e-mailů nebo recenzí, kde by cloud stál peníze a čas.

A na co ne: nejnovější události (model o nich neví a nemá vyhledávání), dlouhé vícekrokové úlohy, kde se chyby nabalují, a cokoli, kde záleží na nejvyšší kvalitě uvažování. Tam nechte cloud a lokální model berte jako doplněk.

Jak začít dnes večer

1. Zjistěte, kolik máte paměti (na Macu Apple menu, O tomto Macu; na Windows Nastavení, Systém, O systému).
2. Nechte si doporučit model podle stroje a úkolů: Který lokální model na můj počítač?, náš prompt týdne.
3. Nainstalujte LM Studio nebo Ollamu, stáhněte doporučený model (3 až 15 GB) a položte mu první otázku česky.
4. Vložte systémový prompt a zkuste shrnout jeden vlastní dokument.

Když vás to chytne, přidejte Open WebUI a složku dokumentů. Když ne, nic se nestalo: stačí smazat stažené modely a místo na disku je zpět.

Zdroje a další čtení

1. The Best Open Source and Open-Weight LLM Models to Run Locally in 2026 (Hugging Face)
2. Local LLM on a Laptop (2026): 8GB, 16GB & Apple Silicon (PromptQuorum)
3. Running LLMs Locally on macOS: The Complete 2026 Comparison (DEV Community)
4. Best Open-Weight AI Models 2026: Current Shortlist (Kingy AI)
5. Ollama (Wikipedia)