Ollama a používání AI lokálně - tedy zadarmo

Co to znamená? Především nejste omezeni žádnými tokeny a můžete využívat AI až do zblbnutí :-) No hezky se to píše/čte, ale jaká je realita? Vyzkoušel jsem to za vás, aby vy jste už nemuseli. Samotný software Ollama zabírá pár giga na disku. Pak si musíte vybrat vhodný AI model, který zabere dalších 8-20 GB na disku. To je dost. Máte i možnost používat modely v cloudu, ale na to si musíte zaplatit předplatné Ollama za 20$. Moc nechápu proč bych měl platit Ollamě a ne třeba Claude nebo ChatGPT na přímo a za lepší modely.

No vraťme se k tomu, že si stáhnete AI model do počítače. První zádrhel je už ve výběru modelu. Výběr je široký, ale modely jsou ve všech testech (benchmarkách) hodně nízko. Takže nedostáváte úplnýho Einsteina, spíš FrankEnsteina. Obvzlášť pokud jste zvyklý na některý z lepších modelů, tak vás například velmi populární Gemma 4 od Googlu moc neoslní. Řekli byste si, že se hodně povídá o DeepSeek... no ten je na tom ve všech testech ještě hůř.

A co teda ta Gemma 4? Dalo se to použít? No moc ne. Pustil jsem Gemmu do jednoho projektu, nechal jsem prozkoumat kód a zadal úkol k doplnění drobné funkcionality. Asi 10 minut zpracovávala rozkoukání v projektu a pak stejně dlouho trvalo i to, že mi napsala, že je hotovo. Ale vůbec nic neudělala. Zkusil jsem znovu zadat úkol. Po 10 minutách mi napsala dotaz, že netuší o jakém projektu mluvím a netuší co má dělat. Přepnul jsem na klasický model Visual Code Studia v neplacené verzi, který nebyl lokální a úkol byl zpracován za chviličku.

A to ani nemluvím o tom, že když dáte Gemmě/Ollamě nějaký úkol, tak využije maximálně prostředky vašeho počítače, takže tak nějak nemůžete skoro dělat nic jiného. A to mám našlapaný stroj. Pokud nemáte aspoň i7 a 16 GB Ram, tak bych to ani nezkoušel.

Řekl jsem si, že zkusím jen obyčejný chat, protože Ollama nabízí i UI prostředí, podobné třeba ChatGPT. Hodně osekané, ale chat tam prostě je. Zadal jsem dotaz, proč využívá tolik prostředků počítače. V tu chvíli se všechno zastavilo, roztočily se všechny větráky počítače, který rovnou zrudnul do červena (dobrá, to trošku přeháním) a po 10 minutách čekání vypadal celkem obsáhlý research toho, že je dobré si zvolit nenáročný model.

Za mě je to nepoužitelná věc a byla to celkem ztráta času to zkoušet, ale jsem rád, že to mám za sebou a nemusím nad tím dál přemýšlet. Pokud se do toho pustíte, držím palce, abyste došli k jinému závěru.