Některou službu provozující LLM (AI) modely dnes používá asi každý. Hrozí však únik veškerých zadaných informací a lze s nimi obchodovat. Na to je dobré lokální offline řešení, které funguje dobře i na mobilních telefonech. Jak ale mohu lokální LLM model provozovat na svém mobilu?
Jaké výhody dostanete s lokálním LLM?
Lokální model je však dobrý, pokud se potřebujete dotazovat zcela anonymně. Data totiž neopouštějí vaše zařízení a model se na nich dál neučí.
Model můžete používat třeba pro opravu gramatických chyb ve své chystané knize. Máte jistotu, že pokud vám někdo fyzicky neodemkne zařízení, text neukradne a nemůže ho vydávat za svůj. Do různých profesí se může hodit i vypočítávání, psaní kódu nebo třeba překlady.
Nevýhody lokálního LLM
Nejdříve je třeba zmínit, že lokálně provozovaný LLM model není tak chytrý jako model běžící někde na serverech. Nemá totiž přístup k internetu, proto nehledá aktuální dění. Spoléhat se musíte na znalostní data, a ta často bohužel končí v roce 2023 nebo 2024.
Open-source modely postrádají některé další funkce, které můžete znát z oficiálního nástroje na webu. Nějaký běžný uživatel tedy může být zklamaný.
Lokální LLM na hardwaru mobilu? Ano!
Pro Android a iOS existují různá řešení, jak používat LLM model lokálně. Je to vlastně jednoduché, ale je dobré mít nějaký dražší mobil, protože je zapotřebí určitý výkon CPU/GPU. Jsou však i modely, které moc výkonu nepotřebují.
Stáhnout si můžete bezplatnou aplikaci PocketPal. Je dostupná v Obchodě Play, App Store a jako APK na GitHubu.
PocketPal má jednoduché uživatelské prostředí, možnost stáhnout doporučené LLM modely, ale můžete experimentovat i s modely z Hugging Face nebo stáhnout nějaký na GitHubu a zkusit ho zprovoznit. Šáhnout můžete i do nastavení využití GPU a dalších parametrů.
Jaké modely jsem zkoušel a jak fungují?
Open-Source modelů je dnes solidní výběr a můžete různě experimentovat. Na mobilu však můžete narážet na pády aplikace s některými modely, se zahříváním mobilu k teplotám nad 50°C a zpomalením celého prostředí. To je daň za soukromí.
Mobil vždy bude mít nějaké limity, i když procesor Qualcomm Snapdragon 8 Gen 5 v mém Xiaomi 17 Ultra si vede skvěle. Pokud ale je venkovní teplota vysoká, bude rychle stoupat i teplota vašeho zařízení. Více jsem se teplotám mobilu věnoval ve svém příspěvku na Telegramu.
Doručené modely:
Qwen3.5-4B-Q4_K_M
Gemma 4 E4B
Gemma 4 E2B
Gemma 3 4B
Gemma 3 1B
QwythoS-9B-Claude-Mythos-5-1M-MTP-Q4_K_M
Ministral 3 3B
Fungují, ale…
Qwen3.8-27B-UD-IQ1_S – pomalu vegneruje odpovědi
