- Vzali jsme velmi výkonný MacBook Pro a vyzkoušeli jsme, jak je na tom s výkonem v AI výpočtech
- Zarazilo nás nejen skóre, ale i například spotřeba
Obsah článku
MacBook Pro M5 Max a lokální AI
Na stole se mi ocitl až absurdně výkonný laptop. MacBooky mám rád pro jejich výdrž, přenosnost a použitelnost. Výkon je pro mě nepříliš podstatný, protože videa stříhám na stolním počítači a svůj MacBook Air používám jen pro tvorbu textů, vyřizování e-mailů, sledování filmů, prohlížení internetu a základní úpravu fotografií. V podstatě se jedná o úkoly, které umí dnes libovolný notebook.
Proto jsem chvíli nevěděl, co si počít s 16palcovým monstrem, které je osazeno čipem M5 Max a 128 GB operační paměti a navrch 4TB diskem (cenovka je 237 490 korun s DPH). Abych to nějak využil, začal jsem si hrát s lokální AI, čemuž se budu věnovat ještě v několika článcích. Nejprve jsem se však rozhodl výkon změřit.
Měření výkonu AI výpočtů
Provedl jsem to v Ollamě, model tedy běžel přímo na zařízení, bez cloudu. Měřil jsem na dvou modelech, a to Qwen3 32B a Qwen3.5 122B-A10B. Výpočet probíhal s pevně nastavenými 2 000 výstupními tokeny, temperature: 0 a stejným technickým promptem, aby bylo měření co nejlépe opakovatelné. Chtěl jsem jednoduše vygenerovat text na zadané téma. Výsledky jsou vcelku přesvědčivé:
- Qwen3 32B → 24 tok/s
- Qwen3.5 122B-A10B → 52,3 tok/s
Jak vidno, tak se jedná o opravdu slušné výsledky. Jedná se o dva modely, na kterých jsem chtěl výkon otestovat. Do budoucnu plánuji mnohem rozsáhlejší test. Toto je spíš taková ochutnávka.
Pozor na napájení
Provozovat lokální AI na laptopu asi není úplně optimální, toho jsem si vědom. Mělo to hned několik negativních efektů, které se projevily při zpracovávání větších projektů, pro které jsem použil kombinaci modelů lokálních a pak „klasickou“ AI dostupnou přes API (Codex).
- Teplo, které výpočty generují, je samozřejmě třeba někam odvádět. MacBooky Pro jsou většinou poměrně tiché, ale s tím je konec v okamžiku, kdy potřebujete konstatní plný výkon po dobu třeba několika hodin. V tu chvíli generují ventilátory solidní hluk. Vyřešil jsem to tak, že jsem notebook dal na polici na chodbě a připojuji se na něj přes sdílení obrazovky (v podstatě macOS alternativa ke vzdálené ploše, akorát mnohem jednodušší). Negativním efektem umístění na chodbu je horší připojení k WiFi, takže v současné době vymýšlím, jak k MacBooku co nejjednodušeji dostat UTP kabel.
- Druhým problémem je spotřeba. Na klasický adaptér zapomeňte, potřebujete 140W monstrum, které vám Apple rád k notebooku za příplatek dodá. Další past se skrývá v konektoru. Netušil jsem, že nemohu použít USB-C, ale musím nabíjet přes MagSafe. Proč? Protřednictvím USB-C si umí takto výkonný MacBook Pro vzít maximálně 100 W. Při výkonu, který je při AI výpočtech asi 130 až 150 wattů (měřeno přímo na zásuvce) je tedy zhruba 40 wattů v deficitu a baterie se postupně vybíjí, což je problém.
Zdroj: autorský text, localaimaster
Obrázky: Ludvík Eckerman
