- MacBook Pro s M5 Max a 128 GB RAM spustil všech šest testovaných modelů bez úprav systému
- gpt-oss-120b generoval 110 tokenů za sekundu, Llama 3.3 70B 12,5 tokenu za sekundu
- Čip při generování odebíral 37 až 50 W, při desetiminutové zátěži výkon neklesl
Obsah článku
MacBook Pro a lokální AI
Testovali jsme MacBook Pro s čipem M5 Max v konfiguraci s 18jádrovým procesorem, 40jádrovou grafikou a 128 GB jednotné paměti s propustností 614 GB/s. Notebook běžel na macOS 27.2, byl připojený k adaptéru a měl zapnutý režim napájení Vysoký výkon. Limit paměti pro grafiku jsme ponechali ve výchozím nastavení, systém jí přiděluje až 107 GB.
Modely jsme na MacBooku Pro spouštěli ve dvou prostředích: v llama.cpp (build 11669) s rozhraním Metal a ve frameworku MLX od Applu (MLX 0.32.4, mlx-lm 0.32.2). Testovali jsme šest otevřených modelů: Llama 3.1 8B, gpt-oss-20b, Qwen3 30B-A3B, Qwen3 32B, Llama 3.3 70B a gpt-oss-120b. Llama a Qwen3 byly ve 4bitové kvantizaci, modely gpt-oss v nativním formátu MXFP4. Qwen3 30B-A3B a oba gpt-oss jsou modely typu MoE, které při generování každého tokenu využívají jen část svých parametrů.
Postup měření
U každého modelu jsme měřili rychlost zpracování zadání a rychlost generování textu, a to s prázdným kontextem i s 4 096, 16 384 a 32 768 tokeny v kontextu. Každé měření proběhlo třikrát. Vstup tvořily náhodné tokeny se zafixovaným seedem. V MLX jsme navíc zaznamenali maximální obsazení paměti a dobu do prvního tokenu.
Spotřebu čipu, kterým je MacBook Pro osazen, jsme měřili nástrojem powermetrics při generování 1 024 tokenů. Před každým měřením následovala pětiminutová pauza a test pokračoval, až když macOS hlásil normální tepelný stav a příkon čipu klesl na klidovou úroveň. Dlouhodobou zátěž jsme ověřili desetiminutovým nepřetržitým generováním s modelem Qwen3 30B-A3B.
Rychlost generování
Všech šest modelů se vešlo do výchozího limitu paměti. Nejvíc obsadil gpt-oss-120b, a to 65,5 GB, MacBook Pro by zvládl ještě dramaticky víc. Výsledky včetně spotřeby shrnuje tabulka.
| AI model | Velikost | Generování | Generování (32k kontext) | První token (32k) | Obsazená paměť | Příkon čipu | Tokeny na watt |
|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | 4,9 GB | 102 / 115 tok/s | 54 / 60 tok/s | 17 s | 9,5 GB | 49,8 W | 2,02 |
| gpt-oss-20b | 12,1 GB | 156 / 142 tok/s | 106 / 105 tok/s | 7,5 s | 13,7 GB | 48,5 W | 3,24 |
| Qwen3 30B-A3B | 18,6 GB | 155 / 152 tok/s | 55 / 72 tok/s | 15 s | 21,1 GB | 41,1 W | 3,69 |
| Qwen3 32B | 19,8 GB | 26 / 28 tok/s | 15 / 18 tok/s | 72 s | 27,8 GB | 48,3 W | 0,53 |
| Llama 3.3 70B | 42,5 GB | 12,5 / 13,6 tok/s | 8 / 10 tok/s | 132 s | 51,3 GB | 40,5 W | 0,31 |
| gpt-oss-120b | 63,4 GB | 110 / 94 tok/s | 73 / 70 tok/s | 13,5 s | 65,5 GB | 37,3 W | 2,92 |
MacBook Pro M5 Max (18 CPU / 40 GPU jader, 128 GB), macOS 27.2, režim Vysoký výkon. Rychlost generování ve tvaru llama.cpp / MLX, průměr (llama.cpp) nebo medián (MLX) ze tří měření. První token udává dobu zpracování zadání o délce 32 768 tokenů v MLX, obsazená paměť je maximum naměřené v MLX. Příkon čipu (CPU, GPU, Neural Engine) podle nástroje powermetrics, nikoli celého notebooku, měřený při generování 1 024 tokenů v llama.cpp; tokeny na watt = tokeny za sekundu / příkon. Velikost odpovídá souboru modelu (Q4_K_M, u gpt-oss MXFP4). Zdroj: vlastní měření.
Llama 3.1 8B generovala 102 tokenů za sekundu v llama.cpp a 115 v MLX. Modely gpt-oss-20b a Qwen3 30B-A3B dosáhly 142 až 156 tokenů za sekundu. gpt-oss-120b generoval 110 tokenů za sekundu v llama.cpp a 94 v MLX. Qwen3 32B dosáhl 26 a 28 tokenů za sekundu, Llama 3.3 70B 12,5 a 13,6 tokenu za sekundu.
Zpracování zadání o délce 512 tokenů probíhalo v llama.cpp rychlostí od 306 tokenů za sekundu u Llamy 3.3 70B po 3 909 tokenů za sekundu u gpt-oss-20b. V MLX dosáhl gpt-oss-20b u zadání o 4 096 tokenech až 6 409 tokenů za sekundu. MacBook Pro tady podává opravdu solidní výkon.
Vliv délky kontextu
S rostoucím kontextem rychlost generování klesá. Při 32 768 tokenech v kontextu generoval gpt-oss-20b 106 tokenů za sekundu, gpt-oss-120b 73, Llama 3.1 8B 54 a Qwen3 30B-A3B 55 tokenů za sekundu (v llama.cpp). Qwen3 32B zpomalil na 14,5 a Llama 3.3 70B na 8,2 tokenu za sekundu.
Doba do prvního tokenu při zadání o 32 768 tokenech se v MLX pohybovala od 7,5 sekundy u gpt-oss-20b přes 13,5 sekundy u gpt-oss-120b a 17 sekund u Llamy 3.1 8B až po 72 sekund u Qwen3 32B a 132 sekund u Llamy 3.3 70B.
Spotřeba a dlouhodobá zátěž
Při generování odebíral čip 37 až 50 W, v klidu 2,1 W. Nejvyšší účinnost měl Qwen3 30B-A3B s 3,69 tokenu za sekundu na watt, nejnižší Llama 3.3 70B s 0,31 tokenu za sekundu na watt. Pozor, je to skutečně spotřeba čipu, nikoliv celého MacBooku.
Při desetiminutovém nepřetržitém generování s modelem Qwen3 30B-A3B držel MacBook Pro rychlost 152,5 tokenu za sekundu v prvních dvou minutách a 152,9 tokenu za sekundu v posledních dvou minutách. Průměrný příkon čipu byl 33,6 W. Pokles výkonu vlivem teploty se při této zátěži neprojevil.
Omezení testu
Ještě jednou upozorňujeme, že uvedený příkon se týká pouze čipu, spotřeba celého notebooku je vyšší. Dlouhodobou zátěž jsme měřili jen s modelem Qwen3 30B-A3B, u modelů s vyšším příkonem se může chování lišit. Test proběhl na adaptéru, výkon na baterii jsme neměřili. Kvalitu odpovědí jsme nehodnotili. Výsledky závisí na verzi softwaru, kvantizaci a délce kontextu.
Zdroj: vlastní měření
Obrázky: vygenerováno Midjourney
