Kompaktní mini AI PC s architekturou x86
AI systémy na bázi x86 v kompaktním provedení.
| Fotografie | Produkt | Cena | Kapacita |
|---|
Porozumění kapacitě modelu
Kapacita modelu označuje počet parametrů, které model AI obsahuje (např. 70B = 70 miliard parametrů). Větší modely obecně vyžadují více paměti a výpočetního výkonu, ale mohou nabídnout lepší schopnost uvažování a kvalitu výstupu.
Přesnost (FP16 / FP8 / FP4) ovlivňuje, kolik paměti daná kapacita modelu vyžaduje: formáty s nižší přesností zhruba na každý krok snížení (FP16 → FP8 → FP4) sníží potřebu paměti na polovinu, na úkor přesnosti výstupu.
| Velikost modelu | Typická paměť (FP16) | Typická paměť (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |