vLLM to otwarty silnik do serwowania modeli językowych, który pozwala uruchomić LLM na własnym serwerze i obsłużyć wielu użytkowników jednocześnie przez API zgodne z OpenAI. Na początek wystarczy jedna karta graficzna z 24–32 GB pamięci (RTX 4090 lub 5090) dla modeli do ok. 35 mld parametrów. Największe modele otwarte wymagają węzła z ośmioma kartami H200 lub B200.
W tym artykule wyjaśniamy, jak policzyć zapotrzebowanie na VRAM, ile kosztują karty NVIDIA H100, H200, B200 i RTX, jak działa vLLM i kiedy lepszym wyborem jest Ollama, SGLang lub TensorRT-LLM, co faktycznie oferują SageMaker, Vertex AI i Foundry oraz jak wygląda architektura produkcyjna. Koszty całego wdrożenia, porównanie z API i kwestie RODO omawiamy w artykule LLM on-premise w firmie: ile kosztuje i jak wygląda wdrożenie.
Ile VRAM potrzebuje model LLM: wagi, kwantyzacja i KV cache
Zapotrzebowanie na pamięć GPU składa się z trzech elementów: wag modelu, KV cache dla aktywnych sekwencji oraz narzutu silnika. Dwa pierwsze da się policzyć z dwóch prostych wzorów.
1. Wagi modelu. Rozmiar wag zależy od liczby parametrów i od tego, ile bitów przypada na jeden parametr, czyli od kwantyzacji.
Przykład dla Llama 3.3 70B (70 mld parametrów):
- BF16 (16 bitów na wagę): 70 × 16 / 8 = 140 GB. Nie mieści się na jednej karcie 80 GB.
- FP8 (8 bitów): 70 × 8 / 8 = 70 GB. Jedna karta H100 lub H200.
- 4-bit (AWQ, GPTQ; ze skalami ok. 4,5 bita na wagę): 70 × 4,5 / 8 ≈ 39 GB. Jedna karta 48 GB.
2. KV cache. W trakcie generowania model przechowuje klucze (K) i wartości (V) uwagi dla każdego tokena w kontekście - stąd dwójka we wzorze. Cache rośnie liniowo z długością kontekstu i liczbą równoległych sekwencji.
Przykład dla Llama 3.3 70B (80 warstw, 8 KV heads dzięki GQA, head dimension 128, cache w BF16, czyli 2 bajty na element):
- Na jeden token: 2 × 80 × 8 × 128 × 2 B = 327 680 B = 320 KiB.
- Jedna sekwencja o długości 32 768 tokenów: 320 KiB × 32 768 = 10 GiB.
- Bez GQA (64 KV heads zamiast 8) ta sama sekwencja zajęłaby 80 GiB. Dlatego liczba KV heads jest w specyfikacji modelu ważniejsza dla kosztów niż liczba parametrów.
3. Narzut silnika. Aktywacje, grafy CUDA i bufory komunikacji zajmują zwykle kilka gigabajtów na kartę. vLLM rezerwuje z góry część pamięci (parametr gpu_memory_utilization, domyślnie 90%) i resztę po wagach przeznacza na KV cache.
Złóżmy to w całość. Na dwóch kartach H100 (160 GB) po załadowaniu wag w FP8 (ok. 70 GB) zostaje ok. 70 GB na cache, co wystarcza na ok. 7 równoległych sekwencji 32k w BF16 albo ok. 14 przy KV cache w FP8. Architektura MLA stosowana przez DeepSeek kompresuje cache do ok. 69 KiB na token; według pracy o DeepSeek-V2 zmniejszyło to KV cache o 93,3% względem poprzedniej generacji.
Dwa wnioski mają bezpośredni wpływ na koszty:
- W modelach MoE pamięć wyznacza liczba wszystkich parametrów, a szybkość liczba aktywnych. Qwen3.5-397B-A17B musi zmieścić w VRAM ok. 400 GB wag w FP8, ale na każdy token odczytuje tylko 17 mld parametrów. Generuje więc tokeny znacznie szybciej niż model gęsty o podobnym rozmiarze, ale nie jest tańszy w zakupie sprzętu.
- Faza dekodowania jest ograniczona przepustowością pamięci. Przy pojedynczym użytkowniku szybkość generowania wyznacza w przybliżeniu iloraz przepustowości pamięci karty i liczby bajtów odczytywanych na token. Dlatego H200 (4,8 TB/s) jest wyraźnie szybsza od RTX PRO 6000 (1,79 TB/s), mimo zbliżonej pojemności, a DGX Spark ze 128 GB pamięci, ale przepustowością 273 GB/s, nadaje się do eksperymentów, a nie do obsługi wielu użytkowników.
Orientacyjne zapotrzebowanie na sprzęt dla popularnych modeli (same wagi; do tego należy doliczyć KV cache zależnie od liczby użytkowników i długości kontekstu):
| Model | Parametry (łącznie / aktywne) | Kontekst | Wagi FP8 / 4-bit | Minimalna rozsądna konfiguracja |
|---|---|---|---|---|
| Bielik-11B v3 | 11 mld, model gęsty | 32k | ok. 11 / 7 GB | 1× 24 GB |
| Gemma 4 31B | 31 mld, model gęsty | 256k | ok. 31 / 18 GB | 1× 48 GB lub 1× 24 GB w 4-bit |
| Qwen3.6-35B-A3B | 35 / 3 mld | 262k | ok. 36 / 20 GB | 1× 24–32 GB w 4-bit (RTX 4090/5090) lub 1× 48 GB |
| gpt-oss-120b | 117 / 5,1 mld | 128k | natywnie MXFP4 | 1× 80–96 GB |
| Mistral Small 4 | 119 / 6,5 mld | 256k | ok. 120 / 65 GB | 1× 96 GB w 4-bit lub 2× H100 |
| Qwen3.5-397B-A17B | 397 / 17 mld | 262k (do 1M) | ok. 400 / 220 GB | 8× H100 w FP8 lub 4× H100 w 4-bit |
| DeepSeek V4 Flash | 284 / 13 mld | 1M | natywnie FP4 + FP8, ok. 160–170 GB | 2× H200 lub 1× B200 |
| GLM-5.3 | ok. 750 mld | do 1M | ok. 760 / 420 GB | 8× H200 |
| DeepSeek V4 Pro | 1,6 bln / 49 mld | 1M | natywnie FP4 + FP8 | węzeł 8× B200 |
| Kimi K3 | 2,8 bln / 104 mld | 1M | natywnie MXFP4, ok. 1,5 TB | węzeł 8× B300 |
Kwantyzacja LLM a jakość odpowiedzi
Kwantyzacja 4-bitowa (AWQ, GPTQ, NVFP4) zwykle obniża jakość w niewielkim stopniu, ale nie jest to reguła. Najbardziej wrażliwe bywają zadania matematyczne, generowanie kodu i języki mniej reprezentowane w danych treningowych, w tym polski. Dlatego wersję skwantyzowaną testujemy na tym samym zestawie co wersję pełną. Modele publikowane natywnie w FP8 lub FP4 (DeepSeek V4, gpt-oss, Kimi K3) były trenowane z uwzględnieniem tej precyzji, więc nie wymagają dodatkowej kwantyzacji.
Karty graficzne do LLM: ceny NVIDIA H100, H200, B200 i RTX
NVIDIA nie publikuje cenników kart do centrów danych, dlatego poniższe ceny zakupu pochodzą z ofert dystrybutorów i zestawień branżowych. W 2026 roku niedobór pamięci podniósł ceny większości kart: RTX PRO 6000 Blackwell, wprowadzona w marcu 2025 roku za 8 565 USD, kosztuje dziś ok. 16 000 USD, a RTX 5090 z sugerowaną ceną 1 999 USD kosztuje w Polsce 44 999 zł, czyli ok. 11 500 USD. Dostawcy chmurowi rozliczają się w dolarach; kwoty w tabeli przeliczono po kursie NBP z 10 listopada 2026 roku (3,91 zł za 1 USD).
| Karta | VRAM / przepustowość | Cena zakupu (zł) | Wynajem u dostawców specjalistycznych (zł/h) | Hiperskaler na żądanie (zł/h za GPU) |
|---|---|---|---|---|
| RTX 5090 | 32 GB / ok. 1,8 TB/s | 44 999 | 4,65 (RunPod) | – |
| L40S | 48 GB / 864 GB/s | 27–35 tys. (używana) | 4,26 (RunPod), 6,06 (Nebius) | 7,27 (AWS g6e.xlarge) |
| RTX PRO 6000 Blackwell | 96 GB / 1,79 TB/s | ok. 63 tys. | 7,04 (Nebius), 9,74 (RunPod) | 17,60 (GCP g4-standard-48) |
| H100 SXM | 80 GB / 3,35 TB/s | 137–156 tys. (PCIe 98–117 tys.) | 11,69 (OVHcloud), 15,60 (RunPod), 17,60 (Nebius) | 26,90 (AWS), 43,24 (GCP), 48,05 (Azure) |
| H200 | 141 GB / 4,8 TB/s | 121–149 tys. | 20,68 (RunPod), 21,11 (Nebius) | 30,93 (AWS), 41,45 (GCP) |
| B200 | 192 GB / 8 TB/s | 117–196 tys. | 30,07 (Lambda), 31,24 (RunPod) | 55,68 (AWS) |
| B300 | 288 GB / 8 TB/s | 196–235 tys. | 37,15 (Nebius) | 69,60 (AWS) |
Źródła: IntuitionLabs, Thunder Compute, RunPod, Nebius, Lambda, OVHcloud, AWS, GCP; stan na listopad 2026. Ceny hiperskalerów dotyczą regionów w USA; regiony europejskie są zwykle droższe, w Azure nawet o ok. 30%.
Kompletne serwery ośmiokartowe kosztują odpowiednio więcej: DGX lub HGX H100 od 300 do 460 tys. USD, DGX H200 od 400 do 500 tys. USD, HGX B200 od 360 do 470 tys. USD. Serwer 8× H100 pobiera pod pełnym obciążeniem ok. 10 kW, co przy pracy ciągłej daje ok. 7 300 kWh miesięcznie. Przy cenie 1 zł netto za kWh to ok. 7 300 zł miesięcznie za samą energię, bez chłodzenia. Pełne scenariusze kosztów, z porównaniem zakupu i chmury, opisujemy w artykule o kosztach LLM on-premise.
Kilka praktycznych obserwacji z doboru sprzętu:
- Zwykłe karty RTX (3090, 4090, 5090) w zupełności wystarczają wielu małym firmom. Karta z 24–32 GB VRAM obsłuży Bielika 11B, Gemmę 4 26B MoE, Qwen3.6-35B-A3B w kwantyzacji 4-bitowej czy gpt-oss-20b dla kilku–kilkunastu jednoczesnych użytkowników, a komputer z RTX 5090 kosztuje ok. 50–55 tys. zł, z czego sama karta 44 999 zł. Ograniczeniem jest pojemność pamięci, brak ECC i NVLink oraz licencja sterowników GeForce, która nie obejmuje wdrożeń w centrach danych, co warto uwzględnić przy kolokacji.
- RTX PRO 6000 Blackwell (96 GB) to następny krok dla modeli do ok. 120 mld parametrów, których nie zmieści karta 32 GB. Mieści gpt-oss-120b lub Mistral Small 4 w 4-bit na jednej karcie.
- H200 zamiast H100, jeśli model nie mieści się komfortowo w 80 GB. Więcej pamięci oznacza większy KV cache, a więc więcej równoległych użytkowników na kartę.
- B200 i B300 mają najniższy koszt tokena przy dużym obciążeniu. Według projektu vLLM Blackwell osiąga do 4,3 raza wyższą przepustowość niż Hopper na gpt-oss-120b. Opłaca się to jednak tylko przy wysokim wykorzystaniu kart.
- AMD MI300X (192 GB) i MI355X (288 GB) są wspierane przez vLLM i SGLang przez ROCm i bywają tańsze w wynajmie, ale ekosystem optymalizacji wciąż jest wyraźnie bogatszy dla NVIDII.
Przykładem rozsądnej opcji pośredniej jest Hetzner: serwer dedykowany GEX45 z kartą RTX PRO 4000 24 GB kosztuje 214 EUR netto miesięcznie, GEX63 z kartą RTX PRO 6000 Blackwell Max-Q 96 GB 999 EUR, a GEX430 z czterema takimi kartami 3 599 EUR. Do każdego dochodzi jednorazowa opłata instalacyjna w wysokości miesięcznego abonamentu. Serwery znajdują się w Finlandii i Niemczech.
Jak działa vLLM i dlaczego stał się standardem
vLLM to otwarty silnik inferencyjny, który powstał na UC Berkeley, a od maja 2025 roku jest projektem PyTorch Foundation. W listopadzie 2026 roku aktualna jest wersja 0.33. To on stoi za większością zarządzanych usług inferencyjnych w chmurach publicznych i to jego wybieramy domyślnie we wdrożeniach produkcyjnych.
Aby zrozumieć, co vLLM robi lepiej od prostszych narzędzi, trzeba wiedzieć, gdzie leży wąskie gardło. Generowanie kolejnych tokenów jest ograniczone przepustowością pamięci GPU, a nie mocą obliczeniową. Każde aktywne zapytanie utrzymuje w VRAM własny KV cache, którego rozmiar rośnie z długością kontekstu. Autorzy pracy o PagedAttention (SOSP 2023) zmierzyli, że we wcześniejszych systemach faktyczne stany tokenów zajmowały jedynie 20,4–38,2% pamięci zarezerwowanej na KV cache. Resztę marnowała fragmentacja i rezerwacja miejsca na maksymalną długość odpowiedzi.
vLLM rozwiązuje ten problem kilkoma mechanizmami, które działają razem:
- PagedAttention. KV cache jest dzielony na bloki o stałym rozmiarze, przechowywane w nieciągłych obszarach pamięci i adresowane przez tablicę bloków, analogicznie do stronicowania pamięci wirtualnej w systemie operacyjnym. Strata ogranicza się do niezapełnionej części ostatniego bloku. W pracy źródłowej przekładało się to na 2–4 razy wyższą przepustowość niż FasterTransformer i Orca przy tym samym opóźnieniu.
- Continuous batching. vLLM dołącza nowe zapytania do przetwarzanej partii w każdej iteracji, zamiast czekać, aż zakończą się wszystkie bieżące. GPU nie stoi bezczynnie, gdy jedna odpowiedź jest długa, a inne krótkie.
- vLLM Planner i chunked prefill. Silnik V1, domyślny od 2025 roku, nie rozdziela faz prefill i decode. Długie prompty są dzielone na fragmenty i przeplatane z dekodowaniem, więc pojawienie się 50-stronicowego dokumentu nie zatrzymuje odpowiedzi dla pozostałych użytkowników.
- Automatic prefix caching. Wspólny początek zapytań (prompt systemowy, dokument w RAG, historia rozmowy) jest liczony raz i współdzielony. W V1 mechanizm jest włączony domyślnie, a jego narzut przy zerowej liczbie trafień wynosi poniżej 1%.
- Kwantyzacja wag i KV cache. FP8, MXFP4, NVFP4, AWQ, GPTQ, GGUF i inne formaty; KV cache może być przechowywany w FP8, co podwaja liczbę obsługiwanych jednocześnie sekwencji.
- Speculative decoding. EAGLE-3, MTP, n-gram i model pomocniczy (draft). Mechanizm skraca opóźnienie między tokenami przy małym i średnim obciążeniu, bez utraty jakości przy standardowym próbkowaniu.
- Równoległość. Tensor, pipeline, data, expert i context parallelism. Zalecenie projektu: tensor parallelism w obrębie węzła, pipeline parallelism między węzłami lub na kartach bez NVLink, takich jak L40S.
- Interfejsy. Serwer zgodny z API OpenAI (a także z Anthropic Messages API), structured outputs z JSON Schema i gramatykami, obsługa wielu adapterów LoRA na jednym modelu bazowym.
- Sprzęt. NVIDIA, AMD (ROCm), Intel i CPU w głównym repozytorium; TPU, Gaudi i Ascend przez wtyczki.
Czy warto używać vLLM
W systemie, z którego korzysta więcej niż jedna osoba naraz, odpowiedź brzmi zwykle tak. Red Hat porównał vLLM z Ollamą na jednej karcie A100 40 GB i modelu Llama 3.1 8B: szczytowa przepustowość wyniosła 793 tokeny/s wobec 41 tokenów/s, a 99. percentyl opóźnienia 80 ms wobec 673 ms. Trzeba uczciwie dodać, że autor testu jest jednym z głównych kontrybutorów vLLM, a Ollama domyślnie obsługuje tylko cztery równoległe zapytania. Kierunek wyniku jest jednak zgodny z tym, co obserwujemy w praktyce.
Ollama i llama.cpp pozostają dobrym wyborem do użytku prywatnego czy prototypu. Nie są natomiast projektowane jako serwer dla kilkudziesięciu jednoczesnych użytkowników.
W praktyce duże znaczenie ma też konfiguracja. W teście opisanym przez Cohorte vLLM z ustawieniami domyślnymi generował 2 901 tokenów/s modelem gpt-oss-120b na dwóch kartach H100, a po strojeniu 7 648, czyli 2,6 raza więcej na tym samym sprzęcie.
vLLM vs Ollama, SGLang i TensorRT-LLM
vLLM nie jest jedynym dojrzałym silnikiem i nie zawsze jest najszybszy. Clarifai porównał trzy główne silniki na modelu gpt-oss-120b i dwóch kartach H100: przy jednym użytkowniku najszybszy był TensorRT-LLM (243 tokeny/s), przy 50 równoległych zapytaniach SGLang (3 109 tokenów/s), a przy 100 vLLM (4 742 tokeny/s). Żaden silnik nie wygrywa w każdej konfiguracji, dlatego decyzję warto oprzeć na pomiarze dla własnego modelu i profilu ruchu.
| Silnik | Mocne strony | Ograniczenia | Kiedy wybrać |
|---|---|---|---|
| vLLM | Najszersze wsparcie modeli i sprzętu, PagedAttention, API zgodne z OpenAI, duża społeczność, fundament usług chmurowych | Nie zawsze najwyższa wydajność w konkretnej konfiguracji | Domyślny wybór dla większości wdrożeń produkcyjnych |
| SGLang | RadixAttention, czyli współdzielenie KV cache między zapytaniami przez drzewo prefiksów; bardzo dobra obsługa dużych MoE i generowania strukturalnego | Szybsze tempo zmian, mniej gotowych integracji w usługach zarządzanych | Agenci, rozmowy wieloetapowe, RAG z powtarzalnym kontekstem, modele klasy DeepSeek |
| TensorRT-LLM + Dynamo | Najwyższa efektywność na kartach NVIDIA, szczególnie Blackwell | Tylko NVIDIA, bardziej pracochłonna konfiguracja | Duża skala, w której kilka procent wydajności oznacza realne oszczędności |
| NVIDIA NIM | Gotowe, zoptymalizowane kontenery z wsparciem producenta | Produkcyjnie wymaga licencji NVIDIA AI Enterprise | Organizacje, które potrzebują wsparcia producenta |
| Hugging Face TGI | Prosty start, integracja z Hugging Face | W trybie utrzymania; sam projekt rekomenduje vLLM lub SGLang | Nie wybierać do nowych projektów |
| Ollama, llama.cpp, LM Studio | Instalacja w kilka minut, format GGUF, działanie na CPU i Mac | Niska przepustowość przy wielu równoległych użytkownikach | Prototyp, pojedyncze stanowisko |
| LMDeploy | Silnik TurboMind, wydajna kwantyzacja 4-bit i KV cache int4/int8 | Mniejsza społeczność, węższa lista modeli | Modele 4-bitowe na ograniczonym sprzęcie |
Przy więcej niż jednej replice modelu sam silnik przestaje wystarczać. Potrzebna jest warstwa orkiestracji, która kieruje zapytania tam, gdzie ich prefiks jest już w cache. Najważniejsze projekty to llm-d, vLLM production-stack oraz NVIDIA Dynamo. W teście llm-d model Qwen3-32B na 16 kartach H100 osiągnął ok. 120 tys. tokenów/s, podczas gdy zwykły load balancer Kubernetes przy tym samym obciążeniu wyraźnie tracił wydajność.
Nasza praktyka: zaczynamy od vLLM, bo daje najkrótszą drogę do stabilnej produkcji i najłatwiejszą migrację między dostawcami. SGLang testujemy, gdy system jest agentowy lub intensywnie wykorzystuje wspólny kontekst. Po TensorRT-LLM sięgamy dopiero wtedy, gdy skala uzasadnia dodatkowy nakład pracy.
vLLM w chmurze: SageMaker, Bedrock, Vertex AI i Foundry
Usługi zarządzane hiperskalerów uruchamiają w większości przypadków ten sam silnik, który możesz postawić samodzielnie: vLLM. Płacisz więc nie za wyższą wydajność, lecz za autoskalowanie, health checki, integrację z IAM i monitoringiem oraz mniejszą liczbę komponentów do utrzymania.
| Usługa | Silnik | Narzut względem VM | Skalowanie do zera | Na co uważać |
|---|---|---|---|---|
| Amazon SageMaker AI (kontenery LMI) | vLLM 0.23 z poprawkami AWS | ok. +15% (p5.48xlarge) do +40% (g6e.xlarge) | Tak, tylko z Inference Components; zimny start liczony w minutach | Wersja vLLM w obrazie AWS jest kilka wydań za projektem głównym |
| Bedrock Custom Model Import | Zarządzany przez AWS | Opłata za Custom Model Unit: 0,07144 USD/min we Frankfurcie (ok. 4,29 USD/h) | Tak; rozliczenie w oknach 5-minutowych | Tylko wybrane architektury (Llama, Mistral, Qwen2/2.5/3, gpt-oss), wagi do 200 GB, kontekst do 128k |
| Google Model Garden (Vertex AI) | vLLM, Hex-LLM na TPU | ok. +13–15% | Nie dla endpointów dedykowanych | W kwietniu 2026 roku Vertex AI zmienił nazwę na Gemini Enterprise Agent Platform |
| Google Cloud Run z GPU | Dowolny kontener, np. vLLM | Rozliczenie sekundowe: L4 0,67 USD/h, RTX PRO 6000 1,31 USD/h plus CPU i RAM | Tak, start instancji ok. 5 s plus ładowanie wag | Jedna karta na instancję, domyślny limit 3 GPU na region |
| Microsoft Foundry, managed compute | Zarządzany przez Microsoft | Rozliczenie za godzinę akceleratora | Nie | W nowej wersji: public preview bez SLA, zakres tylko Global, więc nie spełnia wymogu przetwarzania w UE |
| Azure AKS z KAITO | vLLM domyślnie | Cena VM | Przez KEDA | Wymaga kompetencji Kubernetes |
Kilka pułapek, które regularnie spotykamy u klientów:
- Limity i dostępność kart. Instancje H100 i H200 wymagają zwykle wniosku o zwiększenie limitu lub rezerwacji pojemności. Uruchomienie projektu potrafi czekać tygodniami na przydział GPU.
- Minimalny rozmiar węzła. W części regionów i rodzin instancji najmniejszą jednostką jest maszyna z ośmioma kartami. AWS od sierpnia 2025 roku oferuje jednokartową p5.4xlarge (6,88 USD/h), ale nie wszędzie i nie dla wszystkich typów GPU.
- Rezerwacje zmieniają rachunek. p5.48xlarge kosztuje 55,04 USD/h na żądanie i ok. 23,8 USD/h przy rezerwacji na 3 lata. W GCP ośmiokartowy a3-ultragpu-8g (H200) kosztuje 84,81 USD/h na żądanie i 37,21 USD/h przy zobowiązaniu trzyletnim.
- Region europejski to nie to samo co suwerenność. Hiperskalerzy z USA podlegają amerykańskiemu CLOUD Act niezależnie od lokalizacji centrum danych. Dla klientów, dla których to kryterium jest istotne, alternatywą jest AWS European Sovereign Cloud (dostępny od stycznia 2026 roku) albo dostawcy europejscy: OVHcloud, Scaleway, STACKIT, IONOS oraz polski CloudFerro, który w marcu 2026 roku uruchomił region w Łodzi z ok. 500 kartami H200, B300 i RTX PRO 6000.
- Uzależnienie od dostawcy. Najniższe jest przy vLLM na maszynie wirtualnej lub w Kubernetes z API zgodnym z OpenAI. Najwyższe przy Bedrock Custom Model Import, gdzie rozmiar jednostki rozliczeniowej i obsługiwane architektury określa AWS.
Nasza rekomendacja: usługi zarządzane mają sens, gdy firma już działa w danej chmurze, ruch jest nierówny, a zespół nie chce utrzymywać Kubernetes. Przy stałym obciążeniu i jednym modelu prostsza i tańsza bywa maszyna wirtualna lub serwer dedykowany z vLLM, uzupełniony o własny monitoring.
Architektura produkcyjnego wdrożenia z vLLM
Sam serwer vLLM to dopiero rdzeń systemu. W środowisku produkcyjnym otaczamy go warstwami, które odpowiadają za bezpieczeństwo, rozliczalność i przewidywalność działania.
Za każdym elementem stoją konkretne decyzje konfiguracyjne:
- API Gateway wydaje aplikacjom osobne klucze z limitami i budżetami, zapisuje log audytowy i ukrywa szczegóły infrastruktury. Dzięki API zgodnemu z OpenAI zmiana modelu lub dostawcy nie wymaga zmian w aplikacjach.
- Warstwa ochrony anonimizuje dane osobowe przed przekazaniem tekstu do modelu i filtruje zarówno zapytania, jak i odpowiedzi.
- Router świadomy prefiksów kieruje zapytania z tym samym kontekstem do repliki, która ma go już w KV cache. Zwykły load balancer typu round-robin marnuje cache i podnosi czas do pierwszego tokenu (TTFT).
- vLLM konfigurujemy pod konkretny profil ruchu: maksymalną długość kontekstu (
--max-model-len), udział pamięci GPU (--gpu-memory-utilization), typ KV cache (--kv-cache-dtype fp8), stopień równoległości (--tensor-parallel-size) i limity partii. Serwery modeli nie mają dostępu do internetu, a wagi są przechowywane lokalnie na dyskach NVMe, co skraca start repliki. - Monitoring korzysta z metryk, które vLLM udostępnia natywnie: czasu do pierwszego tokenu, opóźnienia między tokenami, zajętości KV cache i liczby oczekujących zapytań. Ta ostatnia jest najlepszym sygnałem do autoskalowania przez KEDA.
- RAG wymaga osobnych, znacznie mniejszych modeli do embeddingów i rerankingu. Uruchamiamy je na tym samym klastrze, przez Hugging Face TEI lub endpointy poolingowe vLLM.
Do tego dochodzi potok ewaluacji: zestaw testowy uruchamiany automatycznie przy każdej zmianie modelu, promptu lub konfiguracji. To on pozwala bezpiecznie przejść na nowszy model, gdy taki się pojawi.
vLLM i LLM na własnym serwerze: najczęstsze pytania
Czym jest vLLM?
vLLM to otwarty silnik do serwowania modeli językowych, rozwijany od 2023 roku i od 2025 roku należący do PyTorch Foundation. Dzięki technikom PagedAttention i continuous batching obsługuje wielu użytkowników jednocześnie z wysoką przepustowością i udostępnia API zgodne z OpenAI. Na nim opiera się większość zarządzanych usług inferencyjnych w chmurach publicznych.
vLLM czy Ollama: co wybrać?
Ollama sprawdza się do prototypu i na pojedynczym stanowisku: instaluje się w kilka minut i działa także na CPU i komputerach Mac. vLLM jest przeznaczony do obsługi wielu użytkowników naraz. W teście Red Hat na karcie A100 vLLM osiągnął 793 tokeny/s wobec 41 tokenów/s dla Ollamy.
Ile VRAM potrzebuje model LLM?
W precyzji FP8 ok. 1 GB na miliard parametrów, w kwantyzacji 4-bitowej ok. 0,55 GB, plus zapas na KV cache zależny od liczby użytkowników i długości kontekstu. Model 70B w FP8 zajmuje ok. 70 GB, więc do obsługi wielu użytkowników potrzebuje dwóch kart H100. Model 30B w 4-bit mieści się na jednej karcie 24–32 GB.
Ile kosztuje karta NVIDIA H100?
Nowa karta H100 SXM kosztuje ok. 35–40 tys. USD, a wersja PCIe ok. 25–30 tys. USD. Wynajem zaczyna się od ok. 2,99 USD za godzinę u dostawców specjalistycznych, takich jak OVHcloud. W AWS jednokartowa instancja p5.4xlarge kosztuje 6,88 USD za godzinę na żądanie.
Czy LLM można uruchomić na karcie RTX 5090?
Tak. Karta z 32 GB pamięci obsłuży modele do ok. 35 mld parametrów w kwantyzacji 4-bitowej, np. Qwen3.6-35B-A3B, Gemmę 4 26B MoE, Bielika 11B czy gpt-oss-20b, również przez vLLM. Ograniczeniem jest pojemność pamięci, brak ECC oraz licencja sterowników GeForce, która nie obejmuje wdrożeń w centrach danych.
Czy vLLM działa na kartach AMD?
Tak. vLLM obsługuje karty AMD przez ROCm, w tym MI300X (192 GB) i MI355X (288 GB). Wynajem kart AMD bywa tańszy, ale ekosystem optymalizacji pozostaje bogatszy dla kart NVIDIA, dlatego wydajność warto zmierzyć na własnym modelu.
Czy Amazon SageMaker używa vLLM?
Tak. Kontenery Large Model Inference w SageMaker AI są obecnie oparte na vLLM z poprawkami AWS. Usługa zarządzana kosztuje ok. 15–40% więcej niż ta sama instancja EC2, w zamian za autoskalowanie, monitoring i integrację z IAM.
Co to jest kwantyzacja LLM?
Kwantyzacja to zapis wag modelu z mniejszą precyzją, najczęściej 8 lub 4 bity zamiast 16. Zmniejsza zapotrzebowanie na pamięć dwu- lub czterokrotnie i przyspiesza generowanie. Zwykle obniża jakość w niewielkim stopniu, ale w zadaniach matematycznych, programistycznych i w języku polskim efekt należy sprawdzić testem.
Porozmawiajmy o Twoim wdrożeniu
Uruchomienie vLLM na jednej karcie zajmuje godzinę. Zbudowanie systemu, który przez lata obsłuży dziesiątki użytkowników, przejdzie audyt bezpieczeństwa i pozwoli bezpiecznie wymienić model na nowszy, to już projekt inżynierski. W nodif dobieramy model testem na Twoich danych, projektujemy infrastrukturę i stroimy silnik pod rzeczywisty profil ruchu. Kod, konfigurację i dokumentację przekazujemy klientowi.
Jeśli planujesz wdrożenie AI na własnej infrastrukturze, umów bezpłatną konsultację. Jeśli najpierw chcesz oszacować koszty i porównać warianty, zacznij od artykułu LLM on-premise w firmie: ile kosztuje i jak wygląda wdrożenie.
Źródła
- Kwon i in., Efficient Memory Management for Large Language Model Serving with PagedAttention, SOSP 2023
- vLLM, repozytorium i wydania; V1 engine; metryki; autoskalowanie z KEDA
- Red Hat, Ollama vs. vLLM: a deep dive into performance benchmarking, sierpień 2025
- Clarifai, Comparing SGLang, vLLM and TensorRT-LLM with gpt-oss-120b, sierpień 2025
- Cohorte, Self-hosted LLM cost vs API: break-even, wrzesień 2026
- CNCF, llm-d w CNCF, marzec 2026
- DeepSeek-AI, DeepSeek-V2 (MLA), 2024
- Hugging Face: Qwen3.5-397B-A17B, DeepSeek-V4-Pro, gpt-oss-120b
- SpeakLeash, Bielik-PL v3 i tokenizer APT4, kwiecień 2026
- Cenniki: AWS EC2 (Vantage), Google Cloud, Amazon Bedrock, Hetzner, RunPod, OVHcloud, IntuitionLabs, NVIDIA AI Enterprise
Ceny i wersje oprogramowania według stanu na listopad 2026 roku. Rynek GPU i modeli otwartych zmienia się co kilka tygodni, dlatego przed decyzją zakupową warto zweryfikować aktualne cenniki.
