Czym jest LLM i jak działa duży model językowy?

ChatGPT, Claude, Gemini czy Llama wyglądają jak różne produkty, ale pod spodem działa w nich ta sama klasa technologii: duży model językowy. Warto rozumieć, jak taki model pracuje, bo od tego zależy, czego możesz się po nim spodziewać, skąd biorą się jego błędy i dlaczego to samo pytanie potrafi dać dwie różne odpowiedzi.

Czym jest LLM i czym różni się od ChatGPT?

LLM (large language model, duży model językowy) to model, czyli program zapisany jako ogromny zbiór liczb (tzw. parametrów), który nauczył się wzorców języka z bardzo dużej ilości tekstu. Dostaje tekst na wejściu i zwraca tekst na wyjściu. To wszystko, co robi sam model.

Często myli się go z produktem, w którym go użyto, więc warto rozdzielić te pojęcia:

Czyli ChatGPT to aplikacja, a LLM to silnik, który w niej pracuje. Ten sam model można podłączyć do wyszukiwarki, edytora kodu albo własnego programu.

Jak działa LLM? Przewidywanie kolejnego tokenu

Model nie czyta tekstu słowami, tylko tokenami (tokens): fragmentami słów, całymi krótkimi słowami albo znakami interpunkcyjnymi. Jego zadanie sprowadza się do jednego pytania: jaki token jest najbardziej prawdopodobny po tym, co już jest w tekście? Odpowiedź dopisuje do tekstu i pyta ponownie, aż skończy.

Mechanizm da się pokazać na maleńkim przykładzie. To nie jest LLM, tylko jego skrajne uproszczenie: model, który liczy, jakie słowo najczęściej następuje po danym słowie w krótkim tekście, a potem losuje kontynuację według tych proporcji.

import random
from collections import Counter, defaultdict

text = (
    "kot siedzi na dachu . kot pije mleko . pies siedzi na dywanie . "
    "pies pije wodę . kot śpi na dywanie ."
)
words = text.split()

# Zliczamy, jakie słowo najczęściej następuje po danym słowie
next_words = defaultdict(Counter)
for current, following in zip(words, words[1:]):
    next_words[current][following] += 1

print(next_words["kot"])  # rozkład możliwych kontynuacji po "kot"


def generate(start: str, length: int, seed: int) -> str:
    rng = random.Random(seed)
    result = [start]
    for _ in range(length):
        counter = next_words[result[-1]]
        choices, weights = zip(*counter.items())
        result.append(rng.choices(choices, weights=weights)[0])
    return " ".join(result)


print(generate("kot", 6, seed=1))
print(generate("kot", 6, seed=2))

Uruchomiony kod daje rozkład Counter({'siedzi': 1, 'pije': 1, 'śpi': 1}), a dwie próby z różnym ziarnem losowania dają różne zdania: kot siedzi na dywanie . kot pije oraz kot śpi na dachu . pies pije. Zwróć uwagę na dwie rzeczy. Po pierwsze, ten sam początek prowadzi do różnych tekstów, bo wybór jest losowany z prawdopodobieństw. Po drugie, model nie ma pojęcia, czy kot naprawdę może spać na dywanie: zna tylko to, co widział w tekście.

Prawdziwy LLM robi to samo w zasadzie, ale zamiast liczyć pary słów, ocenia prawdopodobieństwo następnego tokenu na podstawie całego dotychczasowego kontekstu, używając sieci neuronowej o architekturze transformer (opisanej w 2017 roku w pracy „Attention Is All You Need”). Mechanizm uwagi pozwala modelowi ważyć, które wcześniejsze fragmenty tekstu są istotne dla kolejnego tokenu.

Co to jest temperatura i dlaczego ta sama odpowiedź bywa różna?

Model za każdym razem wylicza prawdopodobieństwa dla możliwych następnych tokenów, ale to, który z nich zostanie wybrany, zależy od ustawień próbkowania. Najważniejsze z nich to temperatura (temperature):

Niska temperatura nie oznacza, że model jest pewny. Oznacza tylko, że mniej losuje. Błędna odpowiedź przy temperaturze zero będzie błędna za każdym razem.

Co to jest okno kontekstu i dlaczego model „nie pamięta”?

LLM nie przechowuje rozmowy między wywołaniami. Przy każdym zapytaniu dostaje cały potrzebny tekst od nowa: instrukcję, dotychczasową historię rozmowy i Twoje pytanie. Maksymalna ilość tekstu (liczona w tokenach), jaką model może przetworzyć naraz, to okno kontekstu (context window). Wlicza się do niego zarówno to, co wysyłasz, jak i to, co model odpowiada.

Ma to praktyczne skutki:

• po przekroczeniu okna model zwraca błąd albo „zapomina” początek rozmowy,
• im dłuższa historia, tym więcej tokenów wysyłasz i tym drożej za każde kolejne zapytanie,
• „pamięć” w aplikacjach typu ChatGPT to zwykle dopisywanie wcześniejszych wiadomości do kolejnego zapytania, a nie zapamiętywanie przez model.

Jak policzyć tokeny, skąd bierze się błąd „maximum context length” i ile to kosztuje, pokazujemy w artykule o API OpenAI w Pythonie: tokeny, kontekst i koszty.

Jak trenuje się LLM?

Duży model językowy powstaje w kilku etapach, a każdy z nich zmienia jego zachowanie:

Z tego wynika ważna rzecz: wiedza modelu pochodzi z danych treningowych i kończy się na pewnej dacie. O wydarzeniach i bibliotekach nowszych niż ta data model nic nie wie, chyba że dostanie je w prompcie lub przez narzędzie, na przykład wyszukiwarkę.

Ile kosztuje wytrenowanie LLM i jaki ślad zostawia?

Rozmowy o LLM zwykle kończą się na tym, co model potrafi. Rzadziej pada pytanie, ile kosztuje jego powstanie i działanie. Poniższe liczby to szacunki badaczy z publikacji naukowych i raportów, a nie dane z rachunków firm, dlatego traktuj je jako rząd wielkości, nie jako dokładną cenę.

Ile kosztuje wytrenowanie jednego dużego modelu?

To koszt samej mocy obliczeniowej dla ostatniego przebiegu treningu. Nie obejmuje pensji badaczy, danych, eksperymentów ani nieudanych podejść. Autorzy modelu OPT-175B zaznaczają na przykład, że ich własny szacunek emisji z uwzględnieniem eksperymentów porównawczych i przestojów jest około dwa razy wyższy od podanej liczby.

Ważniejszy od pojedynczej kwoty jest kierunek. Według analizy Epoch AI szacowany koszt sprzętu i energii potrzebnych do treningu największych modeli rośnie od 2016 roku średnio około 2,4 raza rocznie (przedział 95%: od 2,0 do 3,1). Autorzy analizy przewidują, że jeśli ten trend się utrzyma, do 2027 roku najdroższe treningi mogą przekroczyć miliard dolarów. To prognoza, nie fakt, ale pokazuje, dlaczego największe modele budują dziś głównie firmy, które mogą sobie na to pozwolić.

Czy trenowanie zawsze kończy się powodzeniem?

Nie. Trening dużego modelu to trwający tygodnie lub miesiące proces na tysiącach kart graficznych i nie zawsze przebiega gładko. Dobrze udokumentowany przykład to model OPT-175B, który Meta trenowała na 992 kartach A100. Autorzy opisali, że w ciągu około dwóch miesięcy awarie sprzętu wymusiły co najmniej 35 ręcznych restartów i wymianę ponad 100 maszyn, a do tego doszło szacunkowo ponad 70 restartów automatycznych. Osobny problem to rozbieżność funkcji straty (loss divergence): wartość, którą trening ma stale zmniejszać, nagle rosła i uczenie wymagało cofnięcia się do wcześniejszego zapisu postępu (checkpoint), obniżenia tempa uczenia i ponownego startu. Zespół opublikował nawet dziennik całego procesu.

Przekłada się to na koszt: każdy stracony dzień na tysiącach kart jest płatny, a podana wcześniej kwota dotyczy udanego przebiegu, nie wszystkich prób, które do niego doprowadziły.

Ile energii zużywa trening i działanie LLM?

Przykład, który udało się zmierzyć, dotyczy GPT-3. Według pracy Patterson i współautorów (2021) jego trening pochłonął ok. 1287 MWh energii, co przy średnim miksie energetycznym USA odpowiada ok. 552 tonom ekwiwalentu CO₂. To szacunek zależny od tego, z jakiego źródła pochodzi prąd: ta sama praca wskazuje, że udział energii bezemisyjnej, a więc i emisje, potrafią różnić się w zależności od lokalizacji około 5 do 10 razy.

Trening to jednorazowy koszt, ale modele działają potem miliony razy dziennie. Międzynarodowa Agencja Energetyczna (IEA) szacuje, że centra danych zużyły w 2024 roku około 415 TWh, czyli ok. 1,5% światowej energii elektrycznej, i że do 2030 roku zużycie może wzrosnąć do ok. 945 TWh, prawie 3% całości. Serwery nastawione na AI odpowiadały za ok. 15% energii zużywanej przez centra danych w 2024 roku. Dla uczciwości dodajmy: według IEA centra danych odpowiadają za około jedną dziesiątą wzrostu światowego popytu na prąd do 2030 roku, czyli za mniej niż na przykład klimatyzacja czy napędy przemysłowe. Problem jest realny, ale nie jedyny i nie największy.

Ile wody słodkiej jest na świecie i ile z niej zużywamy?

Same litry niewiele mówią, dopóki nie wiadomo, ile wody jest na Ziemi i ile się jej nadaje do użycia. Wody jest dużo, ale prawie cała jest słona. Według amerykańskiej służby geologicznej (USGS) oceany i morza to ok. 96,5% całej wody na Ziemi. Do picia, nawadniania pól i chłodzenia serwerów potrzebna jest woda słodka, której jest ok. 2,5% całości (odsalanie wody morskiej jest możliwe, ale energochłonne i drogie). I to nie koniec, bo większość tej słodkiej jest poza zasięgiem:

Ta łatwo dostępna część, czyli jeziora i rzeki, to więc mniej niż 0,3% wody słodkiej i ułamek promila wody na Ziemi. Z takich zasobów, a także z wód podziemnych, ludzkość pobiera rocznie około 4000 km³ wody słodkiej (dane Organizacji Narodów Zjednoczonych do spraw Wyżywienia i Rolnictwa, FAO, z okolic 2010 roku). Około 69% idzie na rolnictwo, ok. 19% na przemysł, a tylko ok. 12% na potrzeby komunalne, czyli m.in. na wodę w kranach.

Ile wody zużywa LLM?

O wodzie pamięta się najrzadziej. Serwery trzeba chłodzić, a w wielu centrach danych robi się to przez odparowywanie wody, ponadto sama produkcja prądu też zużywa wodę. Autorzy pracy „Making AI Less Thirsty” (Li i współautorzy, 2023) oszacowali, że trening GPT-3 w centrach danych Microsoftu w USA mógł bezpośrednio odparować ok. 700 tys. litrów czystej wody, a po doliczeniu wody zużytej przy wytwarzaniu prądu około 5,4 mln litrów. Szacują też, że na „butelkę” wody (0,5 litra) przypada od około 10 do 50 odpowiedzi średniej długości, zależnie od miejsca i pory dnia. Te liczby dotyczą konkretnego, starszego modelu i konkretnej infrastruktury, więc nie przenoś ich 1:1 na dzisiejsze modele, ale pokazują rząd wielkości i to, że zasób bywa liczony w milionach litrów.

W skali całego świata AI nie jest dziś głównym odbiorcą wody. Ci sami autorzy szacują, że globalne zapotrzebowanie AI na wodę może w 2027 roku sięgnąć 4,2–6,6 mld m³, czyli 4,2–6,6 km³ rocznie. Przy ok. 4000 km³ rocznego poboru wody słodkiej przez ludzkość daje to rząd 0,1–0,2%, a rolnictwo pobiera setki razy więcej (to porównanie szacunku na 2027 rok z danymi sprzed kilkunastu lat, więc traktuj je orientacyjnie). Problem jest więc przede wszystkim lokalny: ta sama praca modelu zużywa różne ilości wody zależnie od klimatu, pory dnia i tego, skąd centrum danych bierze wodę. Autorzy szacują, że trening GPT-3 w mniej efektywnym centrum danych w Azji mógłby pochłonąć nawet około trzy razy więcej wody niż w USA.

Jak sobie wyobrazić te liczby?

Miliony dolarów i megawatogodziny trudno sobie wyobrazić, więc zestawmy je z rzeczami znanymi z Polski (dolary przeliczone po kursie NBP z 5 listopada 2026, ok. 3,91 zł):

Te zestawienia pokazują dwie rzeczy naraz. Po pierwsze, w skali gospodarki pojedynczy trening to niewiele: nawet miliard dolarów to ok. jedna tysięczna polskiego PKB za 2025 rok (ok. 3,9 bln zł), a energia na trening GPT-3 to tyle, ile zużywa osiedle kilkuset rodzin. Po drugie, niepokojące jest tempo i suma: koszty rosną kilka razy w ciągu roku, a zużycie prądu przez wszystkie centra danych razem jest już ponad dwa razy większe niż zużycie całej Polski i według prognoz IEA ma się do 2030 roku jeszcze więcej niż podwoić.

Co z tego wynika dla programisty?

Ślad energetyczny i wodny nie jest abstrakcją, bo składa się z decyzji, które podejmujesz w kodzie: ile tokenów wysyłasz, jak często wywołujesz model i czy do danego zadania naprawdę potrzebny jest największy model. Mniejszy model do prostego zadania, krótszy prompt, cache powtarzalnych odpowiedzi i limit kroków agenta obniżają jednocześnie rachunek i zużycie zasobów. Jak liczyć tokeny i koszty, pokazujemy w artykule o API OpenAI w Pythonie, a jak uruchomić mniejszy model u siebie w tekście o Ollamie w Pythonie.

Dlaczego LLM zmyśla i czy da się to naprawić?

Model nie sprawdza faktów. Generuje tekst, który statystycznie pasuje do kontekstu, więc czasem wygeneruje coś płynnego i przekonującego, ale nieprawdziwego. Zjawisko nazywa się halucynacją (hallucination). Dobrze widać je w kodzie: model proponuje funkcję lub bibliotekę, która brzmi wiarygodnie, a nie istnieje.

Kilka rzeczy, które nie rozwiązują problemu, choć kuszą:

• Wyższa pewność w tonie odpowiedzi. Styl modelu nie mówi nic o poprawności treści.
• Pytanie „czy jesteś pewien?”. Model może potwierdzić błąd tak samo gładko, jak go popełnił.
• Przykłady w prompcie. Pomagają w formacie i stylu, ale nie dodają modelowi wiedzy, której nie ma.

To, co realnie pomaga, to dostarczenie modelowi źródeł (technika RAG, czyli wyszukiwanie dokumentów i dołączanie ich do zapytania), sprawdzanie wyniku narzędziami (testy, kompilator, wyszukiwanie pakietu) oraz weryfikacja w drugim źródle. Szczegóły dla kodu opisujemy w artykule o halucynacjach AI w kodzie, a o RAG w artykule o bazach wektorowych i RAG w Pythonie.

Do czego służy LLM, a do czego się nie nadaje?

Jeśli model ma nie tylko odpowiadać, ale też wykonywać akcje (szukać, odczytywać pliki, wywoływać API), staje się częścią agenta. Czym to się różni od samego LLM, wyjaśniamy w artykule Czym są agenty AI.

Jakie są rodzaje i przykłady modeli?

Modele różnią się tym, kto je udostępnia i gdzie mogą działać:

Konkretne wersje i ceny zmieniają się szybko, więc zamiast ich zapamiętywać, naucz się porównywać modele po kryteriach: jakość na Twoim zadaniu, koszt za token, rozmiar okna kontekstu, opóźnienie i gdzie trafiają dane. Jak uruchomić model u siebie, pokazujemy w artykule o Ollamie w Pythonie, a jak przełączać się między modelami w chmurze i lokalnymi w artykule o LiteLLM jako bramce do modeli.

Jak zacząć pracę z LLM jako programista?

Najpierw wywołaj model z kodu, dopiero potem sięgaj po frameworki. Sensowna kolejność:

1. Wywołanie API, tokeny, kontekst i koszt. Zacznij od API OpenAI w Pythonie.
2. Testy kodu z modelem. Odpowiedzi modelu są niedeterministyczne, więc naucz się je izolować w testach: testowanie kodu z API LLM w pytest.
3. Narzędzia i agenci. Gdy model ma coś robić, a nie tylko odpowiadać: czym są agenty AI.
4. Praca z AI przy własnym kodzie. Jak formułować zadania i weryfikować wyniki: prompty do kodu.

Całą tę drogę, od integracji z modelem po systemy agentowe, przechodzisz na ścieżce AI Engineer.

Jak samodzielnie sprawdzić, że temperatura 0 nie oznacza pewności?

To ćwiczenie zajmie kilka minut i pokazuje różnicę lepiej niż każda definicja. Wywołaj ten sam model przez API z identycznym promptem, na przykład „Podaj nazwę funkcji z biblioteki standardowej Pythona, która sortuje listę słowników po kluczu”, i zmieniaj tylko parametr temperature:

1. Wyślij prompt trzy razy z temperaturą 0 i zapisz odpowiedzi.
2. Wyślij ten sam prompt trzy razy z wyższą temperaturą, na przykład 1, i zapisz odpowiedzi.
3. Porównaj obie serie: przy niskiej temperaturze odpowiedzi powinny być do siebie bardzo podobne, przy wysokiej bardziej zróżnicowane.
4. Dla każdej odpowiedzi sprawdź w dokumentacji, czy wskazana funkcja istnieje i robi to, co model twierdzi.

Wniosek z kroku 3 dotyczy powtarzalności, a z kroku 4 poprawności, i to są dwie różne rzeczy. Model może za każdym razem zwracać tę samą, błędną odpowiedź. Dlatego temperatura 0 jest dobrym ustawieniem do kodu i wyciągania danych, ale nie zastępuje sprawdzania wyniku.

Jakie nieporozumienie mentor widzi najczęściej?

Najczęstsze nieporozumienie osób zaczynających pracę z modelami to traktowanie LLM jak wyszukiwarki faktów. Pada wtedy pytanie „skąd to wiesz?”, w nadziei, że model wskaże źródło i sprawę rozstrzygnie. To niczego nie sprawdza, bo model wygeneruje wiarygodnie brzmiące uzasadnienie dokładnie tak, jak wygenerował samą odpowiedź. Jeśli coś ma znaczenie, sprawdź to w dokumentacji, w kodzie albo w testach, a nie w kolejnej odpowiedzi modelu.

Najczęstsze pytania o LLM

Czy LLM to to samo co sztuczna inteligencja?

Nie. Sztuczna inteligencja to szeroka dziedzina, która obejmuje wiele podejść, a LLM jest jednym z nich: modelem uczenia maszynowego wyspecjalizowanym w tekście. Nie każda AI jest LLM-em, na przykład modele rozpoznające obrazy działają inaczej.

Czy LLM rozumie tekst?

Zachowuje się tak, jakby rozumiał, bo uczył się na ogromnej ilości tekstu i potrafi wykorzystać kontekst. Technicznie jednak przewiduje kolejne tokeny, a nie weryfikuje prawdy. Dlatego jego odpowiedzi trzeba sprawdzać, szczególnie fakty i kod.

Czy LLM uczy się z moich rozmów?

Sam model w trakcie rozmowy się nie uczy: jego parametry się nie zmieniają. To, że „pamięta” wcześniejsze wiadomości, wynika z tego, że historia jest dołączana do kolejnego zapytania. To, czy dostawca używa rozmów do dalszego treningu, zależy od jego zasad i ustawień konta, więc warto je sprawdzić, zanim wkleisz poufne dane.

Ile parametrów ma LLM i czy więcej znaczy lepiej?

Duże modele mają miliardy parametrów lub więcej, a rozmiar zwykle poprawia jakość, ale nie jest jedynym czynnikiem. Liczą się też dane, sposób treningu i dostrajanie, więc mniejszy, dobrze dostrojony model bywa lepszy w wąskim zadaniu niż większy, ogólny.

Ile energii i wody zużywa LLM?

Dużo, choć dokładne liczby zależą od modelu i miejsca. Szacuje się, że trening GPT-3 pochłonął ok. 1287 MWh energii i mógł odparować setki tysięcy litrów wody tylko na chłodzenie, a centra danych zużywają łącznie ok. 1,5% światowej energii elektrycznej (dane za 2024 rok). Szczegóły i źródła są w sekcji o kosztach wytrenowania LLM.

Czy LLM zastąpi programistów?

Przejmuje część pracy, ale nie zdejmuje odpowiedzialności za wynik. Szerzej piszemy o tym w artykule Czy AI zastąpi programistów, czy tylko zmieni ich pracę.