Mariusz Tober

buduję z modelami językowymi

Mierzę, zanim uwierzę

Projektuję i buduję aplikacje oparte na modelach językowych: bramy do wielu dostawców, lokalną inferencję na własnym sprzęcie, potoki z agentami, którzy piszą kod pod nadzorem testów.

Interesuje mnie to, co dzieje się pod maską: ile parametrów naprawdę ma model, ile kosztuje każdy bit kwantyzacji, dlaczego ten sam kod na CPU bywa cztery razy wolniejszy.

Aplikacje LLM
od prototypu po wdrożenie na serwerze klienta
Agenci
orkiestracja, odbiór pracy tylko po dowodzie
Inferencja
llama.cpp, vLLM, kwantyzacja, GPU w chmurze
Infrastruktura
Docker, Caddy, LiteLLM, Azure, RunPod

Jak działa model

Interaktywna anatomia modeli językowych: gdzie leżą wagi, którędy biegnie token, ilu ekspertów wybiera router. Trzynaście modeli, od kilku miliardów do 2,4 biliona parametrów. Sumy są sprawdzone co do parametru z nagłówkami plików wag.

Obok laboratorium kwantyzacji: co dzieje się z liczbą, gdy z 16 bitów zostają 4.

Notatki z warsztatu

  1. Test, który nie przytakuje kodowi: niezależna wyrocznia i polska liczba mnoga
  2. Jak naprawdę wykorzystać GPU do inferencji LLM
  3. LFM3: małe modele AI do zadań na telefonie i laptopie
  4. Meldunek agenta nie jest dowodem: bramka odbioru dla robotników AI
  5. Jak policzyć parametry modelu 2,4 bln, nie pobierając ani jednej wagi

Porozmawiajmy

Masz aplikację, w którą chcesz wpiąć model językowy, albo model, który działa za wolno lub za drogo? Napisz, opowiem, jak bym to zmierzył.