LFM3: małe modele AI do zadań na telefonie i laptopie

Szukając małego modelu językowego, który można uruchomić bezpośrednio na telefonie, laptopie albo mini-PC, trafiłem na rodzinę LFM3 od Liquid AI, wydaną na początku listopada 2026 roku.

Najciekawszy jest dla mnie LFM3-1.7B. To model na tyle mały, że w czterobitowej kwantyzacji zajmuje około 1 GB pamięci, a jednocześnie producent pokazuje bardzo dobre wyniki w wykonywaniu instrukcji i wywoływaniu narzędzi.

Moim zdaniem po odpowiednim zawężeniu zadania można tu uzyskać użyteczność na poziomie kojarzonym z GPT-4.1, ale tylko w konkretnej specjalizacji. Nie chodzi o zastąpienie dużego modelu w programowaniu czy wieloetapowym rozumowaniu. Chodzi o klasyfikację, wyciąganie danych, wywołania funkcji albo obsługę prostych poleceń.

Nie mam jeszcze własnych pomiarów jakości tekstowego LFM3-1.7B. Mam natomiast doświadczenia z poprzednią generacją oraz pierwszy eksperyment z dostrajaniem nowego modelu do rozpoznawania polskiej mowy.

Model bazowy: LFM3-1.7B na Hugging Face.

Co jest ciekawego w LFM3?

Rodzina obejmuje sześć modeli opartych na wspólnym szkielecie. Oprócz wersji tekstowej są warianty obsługujące obraz i wideo, dźwięk, model łączący te możliwości oraz modele decyzyjne, które zamiast generować tekst zwracają odpowiedzi z prawdopodobieństwami.

Najważniejsza jest jednak architektura.

LFM3 korzysta z rozwiązania nazwanego przez producenta tri-hybrid. Zamiast budować wszystkie warstwy na klasycznym mechanizmie uwagi, łączy trzy podejścia: krótkie sploty, uwagę lokalną i uwagę globalną.

Większość pracy wykonują tańsze obliczeniowo sploty oraz uwaga lokalna. Dzięki temu model ogranicza koszt obsługi długiego kontekstu, szczególnie pamięć potrzebną na KV cache.

To istotne na telefonie, gdzie pamięć i pobór energii są równie ważne jak sama szybkość generowania.

Model obsługuje również polski, długi kontekst i wywołania narzędzi. Dostępne są formaty pozwalające uruchamiać go między innymi przez llama.cpp, MLX i ONNX.

Benchmarki wyglądają dobrze, ale nie wszędzie

Według wyników opublikowanych przez producenta LFM3-1.7B w części zadań związanych z wykonywaniem instrukcji, korzystaniem z narzędzi i obsługą stron internetowych wyprzedza znacznie większe modele Qwen3.5.

To interesujące, bo właśnie takie zadania widzę jako naturalne zastosowanie małego modelu działającego lokalnie.

Są jednak istotne ograniczenia.

W testach wiedzy ogólnej LFM3 wypada wyraźnie słabiej. Gorzej radzi sobie również z wykorzystaniem bardzo długiego kontekstu. Do zastosowań wymagających wiedzy zewnętrznej prawdopodobnie potrzebny będzie RAG.

Ciekawy jest też wynik dotyczący halucynacji. Model bardzo rzadko podaje nieprawdziwe odpowiedzi, ale w dużej mierze dlatego, że częściej odmawia odpowiedzi. Jego faktyczna trafność w pytaniach o wiedzę pozostaje niska.

Nie należy więc mylić ostrożności z wiedzą.

Producent deklaruje również znaczną przewagę szybkości na urządzeniach brzegowych. Tych wyników nie zweryfikowałem jeszcze na nowej generacji.

Czego nauczyły mnie testy na telefonie?

Wcześniej testowałem LFM2.5-2.6B na telefonie ze Snapdragonem i akceleratorem Hexagon NPU.

Wyniki pokazały ciekawą asymetrię.

NPU przetwarzał prompt około 24 razy szybciej niż CPU, ale generował kolejne tokeny wolniej.

Dlatego sprawdziłem rozwiązanie hybrydowe: NPU analizuje wejście, a CPU generuje odpowiedź. Takie połączenie okazało się szybsze od wykonywania całego zadania na jednym procesorze.

Pojawił się jednak problem związany z architekturą splotową. Model przechowuje stan rekurencyjny. Jeśli NPU wygeneruje choć jeden token, nie da się po prostu cofnąć tego stanu i kontynuować pracy na CPU. Trzeba ponownie przeliczyć prompt.

To ważna pułapka przy projektowaniu własnego mechanizmu inferencji.

Na laptopie z grafiką Intela poprzednia generacja również działała sprawnie, także przy dłuższym kontekście.

Sama szybkość nie oznacza jednak, że model nadaje się do każdego zadania.

Kiedy użyłem LFM2.5 bez trybu myślenia jako agenta sterującego telefonem, nie wykonał żadnego z ośmiu zadań. Potrafił zapętlić się na próbach uruchomienia nieistniejącego pakietu. Większy Qwen3.5-4B poradził sobie z częścią zadań.

Z kolei przy proponowaniu odpowiedzi na powiadomienia mały model działał szybko, ale zdarzało mu się wymyślać terminy.

To utwierdziło mnie w przekonaniu, że takie modele warto wykorzystywać do dobrze określonych czynności, a nie jako uniwersalnych agentów.

Pierwsze dostrajanie LFM3

Nową generację sprawdziłem już w praktyce, choć nie w wersji tekstowej.

Wziąłem LFM3-Omni-2B i dostroiłem go metodą LoRA do rozpoznawania polskiej mowy. Wystarczyła jedna karta RTX 3060 z 12 GB pamięci i około dwóch godzin treningu.

Wyniki okazały się mieszane.

Na krótkich poleceniach błąd rozpoznawania spadł o około 15%. Na nagraniach studyjnych również uzyskałem poprawę. Na VoxPopuli wynik praktycznie się nie zmienił.

Za to na zdaniach z Wikipedii jakość wyraźnie się pogorszyła.

Przyczyna okazała się dość prozaiczna: styl transkrypcji w danych treningowych. Znaczna część przykładów miała liczby zapisane słownie i tekst małymi literami. Model przejął ten sposób zapisu, co pogorszyło wynik na zdaniach z Wikipedii.

Uruchomiłem drugi trening na oczyszczonych danych. Na razie nie mam jego wyników.

Ten eksperyment pokazuje, że mały model można stosunkowo tanio dostroić do konkretnego zastosowania, ale nawet pozornie drobne cechy danych treningowych mają znaczenie.

Czy warto się zainteresować?

Moim zdaniem tak, szczególnie jeśli szukamy lokalnego modelu do powtarzalnych, wyspecjalizowanych zadań.

LFM3 ma ciekawą architekturę, niewielkie wymagania pamięciowe i obiecujące wyniki w obsłudze instrukcji oraz narzędzi. Dostępne warianty obejmują też mowę i obraz.

Trzeba jednak pamiętać o ograniczeniach jakościowych i licencji. LFM Open License v1.0 nie jest licencją open source w rozumieniu OSI. Komercyjne wykorzystanie jest ograniczone do podmiotów z rocznym przychodem poniżej 10 mln USD, z wyjątkiem określonych zastosowań niekomercyjnych i badawczych organizacji non-profit.

Najważniejsza lekcja z moich dotychczasowych eksperymentów jest prosta: nie wystarczy wybrać modelu z dobrym benchmarkiem. Trzeba sprawdzić go na docelowym sprzęcie, z rzeczywistymi danymi i dokładnie takim zadaniem, jakie ma wykonywać.

LFM3-1.7B wygląda na dobrego kandydata. Czy rzeczywiście sprawdzi się na telefonie lepiej od poprzedniej generacji, pokażą dopiero własne pomiary.