Lokalna AI w firmie i RAG. Jak działa i kiedy ma sens

Zacznijmy od niewygodnej prawdy

W większości firm, które obsługuję, ktoś już używa ChatGPT. Księgowa wkleja do niego pismo z urzędu, bo chce je szybciej zrozumieć. Handlowiec prosi o poprawienie oferty. Asystentka tłumaczy maila od niemieckiego kontrahenta.

Każda z tych osób robi to w dobrej wierze. I każda z nich właśnie wysłała firmowe dane na serwery zagranicznej korporacji. Pismo z urzędu zawierało NIP i dane sprawy. Oferta zawierała ceny i marże. Mail od kontrahenta zawierał warunki kontraktu.

Nie piszę tego, żeby straszyć. Piszę, bo to się dzieje codziennie i zwykle nikt w firmie o tym nie wie. Zakazywanie niewiele daje, bo narzędzie jest po prostu zbyt użyteczne. Sensowna odpowiedź brzmi inaczej: dać pracownikom to samo narzędzie, ale takie, które działa wewnątrz firmy.

Co to jest lokalna AI?

Lokalna sztuczna inteligencja to model językowy, czyli ta sama klasa technologii co ChatGPT, tylko zainstalowany na komputerze lub serwerze w Twojej firmie. Rozmowa z nim wygląda identycznie: piszesz pytanie po polsku, dostajesz odpowiedź po polsku.

Różnica jest jedna, ale zasadnicza. Nic nie opuszcza budynku. Pytania, odpowiedzi i dokumenty zostają na Twoim sprzęcie. System działa nawet po odłączeniu internetu. Możesz to spokojnie pokazać audytorowi RODO, prawnikowi i niemieckiemu kontrahentowi, który pyta o ochronę danych.

Jeszcze kilka lat temu takie rozwiązania wymagały sprzętu za setki tysięcy złotych. Dziś dobrze dobrana stacja robocza klasy biznesowej wystarcza, żeby obsłużyć małą i średnią firmę. To otworzyło drzwi, które wcześniej były zamknięte dla wszystkich poza korporacjami.

Co to jest RAG? Wyjaśniam bez informatycznego żargonu

Sam model AI, nawet najlepszy, ma jedną wadę: nie zna Twojej firmy. Nie wie, co jest w umowie z klientem X, jaka jest Wasza procedura reklamacji ani co ustaliliście z dostawcą w marcu.

I tu wchodzi RAG. Skrót pochodzi z angielskiego, ale mechanizm jest prosty do wyobrażenia:

To trochę tak, jakby nowy, bardzo bystry pracownik dostał od Ciebie segregator z właściwymi dokumentami i polecenie: odpowiadaj tylko na podstawie tego, co tu jest, i zawsze podawaj stronę, z której cytujesz. Nie zgaduje, nie opowiada ogólników z internetu. Odpowiada z Waszych dokumentów i można go w każdej chwili sprawdzić.

Mapa: jak to działa w praktyce

Cały obieg wygląda tak:

Zwróć uwagę na ramkę wokół mapy. To nie jest ozdoba. To granica firmy. W rozwiązaniu chmurowym ta ramka nie istnieje, a dokumenty i pytania krążą po serwerach, nad którymi nie masz żadnej kontroli.

Co firma realnie z tego ma?

Trzy rzeczy, które widzę u klientów najczęściej:

• Czas. Pytania w stylu „jaki mamy okres wypowiedzenia w umowie z tym klientem", „gdzie jest procedura na tę reklamację", „co ustaliliśmy z tym dostawcą" przestają oznaczać pół godziny szukania. Odpowiedź przychodzi w kilkanaście sekund, ze wskazaniem dokumentu.
• Bezpieczny asystent. Pisanie maili i ofert, streszczanie długich pism, tłumaczenia polsko niemieckie. To, do czego pracownicy dziś używają ChatGPT, tylko bez wysyłania danych na zewnątrz.
• Wiedza, która nie odchodzi z ludźmi. Gdy doświadczony pracownik odchodzi, jego następca ma do dyspozycji bazę wiedzy zamiast pustego biurka i hasła „jakoś to będzie".

Policzmy to na chłodno: ile kosztuje szukanie informacji

Deklaracje o oszczędności czasu łatwo rzucać, dlatego policzmy to na konkretnych, ostrożnych założeniach. Możesz podstawić własne liczby i sprawdzić wynik dla swojej firmy.

Założenia do rachunku:

• Czas na szukanie informacji: 30 minut dziennie na pracownika biurowego. To założenie celowo ostrożne. Analizy pracy biurowej, między innymi McKinsey Global Institute, mówią o 1,5 do 2 godzin dziennie spędzanych na szukaniu i zbieraniu informacji. Liczymy czterokrotnie mniej.
• Pełny koszt godziny pracy: 45 zł. Przy pensji około 6 000 zł brutto pełny koszt pracodawcy to około 7 200 zł miesięcznie, czyli przy 168 godzinach pracy około 43 zł za godzinę. Zaokrąglamy do 45 zł.
• 21 dni roboczych w miesiącu, 12 miesięcy w roku.

Rachunek dla jednego pracownika: 0,5 godziny razy 21 dni razy 12 miesięcy daje 126 godzin rocznie. Razy 45 zł to 5 670 zł rocznie na jedną osobę. Tyle firma płaci za samo szukanie, zanim ktokolwiek zacznie produktywnie pracować z tym, co znalazł.

Zwróć uwagę na ostatnią kolumnę. Nie zakładam, że AI odzyska cały ten czas, bo nie odzyska. Część pytań i tak wymaga człowieka, część dokumentów trzeba przeczytać w całości. Liczymy odzyskanie połowy czasu szukania i nawet przy tak ostrożnym założeniu firma 10-osobowa zostawia na stole prawie 30 tysięcy złotych rocznie.

A ile kosztuje droga chmurowa?

Alternatywą jest wykupienie firmowych abonamentów na chmurową AI. Plany biznesowe popularnych usług kosztują w przeliczeniu około 100 do 120 zł miesięcznie za użytkownika. Dla 10 pracowników to od 12 000 do 14 400 zł rocznie, czyli 36 000 do 43 200 zł w trzy lata. Płacone bez końca, z cennikiem, na który nie masz wpływu.

I najważniejsze: po trzech latach płacenia ten system nadal nie zna Twoich dokumentów, a wszystko, co wpisują pracownicy, dalej wychodzi poza firmę. Lokalne wdrożenie to koszt jednorazowy, po którym system należy do Ciebie, zna Twoją firmę i pracuje bez opłat licencyjnych za każde stanowisko.

Koszt, o którym nikt nie myśli: wiedza wychodząca za drzwi

Badania kadrowe, między innymi amerykańskiego SHRM, szacują koszt zastąpienia doświadczonego pracownika na 6 do 9 jego miesięcznych pensji: rekrutacja, wdrożenie, błędy nowej osoby i miesiące dochodzenia do pełnej wydajności. Przy pensji 7 000 zł brutto to 42 000 do 63 000 zł.

Duża część tego kosztu to nie brak rąk do pracy, tylko utrata wiedzy: ustaleń z klientami, historii spraw, powodów, dla których coś zrobiono tak, a nie inaczej. Baza wiedzy nie zatrzyma pracownika, ale sprawia, że jego wiedza zostaje w firmie i następca nie zaczyna od zera.

Ryzyko RODO to nie teoria

Kary za naruszenia RODO sięgają 20 milionów euro lub 4 procent rocznego obrotu. Prezes UODO nakładał już w Polsce kary liczone w milionach złotych. Wystarczy, że jeden pracownik wklei dane osobowe klienta do publicznego chatbota, a firma ma incydent, który formalnie należy ocenić i często zgłosić.

Nie piszę tego, żeby straszyć karą przy każdym wpisanym zdaniu. Piszę, bo zakaz używania AI nie działa, a lokalna AI rozwiązuje problem u źródła: pracownicy dostają narzędzie, z którego mogą korzystać bez ryzyka, bo dane fizycznie nie opuszczają firmy.

Dla porządku, rachunek działa też w drugą stronę. Firma 2-osobowa traci na szukaniu około 11 300 zł rocznie, odzyska może połowę. Przy takim wolumenie zwrot z pełnego wdrożenia zajmie kilka lat i uczciwie mówiąc, są lepsze sposoby na wydanie tych pieniędzy. Dlatego na konsultacji najpierw liczymy, a dopiero potem decydujemy.

Dwa przykłady z praktyki, z liczbami

Kiedy to ma sens, a kiedy nie

Będę szczery, bo na tym buduję zaufanie klientów: lokalna AI nie jest dla każdego.

Ma sens, jeśli w Twojej firmie występuje przynajmniej jedno z poniższych:

• Pracownicy regularnie szukają informacji w dokumentach, umowach, procedurach albo starej korespondencji
• Pracujecie z danymi poufnymi: dane klientów, dokumentacja medyczna, sprawy prawne, kontrakty
• Współpracujecie z rynkiem niemieckim i tłumaczenia zjadają czas
• Wiedza firmy siedzi w głowach dwóch, trzech osób i wszyscy o tym wiedzą
• Pracownicy już używają ChatGPT po cichu, a Ty wolisz mieć to pod kontrolą

Nie ma sensu, jeśli:

• Firma ma garść dokumentów i jedną osobę, która wszystko pamięta
• Oczekujesz, że AI będzie liczyć faktury albo prowadzić magazyn. Od tego są programy księgowe i ERP, nie modele językowe
• Szukasz zabawki na pokaz, a nie narzędzia do pracy

A co z jakością? Czy AI nie zmyśla?

Modele językowe potrafią zmyślać, to fakt. Dlatego poważne wdrożenie różni się od zabawy na laptopie trzema rzeczami.

Po pierwsze, system odpowiada wyłącznie na podstawie dokumentów i jest tak skonfigurowany, żeby przyznać, że czegoś nie wie, zamiast wymyślać. Po drugie, każda odpowiedź zawiera źródło, więc pracownik może ją w sekundę zweryfikować. Po trzecie, jakość systemu testuje się przed oddaniem na prawdziwych pytaniach z firmy, a nie na obietnicach.

Osobna sprawa to jakość samych dokumentów. Skany bez warstwy tekstowej, zdublowane wersje plików i bałagan w folderach potrafią zepsuć każdy system. Dlatego przygotowanie i uporządkowanie dokumentów to fundament wdrożenia, a nie nudny dodatek. Z mojego doświadczenia to właśnie ten etap odróżnia wdrożenia, które działają, od tych, które się porzuca po miesiącu.

Pytania, które warto zadać przed wdrożeniem

Niezależnie od tego, komu zlecisz taki projekt, zadaj wykonawcy te pytania. Odpowiedzi szybko odsieją amatorów:

1. Gdzie fizycznie będą przetwarzane moje dane? Jedyna dobra odpowiedź: na sprzęcie w Twojej firmie. Jeśli w odpowiedzi pada słowo chmura, to nie jest lokalna AI.
2. Czy licencje pozwalają na użytek komercyjny? Poproś o potwierdzenie w dokumentacji wdrożenia. To ważne przy audytach.
3. Jak zostanie zmierzona jakość odpowiedzi? Profesjonalista testuje system na prawdziwych pytaniach z Twojej firmy przed oddaniem i pokazuje wyniki.
4. Co z dokumentami, które są skanami? Wykonawca powinien mieć na to sprawdzony proces, bo skany to codzienność każdej polskiej firmy.
5. Co się stanie, gdy zakończymy współpracę? System i sprzęt powinny należeć do Ciebie i działać dalej, a Ty powinieneś dostać dokumentację. Uzależnianie klienta od siebie to czerwona flaga.
6. Czego ten system nie zrobi? Jeśli wykonawca nie umie wymienić ograniczeń, to znaczy, że sprzedaje marzenia, a nie narzędzie.

Podsumowanie

Sztuczna inteligencja w firmach przestała być tematem z konferencji i stała się codziennym narzędziem. Pytanie nie brzmi już, czy pracownicy będą z niej korzystać, bo już korzystają. Pytanie brzmi, czy będą to robić bezpiecznie i czy firma zamieni to w realną oszczędność czasu.

Lokalna AI z bazą wiedzy z dokumentów odpowiada na oba te pytania jednocześnie: daje zespołowi nowoczesne narzędzie i trzyma dane tam, gdzie ich miejsce. W firmie.