Wdrożenia AI

Lokalne AI i LLM

Uruchamiamy lokalne modele językowe na serwerach firmy lub w jej prywatnej chmurze i budujemy na nich narzędzia dla zespołu i dedykowane oprogramowanie.

01

Dane zostają w firmie

model działa na serwerze firmy, bez przesyłania treści do dostawcy chmury

02

Bez opłat za token

firma płaci za utrzymanie serwerów, nie za użyte tokeny

03

Kod i konfiguracja

po wdrożeniu należą do firmy, bez opłat za użytkownika

01

Kiedy model powinien działać w firmie

  • Dokumenty, na których ma pracować AI, są objęte tajemnicą przedsiębiorstwa, umową o poufności albo zawierają dane medyczne lub dane szczególnych kategorii.
  • Polityka bezpieczeństwa firmy lub wymagania klienta wykluczają przesyłanie treści do dostawcy spoza organizacji, także z serwerami w UE.
  • Model ma przetwarzać duże wolumeny, na przykład tysiące stron dokumentacji miesięcznie, przy których koszt API rośnie szybciej niż koszt własnego serwera.
  • Pracownicy już korzystają z publicznych chatów i wklejają do nich dane firmy, a firma chce dać im bezpieczną alternatywę.

02

Czat i asystent na wiedzy firmy

Najczęściej zaczynamy od wewnętrznego czatu. Pracownicy korzystają z niego jak z ChatGPT, ale rozmowy i wklejane treści zostają na serwerze firmy. Czat działa w przeglądarce albo w komunikatorze, z którego firma już korzysta, na przykład w Microsoft Teams.

Czat można połączyć z dokumentami firmy: procedurami, instrukcjami stanowiskowymi, regulaminami, umowami i ofertami. Wtedy odpowiada na pytania pracowników na ich podstawie, z zachowaniem uprawnień, więc pracownik dostaje odpowiedzi tylko z plików, które i tak mógłby otworzyć. Każda odpowiedź wskazuje dokument i fragment, z którego pochodzi. Źródłem może być SharePoint, dysk sieciowy, Google Drive albo system obiegu dokumentów, a nowe wersje plików trafiają do indeksu automatycznie.

03

Jak przebiega wdrożenie

  1. Test na zadaniach firmyNa zadaniach i pytaniach, z którymi pracownicy naprawdę przychodzą, a przy asystencie także na próbce 20–50 dokumentów, sprawdzamy jakość odpowiedzi kilku modeli lokalnych.Wynik: porównanie modeli i rekomendacja sprzętu.
  2. Sprzęt i środowiskoDobieramy serwer z kartą graficzną albo instancję w chmurze prywatnej firmy i uruchamiamy model z kontrolą dostępu.Wynik: model dostępny dla aplikacji firmy przez wewnętrzny interfejs.
  3. Pilotaż z jednym działemWybrany zespół korzysta z czatu w codziennej pracy, a każda odpowiedź może zostać oceniona.Wynik: lista pytań bez dobrej odpowiedzi i poprawki w konfiguracji.
  4. Uruchomienie i przekazanieAsystent trafia do całej firmy, a zespół IT otrzymuje dokumentację i procedurę aktualizacji modelu.Wynik: działające narzędzie i wiedza o tym, jak je rozwijać.

04

Przykładowy scenariusz: dokumentacja techniczna w firmie serwisowej

Przykładowy zakres. Opis ilustruje typową sytuację i nie dotyczy konkretnego klienta.

Firma serwisująca maszyny przemysłowe ma kilka tysięcy stron dokumentacji producentów, własne procedury i historię napraw w zgłoszeniach. Technik w terenie dzwoni do biura, żeby zapytać o parametry albo o to, jak podobną usterkę rozwiązano wcześniej. Dokumentacja jest objęta umowami z producentami, więc nie może trafić do publicznego chatu.

Model lokalny działa na serwerze firmy. Technik pyta w telefonie o kod błędu i dostaje odpowiedź z fragmentem instrukcji i listą zgłoszeń, w których ten błąd się pojawił. Odpowiedzi z dokumentów producenta, do których technik nie ma uprawnień, nie są pokazywane. Biuro odbiera mniej telefonów, a nowi technicy szybciej zaczynają pracę samodzielnie.

05

Model w chmurze czy lokalny

KryteriumModel przez API dostawcyModel lokalny na serwerze firmy
Gdzie są daneprzesyłane do dostawcy na podstawie umowy powierzenianie opuszczają firmy
Jakość odpowiedzinajwyższa dostępna, bez własnej infrastrukturywystarczająca dla pytań z dokumentów i klasyfikacji, zależna od wielkości modelu
Kosztopłata za zużycie, rośnie z liczbą zapytańserwer z kartą graficzną lub instancja chmurowa, koszt stały
Utrzymaniepo stronie dostawcyaktualizacje modelu i serwera po stronie IT firmy, według dokumentacji
Dobry wybór, gdydane nie są objęte szczególną ochroną, a wolumen jest umiarkowanydane są poufne, wolumen duży albo polityka firmy wyklucza chmurę

Oba podejścia można łączyć: dokumenty poufne obsługuje model lokalny, a wiadomości od klientów agent korzystający z API. Sposób działania agentów AI opisujemy na osobnej stronie.

06

Co obejmuje wdrożenie

  • raport z testu modeli na zadaniach firmy i rekomendację sprzętu
  • model lokalny uruchomiony na serwerze firmy lub w jej chmurze prywatnej, z kontrolą dostępu
  • czat w przeglądarce lub w komunikatorze firmy, z oceną odpowiedzi przez użytkowników
  • połączenie z wybranymi źródłami dokumentów, z zachowaniem uprawnień i automatyczną aktualizacją indeksu
  • dziennik zapytań i odpowiedzi do celów audytu
  • dokumentację instalacji i procedurę aktualizacji modelu, kod po stronie firmy

07

Od czego zależy koszt

Cenę ustalamy po teście modeli i zapisujemy ją w ofercie razem z harmonogramem. Osobno podajemy koszt sprzętu lub instancji chmurowej, który firma ponosi bezpośrednio. Na koszt wdrożenia wpływają przede wszystkim:

  • zakres — wewnętrzny czat, asystent na dokumentach i klasyfikacja zgłoszeń to osobne elementy, wyceniane według potrzeb
  • liczba i rodzaj źródeł dokumentów — jeden dysk sieciowy to inny zakres niż SharePoint, system obiegu i poczta
  • uprawnienia — odwzorowanie grup i dostępów z Active Directory lub Microsoft 365 w indeksie
  • rodzaj zadań — pytania do dokumentów, odczyt dokumentów albo klasyfikacja zgłoszeń wymagają osobnych testów
  • sprzęt — model może działać na istniejącym serwerze z kartą graficzną albo wymagać nowego

08

Najczęstsze pytania o lokalne AI

Czy model lokalny jest wystarczająco dobry?

Do pytań z dokumentów, streszczeń, klasyfikacji i odczytu dokumentów zwykle tak. Różnicę wobec największych modeli widać przy złożonym rozumowaniu, dlatego przed wdrożeniem porównujemy kilka modeli na pytaniach i dokumentach firmy i pokazujemy wynik.

Jaki sprzęt jest potrzebny?

Dla kilkudziesięciu użytkowników wystarcza serwer z jedną kartą graficzną klasy profesjonalnej albo instancja z GPU w chmurze prywatnej firmy. Rekomendację sprzętu podajemy po teście, bo zależy od wybranego modelu i liczby jednoczesnych zapytań.

Czy asystent widzi wszystkie dokumenty firmy?

Nie. Indeks przechowuje informację o uprawnieniach do każdego dokumentu, a odpowiedź powstaje tylko z plików dostępnych dla osoby, która pyta. Dokumenty można też wyłączyć z indeksu w całości.

Czy model uczy się na danych firmy?

Nie. Model nie jest trenowany na rozmowach ani dokumentach firmy. Odpowiada na podstawie treści rozmowy i fragmentów dokumentów wyszukanych w chwili zadania pytania, więc nowy dokument jest dostępny od razu po zaindeksowaniu, a usunięty przestaje być widoczny.

Kto utrzymuje model po wdrożeniu?

Zespół IT firmy, według przekazanej dokumentacji i procedury aktualizacji. Nie oferujemy abonamentu za utrzymanie. Kolejne prace, na przykład nowe źródło dokumentów, wyceniamy jako osobne zlecenie.

Autor
Kacper Matelski, założyciel nodif
Kacper MatelskiSoftware Engineer, założyciel nodif

Software Engineer z ponad 6 letnim doświadczeniem w budowaniu systemów dla OZE, e-commerce, produkcji, lotnictwa i B2B. Od projektowania aż do finalnego wdrożenia i utrzymania. Współzałożyciel produktu SaaS dla firm produkcyjnych.

Profil na LinkedIn

Co dalej

Skontaktuj się z nami

Napisz, co chcesz zbudować lub usprawnić: aplikację, stronę, automatyzację czy oprogramowanie dla firmy.

Wysyłając formularz, zgadzasz się na przetwarzanie danych w celu odpowiedzi na zapytanie. Szczegóły w polityce prywatności.