Czyja jest wiedza, którą gromadzi wasza fabryka agentów?

Najcenniejszą częścią fabryki agentów nie jest model, tylko to, czego fabryka dowie się o waszej firmie. Instrukcje, które wasi ludzie poprawiali przez miesiące, zapis każdego przebiegu, oceny jakości, pamięć o tym, co zadziałało, a co nie. Jeśli to wszystko leży u dostawcy, w jego formacie i na jego warunkach, to nie macie fabryki. Wynajmujecie ją, a wasze know-how jest częścią umowy najmu.

Dlatego pytanie „który model jest najlepszy” waży dziś mniej niż pytanie „co zostanie u nas, gdy zmienimy dostawcę”. W pierwszej części tej serii pisaliśmy, że fabryka wyjdzie z IT do reszty firmy. Im szerzej się rozejdzie, tym więcej waży to pytanie.

Skąd bierze się problem

Dopóki agenci działają na laptopach pojedynczych osób, własność wygląda niewinnie. W praktyce obraz jest znajomy: każdy zespół instaluje inne narzędzie i daje mu szeroki dostęp. Instrukcje i podłączone narzędzia nie są nigdzie spisane. Rozmowy z agentami, czyli najdokładniejszy zapis tego, jak naprawdę pracują wasze zespoły, znikają po zamknięciu okna. Nie da się ocenić, czy praca z agentami się poprawia, bo nie ma z czego tego mierzyć.

Fabryka to porządkuje. Zbiera pracę agentów w jedną pętlę, z jednym zestawem uprawnień, z metrykami i pamięcią. I właśnie dlatego pytanie, gdzie ta pętla działa i do kogo należy, staje się decyzją zarządu, a nie wyborem narzędzia przez jeden zespół.

Co właściwie posiadacie, gdy macie fabrykę

Fabryka agentów to nie jeden program. To kilka warstw i każda może należeć do was albo do dostawcy.

WarstwaCo tracicie, jeśli trzyma ją dostawcaMinimum, które warto mieć u siebie
Definicja fabryki: etapy, agenci, wyzwalacze, regułyNie odtworzycie pętli gdzie indziej ani nie cofniecie złej zmianyDefinicja jako kod w waszym repozytorium, z historią
Instrukcje i umiejętności agentówMiesiące poprawek, które wprowadziły wasze zespołyZwykłe pliki w waszym repozytorium, czytelne bez narzędzia dostawcy
Narzędzia i uprawnieniaKontrolę nad tym, kto widzi wasze daneJeden rejestr uprawnień, którym zarządzacie wy
Pamięć i historia przebiegówNajdokładniejszą dokumentację procesów, jaką kiedykolwiek będziecie miećPrzechowywanie w waszej dzierżawie chmurowej albo serwerowni
Oceny i metrykiMożliwość porównania dostawców na własnych zadaniachWłasny zestaw zadań testowych i wyników
Model i środowisko uruchomienioweSwobodę zmiany, gdy zmieni się cena albo jakośćWymiana modelu bez przepisywania instrukcji
Moc obliczeniowaKontrolę nad tym, gdzie przetwarzane są daneWybór: własna, chmura bez retencji albo mieszana

Zwróćcie uwagę, że model jest blisko końca tabeli. Modele tanieją i zmieniają się co kilka miesięcy, a wycofanie modelu to zwykłe zdarzenie, o czym pisaliśmy w tekście dostawca wycofał model, co dalej z waszym systemem. Instrukcje, pamięć i oceny zyskują na wartości z każdym tygodniem pracy fabryki. Gdybyście mogli zabrać ze sobą tylko jedną warstwę, zabierzcie pamięć i instrukcje.

Trzy drogi i ich cena

Infografika

Kto trzyma wiedzę

Wynajęta

  • Fabryka jako usługa: najszybszy start
  • Definicja, pamięć i oceny zostają u dostawcy
  • Dostosowanie kończy się tam, gdzie panel ustawień

Własna

  • Otwarta infrastruktura w waszym środowisku
  • Definicja, instrukcje, pamięć i dane w waszym repozytorium i dzierżawie
  • Potrzebna wskazana osoba, która ją rozumie i prowadzi
Trzecia droga, budowa wszystkiego od zera, też jest własna, ale płaci się za nią hydrauliką.

Fabryka jako usługa. Kupujecie „wirtualnego członka zespołu”, który wykonuje pracę. Start jest najszybszy. Ceną jest to, że definicja pracy, pamięć i oceny zostają u dostawcy, a dostosowanie kończy się tam, gdzie kończy się panel ustawień.

Własna fabryka od zera. Zespół skleja skrypty, kolejki i wywołania modeli. Pierwszy agent działa po tygodniu. Cena przychodzi później: po pół roku najlepsi inżynierowie utrzymują hydraulikę zamiast produktu, a każdy nowy etap pętli to nowy projekt.

Otwarta infrastruktura w waszym środowisku. Dostawca daje warstwę sterowania: kolejkę pracy, panel, metryki, sposób uruchamiania agentów. Definicja fabryki, instrukcje, pamięć i dane zostają w waszym repozytorium i w waszej chmurze. Możecie używać kilku modeli, także otwartych, i porównywać je na własnych zadaniach. Ceną jest to, że ktoś u was musi tę infrastrukturę rozumieć i za nią odpowiadać.

Zanim podpiszecie którąkolwiek z trzech umów, zapytajcie, co dostaniecie przy wyjściu, w jakim formacie i jak długo to potrwa. To samo pytanie działa przy każdej aplikacji AI, zob. zanim ktoś zbuduje wam aplikację AI, ustalcie, czyja będzie, a w przypadku historii przebiegów: poproście dostawcę agenta o rejestr decyzji, a nie o pokaz.

Kiedy suwerenność staje się kosztownym hobby

Suwerenność można przedobrzyć i warto to powiedzieć wprost.

Firma, która zatrudnia osiemdziesiąt osób, nie potrzebuje własnych serwerów z kartami graficznymi, żeby jej fabryka agentów należała do niej. Zakup sprzętu „żeby dane nie wyjeżdżały”, gdy nikt nie potrafi go utrzymać, zwykle kończy się tym, że agenci działają na laptopach jak wcześniej, tylko drożej. Większości firm wystarczy, że definicje, instrukcje i pamięć są u nich, umowa z dostawcą modelu wyklucza trenowanie na ich danych i przechowywanie zapytań, a architektura pozwala w ciągu tygodnia przejść na inny model.

Druga pułapka to modele otwarte traktowane jako cel sam w sobie. Model otwarty bywa tańszy i da się go uruchomić u siebie, ale na części zadań będzie słabszy. Fabryka ma sens wtedy, gdy na każdym etapie można użyć modelu, który do niego pasuje: taniego do sortowania, mocnego do pisania opisów, a do recenzji tego, który najlepiej wypada na waszym własnym zestawie testowym. Ten zestaw buduje się najpierw — zestaw ewaluacyjny przed funkcją.

Jak to zmierzyć

Suwerenności nie mierzy się zdaniem w polityce bezpieczeństwa. Mierzy się ją kosztem wyjścia.

Metryka próżnościMetryka wyniku
„Nasz dostawca spełnia wszystkie przepisy”Liczba dni roboczych potrzebnych na przeniesienie fabryki do innego dostawcy modelu
Liczba modeli dostępnych w paneluOdsetek zadań działających na modelach, które moglibyście uruchomić u siebie
„Wszystko mamy w chmurze”Czy odtworzycie historię przebiegów z ostatniego kwartału bez konta u dostawcy

Dobrą analogią jest warstwa danych. Otwarty format tabeli wybiera się dlatego, że można na nim oprzeć plan wyjścia, o czym pisaliśmy w tekście Apache Iceberg: format tabeli, na którym można oprzeć plan wyjścia. Pamięć fabryki zasługuje na to samo traktowanie co tabele firmy.

Nasza część

W strategii AI pomagamy zarządowi zdecydować, które warstwy muszą zostać w firmie, a które mogą bezpiecznie działać u dostawcy. Budujemy na chmurze, której już używacie, albo na stosie open source, który należy w całości do was, i powiemy wprost, kiedy wystarczy platforma, za którą już płacicie. Więcej o predictes na stronie głównej.

Test na poniedziałek

Zadajcie zespołom dwa pytania. Gdzie dziś leżą instrukcje, których używają z agentami, i gdzie zapisują się ich rozmowy? A potem drugie: gdybyśmy jutro musieli zmienić dostawcę modelu, co trzeba by napisać od nowa? Jeśli odpowiedź brzmi „wszystko”, to wasza fabryka, choćby dopiero raczkowała, już należy do kogoś innego.

Wybór łatwo nazwać i trudno podjąć. Możecie zbudować fabrykę szybko na cudzej infrastrukturze i zaakceptować, że wiedza o tym, jak pracuje wasza firma, będzie u dostawcy. Albo możecie budować ją trochę wolniej i zatrzymać tę wiedzę u siebie. Obie decyzje mają cenę. Gorzej, jeśli żadnej nie podejmiecie świadomie.