Czyja jest wiedza, którą gromadzi wasza fabryka agentów?

Najcenniejszą częścią fabryki agentów nie jest model, tylko to, czego fabryka dowie się o waszej firmie. Instrukcje, które wasi ludzie poprawiali przez miesiące, zapis każdego przebiegu, oceny jakości, pamięć o tym, co zadziałało, a co nie. Jeśli to wszystko leży u dostawcy, w jego formacie i na jego warunkach, to nie macie fabryki. Wynajmujecie ją, a wasze know-how jest częścią umowy najmu.
Dlatego pytanie „który model jest najlepszy” waży dziś mniej niż pytanie „co zostanie u nas, gdy zmienimy dostawcę”. W pierwszej części tej serii pisaliśmy, że fabryka wyjdzie z IT do reszty firmy. Im szerzej się rozejdzie, tym więcej waży to pytanie.
Skąd bierze się problem
Dopóki agenci działają na laptopach pojedynczych osób, własność wygląda niewinnie. W praktyce obraz jest znajomy: każdy zespół instaluje inne narzędzie i daje mu szeroki dostęp. Instrukcje i podłączone narzędzia nie są nigdzie spisane. Rozmowy z agentami, czyli najdokładniejszy zapis tego, jak naprawdę pracują wasze zespoły, znikają po zamknięciu okna. Nie da się ocenić, czy praca z agentami się poprawia, bo nie ma z czego tego mierzyć.
Fabryka to porządkuje. Zbiera pracę agentów w jedną pętlę, z jednym zestawem uprawnień, z metrykami i pamięcią. I właśnie dlatego pytanie, gdzie ta pętla działa i do kogo należy, staje się decyzją zarządu, a nie wyborem narzędzia przez jeden zespół.
Co właściwie posiadacie, gdy macie fabrykę
Fabryka agentów to nie jeden program. To kilka warstw i każda może należeć do was albo do dostawcy.
| Warstwa | Co tracicie, jeśli trzyma ją dostawca | Minimum, które warto mieć u siebie |
|---|---|---|
| Definicja fabryki: etapy, agenci, wyzwalacze, reguły | Nie odtworzycie pętli gdzie indziej ani nie cofniecie złej zmiany | Definicja jako kod w waszym repozytorium, z historią |
| Instrukcje i umiejętności agentów | Miesiące poprawek, które wprowadziły wasze zespoły | Zwykłe pliki w waszym repozytorium, czytelne bez narzędzia dostawcy |
| Narzędzia i uprawnienia | Kontrolę nad tym, kto widzi wasze dane | Jeden rejestr uprawnień, którym zarządzacie wy |
| Pamięć i historia przebiegów | Najdokładniejszą dokumentację procesów, jaką kiedykolwiek będziecie mieć | Przechowywanie w waszej dzierżawie chmurowej albo serwerowni |
| Oceny i metryki | Możliwość porównania dostawców na własnych zadaniach | Własny zestaw zadań testowych i wyników |
| Model i środowisko uruchomieniowe | Swobodę zmiany, gdy zmieni się cena albo jakość | Wymiana modelu bez przepisywania instrukcji |
| Moc obliczeniowa | Kontrolę nad tym, gdzie przetwarzane są dane | Wybór: własna, chmura bez retencji albo mieszana |
Zwróćcie uwagę, że model jest blisko końca tabeli. Modele tanieją i zmieniają się co kilka miesięcy, a wycofanie modelu to zwykłe zdarzenie, o czym pisaliśmy w tekście dostawca wycofał model, co dalej z waszym systemem. Instrukcje, pamięć i oceny zyskują na wartości z każdym tygodniem pracy fabryki. Gdybyście mogli zabrać ze sobą tylko jedną warstwę, zabierzcie pamięć i instrukcje.
Trzy drogi i ich cena
Infografika
Kto trzyma wiedzę
Wynajęta
- Fabryka jako usługa: najszybszy start
- Definicja, pamięć i oceny zostają u dostawcy
- Dostosowanie kończy się tam, gdzie panel ustawień
Własna
- Otwarta infrastruktura w waszym środowisku
- Definicja, instrukcje, pamięć i dane w waszym repozytorium i dzierżawie
- Potrzebna wskazana osoba, która ją rozumie i prowadzi
Fabryka jako usługa. Kupujecie „wirtualnego członka zespołu”, który wykonuje pracę. Start jest najszybszy. Ceną jest to, że definicja pracy, pamięć i oceny zostają u dostawcy, a dostosowanie kończy się tam, gdzie kończy się panel ustawień.
Własna fabryka od zera. Zespół skleja skrypty, kolejki i wywołania modeli. Pierwszy agent działa po tygodniu. Cena przychodzi później: po pół roku najlepsi inżynierowie utrzymują hydraulikę zamiast produktu, a każdy nowy etap pętli to nowy projekt.
Otwarta infrastruktura w waszym środowisku. Dostawca daje warstwę sterowania: kolejkę pracy, panel, metryki, sposób uruchamiania agentów. Definicja fabryki, instrukcje, pamięć i dane zostają w waszym repozytorium i w waszej chmurze. Możecie używać kilku modeli, także otwartych, i porównywać je na własnych zadaniach. Ceną jest to, że ktoś u was musi tę infrastrukturę rozumieć i za nią odpowiadać.
Zanim podpiszecie którąkolwiek z trzech umów, zapytajcie, co dostaniecie przy wyjściu, w jakim formacie i jak długo to potrwa. To samo pytanie działa przy każdej aplikacji AI, zob. zanim ktoś zbuduje wam aplikację AI, ustalcie, czyja będzie, a w przypadku historii przebiegów: poproście dostawcę agenta o rejestr decyzji, a nie o pokaz.
Kiedy suwerenność staje się kosztownym hobby
Suwerenność można przedobrzyć i warto to powiedzieć wprost.
Firma, która zatrudnia osiemdziesiąt osób, nie potrzebuje własnych serwerów z kartami graficznymi, żeby jej fabryka agentów należała do niej. Zakup sprzętu „żeby dane nie wyjeżdżały”, gdy nikt nie potrafi go utrzymać, zwykle kończy się tym, że agenci działają na laptopach jak wcześniej, tylko drożej. Większości firm wystarczy, że definicje, instrukcje i pamięć są u nich, umowa z dostawcą modelu wyklucza trenowanie na ich danych i przechowywanie zapytań, a architektura pozwala w ciągu tygodnia przejść na inny model.
Druga pułapka to modele otwarte traktowane jako cel sam w sobie. Model otwarty bywa tańszy i da się go uruchomić u siebie, ale na części zadań będzie słabszy. Fabryka ma sens wtedy, gdy na każdym etapie można użyć modelu, który do niego pasuje: taniego do sortowania, mocnego do pisania opisów, a do recenzji tego, który najlepiej wypada na waszym własnym zestawie testowym. Ten zestaw buduje się najpierw — zestaw ewaluacyjny przed funkcją.
Jak to zmierzyć
Suwerenności nie mierzy się zdaniem w polityce bezpieczeństwa. Mierzy się ją kosztem wyjścia.
| Metryka próżności | Metryka wyniku |
|---|---|
| „Nasz dostawca spełnia wszystkie przepisy” | Liczba dni roboczych potrzebnych na przeniesienie fabryki do innego dostawcy modelu |
| Liczba modeli dostępnych w panelu | Odsetek zadań działających na modelach, które moglibyście uruchomić u siebie |
| „Wszystko mamy w chmurze” | Czy odtworzycie historię przebiegów z ostatniego kwartału bez konta u dostawcy |
Dobrą analogią jest warstwa danych. Otwarty format tabeli wybiera się dlatego, że można na nim oprzeć plan wyjścia, o czym pisaliśmy w tekście Apache Iceberg: format tabeli, na którym można oprzeć plan wyjścia. Pamięć fabryki zasługuje na to samo traktowanie co tabele firmy.
Nasza część
W strategii AI pomagamy zarządowi zdecydować, które warstwy muszą zostać w firmie, a które mogą bezpiecznie działać u dostawcy. Budujemy na chmurze, której już używacie, albo na stosie open source, który należy w całości do was, i powiemy wprost, kiedy wystarczy platforma, za którą już płacicie. Więcej o predictes na stronie głównej.
Test na poniedziałek
Zadajcie zespołom dwa pytania. Gdzie dziś leżą instrukcje, których używają z agentami, i gdzie zapisują się ich rozmowy? A potem drugie: gdybyśmy jutro musieli zmienić dostawcę modelu, co trzeba by napisać od nowa? Jeśli odpowiedź brzmi „wszystko”, to wasza fabryka, choćby dopiero raczkowała, już należy do kogoś innego.
Wybór łatwo nazwać i trudno podjąć. Możecie zbudować fabrykę szybko na cudzej infrastrukturze i zaakceptować, że wiedza o tym, jak pracuje wasza firma, będzie u dostawcy. Albo możecie budować ją trochę wolniej i zatrzymać tę wiedzę u siebie. Obie decyzje mają cenę. Gorzej, jeśli żadnej nie podejmiecie świadomie.
- fabryka agentów
- uzależnienie od dostawcy
- open source
- plan wyjścia
- agenci AI