Uzasadnienie agenta to koszt zadania, a nie procent autonomii

Większość propozycji agentów zaczyna się od procentu: jaki odsetek spraw agent obsłuży bez człowieka. To atrakcyjna liczba, łatwo ją postawić na slajdzie i jest niewłaściwą podstawą do finansowania.

Agent, który większość spraw rozwiązuje sam, ale produkuje eskalacje, na które nikt nie umie szybko zareagować, może kosztować więcej niż proces, który zastąpił. Agent, który bez obsługi załatwia mniej, ale każde zatwierdzenie zamienia w dziesięciosekundowe sprawdzenie, może się zwracać bez trudu. Różnicy nie widać w procencie autonomii, a w koszcie zakończonego zadania widać ją od razu.

Ile naprawdę kosztuje zakończone zadanie

Zadanie jest zakończone, gdy wynik jest poprawny i nikt nie musi do niego wracać. Policzenie kosztu dojścia do tego oznacza policzenie czegoś więcej niż modelu.

Moc obliczeniowa i model. Widoczne, opomiarowane i łatwe do prognozy. Rzadko to tutaj wygrywa się albo przegrywa uzasadnienie.

Czas zatwierdzania. Wszystko nieodwracalne — wychodzące pieniądze, kontakt z klientem, zaciągnięte zobowiązanie — przechodzi przez człowieka. Czas tego potwierdzenia pomnożony przez wolumen łatwo może okazać się największą pozycją w rachunku, a zależy prawie wyłącznie od projektu.

Eskalacje. Sprawy, których agent nie rozstrzygnie, wracają do ludzi. Dobra eskalacja przychodzi z zebranymi dowodami i rekomendacją; zła przychodzi jako sprawa do zaczęcia od zera plus rejestr, który trzeba najpierw przeczytać.

Błędy wykryte później. Koszt pomyłki zależy od tego, gdzie się ją odkryje. Błąd złapany przy zatwierdzaniu kosztuje sekundy. Znaleziony przez klienta kosztuje znacznie więcej — w pieniądzach i w zaufaniu. Miejsce, w którym błędy są wyłapywane, jest więc decyzją projektową, a nie kwestią szczęścia.

Utrzymanie. Narzędzia i integracje działające mimo zmian w systemach dookoła, aktualny zestaw ewaluacyjny, rejestry decyzji, które ktoś naprawdę czyta. To koszt stały, a nie projektowy, i ktoś musi za niego odpowiadać, gdy zespół projektowy pójdzie dalej. Czas tej osoby też należy do rachunku.

Infografika

Z czego składa się koszt zakończonego zadania

1. 01Model i obliczeniaWidoczne na fakturze i najłatwiejsze do prognozy.
2. 02Czas zatwierdzaniaMinuty człowieka potwierdzającego każde działanie wychodzące.
3. 03Obsługa eskalacjiSprawy oddane ludziom i to, z czym zostały oddane.
4. 04Poprawianie błędówPomyłki wykryte później, łącznie z tymi, które znalazł klient.
5. 05UtrzymanieNarzędzia, integracje i zestaw ewaluacyjny nadążające za zmianami.

Porównajcie z dniem dzisiejszym, uczciwie

Druga połowa uzasadnienia to dzisiejszy koszt tego samego zadania: ile trwa, kto je wykonuje, jak często jest poprawiane i jak długo sprawy czekają w kolejce. Jeśli nikt nie zna tego z jakąkolwiek precyzją, kilka tygodni pomiaru przed budową warto zrobić choćby dla samej tej wiedzy.

Wtedy porównanie mieści się w zdaniu zrozumiałym dla każdego członka zarządu. Dziś sprawa kosztuje tyle i trwa tyle; z agentem, łącznie z zatwierdzeniami, eskalacjami i poprawkami, kosztuje tyle i trwa tyle; oto założenia.

Policzcie też kolejkę. Sprawa, która na człowieka czeka dwa dni, a na agenta kilka minut, ma wartość niewidoczną w czasie obsługi: klient dostaje odpowiedź wcześniej, faktura zostaje rozliczona wcześniej, dostawca dostaje zapłatę na czas. Jeśli to część argumentu, powiedzcie to wprost i postawcie obok założenie.

Kto powinien uzgodnić tę liczbę

Zanim cokolwiek powstanie, uzasadnienie powinny uzgodnić trzy osoby: właściciel procesu, którego zespół będzie zatwierdzał działania i obsługiwał eskalacje; finanse, które będą rozliczać koszt zadania; i właściciel systemów, na których agent będzie działał, bo od nich zależą narzędzia. Jeśli brakuje którejkolwiek z nich, o uzasadnienie spiera się ponownie po uruchomieniu — kiedy zmiana kosztuje więcej.

Jak wygląda dobry wynik

Nie sam rosnący procent autonomii. Dobry pierwszy rok wygląda raczej tak: koszt zakończonego zadania spada, czas zatwierdzenia jednej sprawy jest krótki i stabilny, eskalacje przychodzą gotowe do decyzji, poziom błędów jest zmierzony, a nie szacowany, a rejestr decyzji ktoś naprawdę czyta. Żadna z tych miar nie wymaga specjalnych narzędzi; wymaga tego, żeby ktoś je zbierał od pierwszego dnia.

Autonomia jest tego skutkiem. Granice poszerza się po jednej klasie działań, gdy pozwalają na to dowody z poprzedniego kroku — a każde poszerzenie jest decyzją z nazwanym właścicielem, a nie dryfem.

Pułapka, której warto uniknąć

Wolne zatwierdzanie staje się zatwierdzaniem pomijanym. Jeśli potwierdzenie działania trwa tyle, co jego wykonanie, ludzie zaczynają potwierdzać bez czytania, a bramka istnieje tylko na papierze. Uzasadnienie, które nie przewiduje szybkiego, dobrze zaprojektowanego sprawdzania, wycenia zabezpieczenie, które nie zadziała.

Tak samo jest z eskalacjami. Jeśli w niczyim tygodniu nie ma na nie miejsca, ustawiają się w kolejce, a kolejka po cichu staje się nowym procesem.

Jak do tego podchodzimy

W inżynierii agentów AI koszt i czas na zadanie są częścią obserwowalności budowanej od początku, zatwierdzanie projektujemy tak, żeby sprawdzanie było szybkie, a granice poszerzamy tylko wtedy, gdy pozwalają na to dowody.