Systemy AI się nie wywalają. One dryfują

Każdy zespół utrzymania wie, co robić, gdy usługa staje. Jest alert, runbook, dyżur i przegląd po incydencie. Cała ta dyscyplina jest zbudowana wokół rzeczy psujących się głośno.

Systemy AI w większości tak nie zawodzą. Stoją, odpowiadają szybko, zwracają ładnie sformatowane odpowiedzi i stopniowo stają się mniej trafne. Nie ma momentu, na który można zaalarmować — dlatego średni czas wykrycia w systemach, które prosi się nas przejąć, mierzy się w tygodniach.

Cztery sposoby, w jakie jakość odchodzi bez alertu

Zmienił się korpus. Dokumenty doszły, zostały zaktualizowane albo wycofane, a system pewnie odpowiada z materiału, który nie odzwierciedla już sposobu działania firmy.

Dostawca coś zmienił. Wersja modelu została wycofana, zmieniło się ustawienie domyślne, przesunęło zachowanie przy odmowach. Kontrakt API jest ten sam; zachowanie nie.

Zmieniły się pytania. Użytkownicy nauczyli się, w czym system jest dobry, albo nowy zespół zaczął go używać do czegoś sąsiedniego. System się nie pogorszył — pogorszył się rozkład, a efekt jest identyczny.

Ktoś zrobił małą zmianę. Poprawka promptu naprawiająca jedną reklamację, wypuszczona w piątek, która czterdzieści innych przypadków lekko pogorszyła. Bez zestawu ewaluacyjnego jest to niewykrywalne, dopóki ktoś nie zauważy wzorca.

Jak zamiast tego musi wyglądać monitoring

Wydzielony zestaw ewaluacyjny oceniany ciągle. Te same przypadki, codziennie, z zapisaną oceną. To jedyny wiarygodny wczesny sygnał i kosztuje bardzo mało.

Wyszukiwanie oceniane osobno od odpowiedzi. Większość degradacji dzieje się w wyszukiwaniu, a ocena od końca do końca mówi Wam, że coś jest nie tak, nie mówiąc która połowa.

Sygnały behawioralne z rzeczywistego użycia. Rosnąca liczba odmów, rosnąca liczba poprawek użytkowników, zmieniająca się długość odpowiedzi, spadające przejścia do cytowanych źródeł. Każdy z osobna jest zaszumiony; razem ruszają się przed reklamacjami.

Alerty o ruchu, a nie o progach. Spadek o pięć punktów w tydzień znaczy więcej niż wartość bezwzględna, bo wartość bezwzględna zależy od zestawu ewaluacyjnego, a ruch nie.

Koszt i opóźnienia obok jakości. Ruszają się razem częściej, niż zespoły się spodziewają, a nagły spadek kosztu bywa incydentem jakościowym w przyjemnym przebraniu.

Reakcja na incydent wygląda tu inaczej

Gdy klasyczna usługa się psuje, przywracacie ją. Gdy system AI się myli, pierwszym działaniem nie jest naprawa — jest zmniejszenie tego, co robi bez nadzoru, na czas dochodzenia.

Zawęźcie zakres, skierujcie więcej przypadków do człowieka, wróćcie do poprzedniego promptu albo wersji modelu. Tanie, odwracalne i zatrzymuje krwawienie na czas diagnozy. Systemy zaprojektowane bez tej ścieżki ograniczenia zostawiają zespół utrzymania z dwiema opcjami, obiema złymi: zostawić działający i mylący się albo wyłączyć całkowicie.

Pytanie warte zadania dzisiaj

Gdyby Wasz system AI zaczął się mylić dziś po południu, skąd byście się dowiedzieli i po jakim czasie?

Jeśli uczciwą odpowiedzią jest reklamacja użytkownika, czas wykrycia równa się temu, ile trzeba, żeby dotknęło to dostatecznie wielu ludzi i jeden z nich to eskalował. W większości organizacji to tygodnie — a odpowiedzi były błędne dla wszystkich z nich.

Zamknięcie tej luki jest sensem utrzymania systemów AI — i dlatego pierwszą rzeczą, którą robimy przy przejmowaniu systemu, jest zbudowanie zestawu ewaluacyjnego, nawet gdy system jest cudzy i już działa.