Oprogramowanie się wywala. Systemy AI po prostu zaczynają się mylić

Klasyczny monitoring pilnuje rzeczy, które przestają działać. System AI rzadko przestaje — dryfuje, gorzej wyszukuje, odpowiada wiarygodnie i po cichu myli się przez trzy tygodnie, zanim ktoś zauważy. Prowadzenie takich systemów to inna dyscyplina niż prowadzenie oprogramowania i część, na którą większość projektów nie ma planu.

  • Obserwowana jakość, nie tylko dostępność. Jakość odpowiedzi, trafność wyszukiwania i poziom odmów śledzone ciągle, z alertami o ruchu, a nie o awarii.
  • Czasy reakcji, do których można nas przypiąć. Według priorytetu, ze ścieżkami eskalacji i wskazanym inżynierem znającym Wasze wdrożenie, a nie kolejką.
  • Koszt pod kontrolą. Na funkcję i na użytkownika, z anomaliami wyłapywanymi w dni, a nie na fakturze.
  • Malejąca współpraca. Dokumentacja i wspólna praca, żeby Wasz zespół przejmował rutynę, z poziomem wsparcia malejącym według spisanego harmonogramu.
Porozmawiajmy o tym

Co przekazujemy

  • Monitoring jakości

    Stale oceniany zestaw ewaluacyjny, jakość wyszukiwania śledzona osobno od jakości odpowiedzi i alerty o dryfie. Rdzeń tej usługi i to, co odróżnia ją od hostingu.

  • Proces incydentu dla cichej awarii

    Priorytet zdefiniowany biznesowo, pierwsza reakcja zawężająca autonomię systemu na czas dochodzenia i spisany zapis po fakcie.

  • Cykl życia modeli

    Wycofania u dostawców, zmiany wersji i zmiany promptów testowane na Waszym zestawie ewaluacyjnym, zanim do Was dotrą — a nie po tym, jak użytkownik zgłosi coś dziwnego.

  • Zarządzanie kosztem

    Przypisanie na funkcję, kierowanie ruchu i cache przeglądane regularnie oraz miesięczna notatka wyjaśniająca każdy ruch prostym językiem.

  • Operacje na danych i retencja

    Ponowne indeksowanie, odświeżanie osadzeń, egzekwowanie retencji i kontrole utrzymujące korpus w uczciwym stanie, gdy Wasze dokumenty się zmieniają.

  • Raport, który ktoś czyta

    Jedna strona miesięcznie: co się zmieniło, co się zepsuło, ile kosztowało i co rekomendujemy. Nie pulpit, którego nikt nie otwiera.

Jak to przebiega

  1. 01

    Przejąć porządnie

    Udokumentowane przekazanie z zestawem ewaluacyjnym, runbookami i dostępami. Jeśli tego nie ma, najpierw to budujemy i mówimy o tym z góry.

  2. 02

    Zmierzyć punkt wyjścia

    Obecna jakość, koszt i opóźnienia zmierzone, zanim cokolwiek zmienimy, żeby poprawa była do wykazania, a nie do zadeklarowania.

  3. 03

    Prowadzić i raportować

    Monitoring, incydenty, aktualizacje i miesięczna notatka. Nudne z założenia, bo to jest cały cel.

  4. 04

    Zmniejszać

    Przekazywanie rutynowych operacji Waszemu zespołowi według uzgodnionego harmonogramu. Jeśli poziom nie maleje, ktoś z nas nie wykonuje swojej pracy.

Dobre dopasowanie, gdy

  • System AI działa na produkcji i nikt nie obserwuje jego jakości.
  • Zespół, który go zbudował, poszedł dalej albo był zewnętrzny i już go nie ma.
  • Koszty są nieprzewidywalne i nikt nie umie ich przypisać.
  • Potrzebujecie SLA na system AI z powodów wewnętrznych albo klienckich.

To nie ta usługa, gdy

  • Chcecie samego hostingu infrastruktury. Dostawca chmury zrobi to lepiej i taniej.
  • System nie ma zestawu ewaluacyjnego, a Wy nie chcecie go budować. Bez niego monitorowanie jakości nie jest możliwe i sprzedawalibyśmy Wam jego pozór.
  • Chcecie gwarancji, że model nigdy się nie pomyli. Nikt tego nie obieca, a dostawca, który obiecuje, opisuje coś innego.

Najczęstsze pytania

Co konkretnie jest w SLA?
Czasy reakcji według priorytetu, ścieżki eskalacji, wskazany inżynier, okna serwisowe i zdefiniowany zakres monitorowania jakości. Uczciwie nie da się obiecać naprawy w określonym czasie dla dowolnego defektu ani tego, że model nigdy się nie pomyli.
Jak wykrywacie, że model się pogarsza?
Wydzielonym zestawem ewaluacyjnym ocenianym ciągle, trafnością wyszukiwania śledzoną osobno oraz sygnałami z rzeczywistego użycia: rosnącą liczbą odmów, rosnącą liczbą poprawek, zmianą długości odpowiedzi. Każdy z osobna jest zaszumiony; razem łapią dryf, zanim zgłosi go użytkownik.
Czy potrzebujecie dostępu do naszych danych produkcyjnych?
Jak najmniejszego. Zwykle metryki, logi i próbkowany zestaw ewaluacyjny, a nie korpus. Tam, gdzie trzeba więcej, dostęp jest wąski, ograniczony w czasie i zapisywany, a układ wpisany do umowy.
Czy możecie prowadzić system, którego nie budowaliście?
Tak i to częste. Pierwsze tygodnie idą na zrozumienie go i zbudowanie zestawu ewaluacyjnego, jeśli go nie ma. Ten krok zwykle znajduje problem, który już tam był — co jest niewygodne i lepiej znane.
Ile to kosztuje?
Wyceniane od systemu i zakresu, a nie od użytkownika czy zapytania, żeby opłata nie rosła dlatego, że system się udał. Poziom wsparcia ma maleć, w miarę jak Wasz zespół przejmuje rutynę.

Czytaj dalej

Pozostałe usługi