AI SLA: co to jest umowa o poziomie usług dla systemów AI? Poradnik dla firm

AI SLA to umowa o poziomie usług dla systemu, w którym pracuje model AI: chatbota, asystenta wyszukiwania, agenta obsługującego sprawy. Oprócz dostępności i czasów reakcji opisuje to, co w takim systemie psuje się naprawdę: jakość odpowiedzi, zmiany modelu po stronie dostawcy, koszt jednej sprawy, opóźnienie, incydenty bezpieczeństwa, przekazanie sprawy człowiekowi i miejsce przetwarzania danych. Każdy z tych punktów ma definicję, sposób pomiaru i ustaloną reakcję, gdy wynik wychodzi poza uzgodniony zakres.

Poradnik jest dla zarządu, zakupów i lidera IT firmy, która ma system AI na produkcji albo właśnie negocjuje umowę na jego budowę lub utrzymanie. Węższe pytanie, czego dostawca w ogóle nie powinien obiecywać, rozwija wpis SLA dla systemu AI: co da się obiecać, a czego nie. Tutaj jest cała mapa: od definicji, przez pomiar, po negocjacje i pierwszy krok.

Dlaczego klasyczne SLA nie wystarcza dla AI

Klasyczna umowa serwisowa opisuje usługę, która działa albo nie działa. Mierzy dostępność, czas reakcji na zgłoszenie i czas naprawy. Dla systemu kadrowego czy sklepu internetowego to wystarcza, bo awaria jest widoczna: strona się nie ładuje, faktura się nie wystawia.

System z modelem językowym rzadko przestaje działać. Częściej zaczyna działać gorzej, i to po cichu. Siedem różnic, które powinny trafić do umowy:

Dryf jakości. Odpowiedzi stopniowo się pogarszają, bo zmieniły się dokumenty, pytania użytkowników albo indeks wyszukiwania. Usługa ma pełną dostępność, a od trzech tygodni podaje nieaktualny cennik. Mechanizm opisuje wpis systemy AI się nie wywalają, one dryfują.

Zmiany modelu po stronie dostawcy. Dostawca modelu wydaje nową wersję, zmienia domyślne zachowanie albo wycofuje starą. Wasz kod się nie zmienił, a system odpowiada inaczej. Umowa, która tego nie przewiduje, nie mówi, kto testuje zmianę i kiedy. Co robić, gdy wycofanie już nastąpiło, opisuje wpis dostawca wycofał model, co dalej z waszym systemem.

Koszt na wywołanie. W zwykłej aplikacji koszt rośnie z liczbą użytkowników. W systemie AI płaci się za tokeny, czyli za długość pytania, kontekstu i odpowiedzi. Agent, który wpadnie w pętlę albo dołącza do każdej sprawy cały katalog produktów, podnosi rachunek bez wzrostu ruchu.

Opóźnienie. Czas odpowiedzi zależy od modelu, długości kontekstu, liczby kroków agenta i obciążenia u dostawcy. Średnia z miesiąca ukrywa sprawy, w których klient czekał minutę.

Incydenty bezpieczeństwa. Złośliwa treść w mailu albo dokumencie może zmienić zachowanie agenta, a agent z narzędziami może wykonać operację, której nikt nie przewidział. Log serwera pokaże wtedy tylko „żądanie obsłużone”.

Eskalacja do człowieka. Część spraw system powinien oddać pracownikowi. Jeśli umowa tego nie opisuje, nie wiadomo, kto odbiera sprawę, w jakim czasie i z jakim kontekstem.

Miejsce przetwarzania danych. Prompty i odpowiedzi to dane firmy, często dane klientów. Region przetwarzania, retencja po stronie dostawcy modelu i dostęp jego operatorów to warunki, które powinny być w umowie, a nie w regulaminie zmienianym jednostronnie.

Infografika

Klasyczne SLA a AI SLA

Klasyczne SLA

  • Dostępność usługi
  • Czas reakcji na zgłoszenie
  • Czas naprawy awarii
  • Priorytet według wpływu technicznego

AI SLA

  • Jakość odpowiedzi na zestawie testowym
  • Zmiany modelu testowane przed wdrożeniem
  • Koszt i opóźnienie na sprawę
  • Priorytet według skutku biznesowego

Co powinno obejmować AI SLA

Poniżej dziewięć składników. Nie każdy system potrzebuje wszystkich, ale dla każdego warto świadomie zdecydować, czy jest w umowie, czy poza nią. Przy każdym podajemy, jak go mierzyć. Wartości progów w przykładach są ilustracją do uzgodnienia między stronami, a nie normą ani ofertą.

SkładnikCo opisujeJak to zmierzyć
Dostępnośćczy system przyjmuje i obsługuje sprawyodsetek udanych żądań w oknie pomiarowym, z wyłączeniem uzgodnionych okien serwisowych
Jakość odpowiedziczy odpowiedzi są poprawne i oparte na właściwych źródłachwynik na stałym zestawie testowym oraz ocena próbki z produkcji
Jakość wyszukiwaniaczy system znajduje właściwe dokumentytrafność wyszukiwania na zestawie pytań z oznaczonym poprawnym źródłem
Zmiany modelujak wprowadza się nową wersję modelu, promptu lub indeksuwynik zestawu testowego przed i po zmianie, zapis w rejestrze wydań
Kosztile kosztuje obsługa jednej sprawykoszt tokenów i infrastruktury na sprawę, z progiem alarmowym
Opóźnieniejak długo użytkownik czekaczas całej sprawy jako percentyl, na przykład 95., a nie średnia
Eskalacjaktóre sprawy trafiają do człowieka i jak szybkoodsetek spraw przekazanych, czas przejęcia, kompletność przekazanego kontekstu
Incydentyco jest incydentem i jaka jest pierwsza reakcjaczas od wykrycia do ograniczenia działania, zapis po incydencie
Danegdzie są przetwarzane i jak długo przechowywaneregion, retencja, lista podmiotów z dostępem, potwierdzone w raporcie

Kilka uwag do tabeli.

Jakość potrzebuje zestawu testowego, który jest wasz. Kilkadziesiąt do kilkuset prawdziwych przypadków z oczekiwanym wynikiem, w tym trudnych i takich, które już kiedyś poszły źle. Zestaw przygotowuje właściciel procesu, nie dostawca. Bez niego zdanie „monitorujemy jakość” nie ma treści, którą da się wyegzekwować. Od czego zacząć, opisuje wpis zestaw ewaluacyjny przed funkcją.

Jakość mierzy się jako trend i próg, nie jako obietnicę. Przykład do uzgodnienia: „wynik na zestawie testowym nie spada poniżej poziomu z odbioru o więcej niż ustaloną wartość; spadek uruchamia alert i analizę”. Taki zapis da się sprawdzić. Zapis „model nie będzie się mylił” — nie.

Koszt i opóźnienie to decyzje produktowe. Tańszy model odpowiada szybciej i gorzej, droższy odwrotnie. Umowa powinna mówić, kto podejmuje tę decyzję i na podstawie jakich danych. Szerzej o tym we wpisie koszt zadania i czas odpowiedzi to decyzje produktowe.

Eskalacja to dwie strony umowy. Dostawca odpowiada za to, że system oddaje sprawę z pełnym kontekstem. Firma odpowiada za to, że ktoś ją odbiera. Jak zaprojektować to przejęcie, opisuje wpis tam, gdzie automat staje, ktoś musi zacząć.

Pierwsza reakcja na incydent to zawężenie, nie naprawa. Diagnoza problemu z jakością może trwać dni. Zawężenie działania systemu, na przykład przejście w tryb z zatwierdzaniem przez człowieka, może trwać minuty. Umowa powinna mówić, kto ma prawo to zrobić. Przebieg pierwszych kroków pokazuje wpis pierwsza godzina incydentu z agentem.

SLA, SLO i SLI: trzy skróty, jedna konstrukcja

Te trzy pojęcia pochodzą z praktyki utrzymania usług internetowych i dobrze przenoszą się na AI.

SLI (wskaźnik poziomu usługi) to to, co mierzycie. Na przykład: odsetek odpowiedzi z zestawu testowego ocenionych jako poprawne, 95. percentyl czasu obsługi sprawy, koszt jednej sprawy.

SLO (cel poziomu usługi) to wartość, do której dąży zespół. Na przykład: „czas obsługi w 95. percentylu poniżej uzgodnionej liczby sekund”. SLO to narzędzie wewnętrzne. Przekroczenie oznacza, że zespół zatrzymuje nowe zmiany i zajmuje się stabilnością.

SLA (umowa o poziomie usług) to zobowiązanie między stronami, z konsekwencjami. Zwykle obejmuje mniej wskaźników niż SLO i ma luźniejsze progi, bo za przekroczeniem idą skutki umowne.

W systemach AI ta różnica ma praktyczne znaczenie. Wiele wskaźników jakości lepiej trzymać jako SLO: mierzone, raportowane i omawiane co miesiąc, ale bez kar za każdy ruch. Do SLA warto przenieść to, co jest jednoznaczne i co dostawca naprawdę kontroluje: dostępność, czasy reakcji, testowanie zmian modelu przed wdrożeniem, zakres monitorowania jakości, warunki dotyczące danych. Próba wpisania kar za każdy spadek wyniku na zestawie testowym kończy się zwykle tym, że dostawca broni się przed mierzeniem, zamiast poprawiać system.

Jak negocjować AI SLA: pytania do dostawcy

Najwięcej o ofercie mówią odpowiedzi na proste pytania. Warto je zadać przed podpisaniem, póki macie siłę negocjacyjną.

O jakość. Jak definiujecie dobrą odpowiedź w naszym procesie? Na jakim zestawie przypadków mierzycie jakość i kto go przygotowuje? Jak często go uruchamiacie i co uruchamia alert?

O zmiany modelu. Z jakich modeli korzysta system i w jakich wersjach? Co się dzieje, gdy dostawca modelu ogłasza wycofanie wersji? Czy każda zmiana modelu, promptu albo indeksu przechodzi przez nasz zestaw testowy przed wdrożeniem? Gdzie jest zapis tych zmian?

O koszt. Czy koszt użycia modeli jest w umowie, czy obok niej? Kto co miesiąc wyjaśnia, dlaczego się zmienił? Co się dzieje, gdy koszt jednej sprawy przekroczy uzgodniony próg?

O incydenty. Co uznajecie za incydent krytyczny w naszym procesie? Kto i na jakiej podstawie może zawęzić działanie systemu? Ile czasu mija od wykrycia do tej decyzji?

O ludzi. Kto po waszej stronie zna nasze wdrożenie? Co się dzieje, gdy ta osoba jest niedostępna?

O dane. W jakim regionie przetwarzane są prompty i odpowiedzi? Czy dostawca modelu je przechowuje i jak długo? Kto ma dostęp do śladów z treścią rozmów?

O wyjście. Co dostaniemy przy zakończeniu współpracy: zestaw testowy, instrukcje, konfigurację, historię zmian? W jakim formacie i w jakim terminie?

Odpowiedź „to zależy” nie jest zła, jeśli za nią idzie konkret. Zła jest odpowiedź, która przenosi pytanie na później. Wtedy wraca ono przy pierwszym incydencie, a umowa już nic nie rozstrzyga.

Warto też spojrzeć na model wyceny. Opłata liczona od użytkownika albo od zapytania rośnie dlatego, że system się udał. Wycena od zakresu i systemu lepiej wyrównuje interesy. Dobra umowa utrzymaniowa powinna też z czasem maleć, gdy wasz zespół przejmuje rutynę, o czym piszemy we wpisie umowy utrzymaniowe same rosną, napiszcie taką, która maleje.

Jak zacząć: AI SLA w pięciu krokach

Nie zaczynajcie od wzoru umowy. Zacznijcie od jednego procesu, w którym AI już działa albo zaraz ruszy pilot.

Krok 1. Nazwijcie właściciela procesu. To osoba, która wie, jak wygląda dobra odpowiedź i kto ponosi skutki złej. Bez niej nikt nie napisze priorytetów ani zestawu testowego. Dlaczego ta rola często zostaje pusta, opisuje wpis kto prowadzi system AI dzień po uruchomieniu.

Krok 2. Zbudujcie zestaw testowy. Prawdziwe przypadki z oczekiwanym wynikiem. To on staje się miarą jakości w umowie i bramką dla każdej zmiany modelu.

Krok 3. Zmierzcie stan wyjściowy. Zanim wpiszecie progi, zmierzcie, jak system działa dziś: wynik na zestawie testowym, czas obsługi, koszt sprawy, odsetek eskalacji. Progi wpisane bez pomiaru są albo nieosiągalne, albo bez znaczenia.

Krok 4. Opiszcie priorytety językiem skutków. Kilka przykładów na każdy poziom: co jest krytyczne (błędna cena, termin, warunek umowy), co wysokie, co niskie. Przy pierwszym incydencie wszyscy będą porównywać sytuację z przykładem, a nie z definicją.

Krok 5. Rozdzielcie SLO i SLA. Wszystkie wskaźniki mierzcie i raportujcie. Do umowy z konsekwencjami przenieście tylko te, które są jednoznaczne i kontrolowane przez dostawcę.

Najczęstsze błędy

Kopiowanie wzoru z umowy na oprogramowanie. Umowa będzie dotrzymana co do joty, a problemu z jakością nie będzie w niej w ogóle.

Jakość bez definicji. Zapis „dostawca zapewnia wysoką jakość odpowiedzi” nie ma pomiaru, więc nie ma też naruszenia.

Zestaw testowy po stronie dostawcy. Jeśli dostawca sam wybiera przypadki, sam ocenia i sam raportuje, to umowa mierzy to, co dostawcy wygodnie mierzyć.

Średnie zamiast percentyli. Średni czas odpowiedzi może być dobry, gdy co dwudziesty klient czeka minutę.

Brak zapisu o zmianach modelu. Zmiana wersji u dostawcy modelu to zdarzenie, które zdarzy się na pewno. Umowa, która go nie przewiduje, nie mówi, kto za nie odpowiada.

Kary za każdy ruch wskaźnika. Zbyt ostre progi sprawiają, że dostawca zaczyna bronić się przed pomiarem. Lepiej mierzyć szeroko, a karać wąsko.

Pominięcie miejsca przetwarzania danych. Unijne przepisy o AI i o ochronie danych nakładają na firmę obowiązki, których nie przeniesie się na dostawcę samym zapisem w umowie. Ocenę zgodności zostawcie prawnikowi i inspektorowi ochrony danych, ale pytania o region i retencję zadajcie przed podpisaniem. Jak wybór miejsca pracy agentów wpływa na te warunki, opisuje wpis gdzie mają pracować wasi agenci.

Jak podchodzimy do tego w predictes

W utrzymaniu systemów AI projektujemy umowę tak, żeby mierzyła to, co w systemie AI się psuje: jakość na zestawie testowym przygotowanym z waszym właścicielem procesu, zmiany modeli testowane przed wdrożeniem, koszt i opóźnienie na sprawę, priorytety opisane waszym językiem i ścieżkę zawężenia działania na czas incydentu. Dążymy do tego, żeby poziom wsparcia malał, gdy wasz zespół przejmuje rutynę. To jedno z możliwych podejść, a pytania z tego poradnika warto zadać każdemu dostawcy, także nam.

Powiązane wpisy

Więcej o predictes na stronie głównej.