--- title: "Systemy AI się nie wywalają. One dryfują" url: "https://predictes.com/pl/blog/systemy-ai-sie-nie-wywalaja-one-dryfuja" description: "Klasyczny monitoring pilnuje rzeczy, które przestają działać. Tryb awarii, który tu ma znaczenie, nie daje ani błędu, ani alertu. " --- # Systemy AI się nie wywalają. One dryfują 10 lipca 2026·2 min czytania·predictes Każdy zespół utrzymania wie, co robić, gdy usługa staje. Jest alert, runbook, dyżur i przegląd po incydencie. Cała ta dyscyplina jest zbudowana wokół rzeczy psujących się głośno. Systemy AI w większości tak nie zawodzą. Stoją, odpowiadają szybko, zwracają ładnie sformatowane odpowiedzi i stopniowo stają się mniej trafne. Nie ma momentu, na który można zaalarmować — dlatego średni czas wykrycia w systemach, które prosi się nas przejąć, mierzy się w tygodniach. ## Cztery sposoby, w jakie jakość odchodzi bez alertu **Zmienił się korpus.** Dokumenty doszły, zostały zaktualizowane albo wycofane, a system pewnie odpowiada z materiału, który nie odzwierciedla już sposobu działania firmy. **Dostawca coś zmienił.** Wersja modelu została wycofana, zmieniło się ustawienie domyślne, przesunęło zachowanie przy odmowach. Kontrakt API jest ten sam; zachowanie nie. **Zmieniły się pytania.** Użytkownicy nauczyli się, w czym system jest dobry, albo nowy zespół zaczął go używać do czegoś sąsiedniego. System się nie pogorszył — pogorszył się rozkład, a efekt jest identyczny. **Ktoś zrobił małą zmianę.** Poprawka promptu naprawiająca jedną reklamację, wypuszczona w piątek, która czterdzieści innych przypadków lekko pogorszyła. Bez zestawu ewaluacyjnego jest to niewykrywalne, dopóki ktoś nie zauważy wzorca. ## Jak zamiast tego musi wyglądać monitoring **Wydzielony zestaw ewaluacyjny oceniany ciągle.** Te same przypadki, codziennie, z zapisaną oceną. To jedyny wiarygodny wczesny sygnał i kosztuje bardzo mało. **Wyszukiwanie oceniane osobno od odpowiedzi.** Większość degradacji dzieje się w wyszukiwaniu, a ocena od końca do końca mówi Wam, że coś jest nie tak, nie mówiąc która połowa. **Sygnały behawioralne z rzeczywistego użycia.** Rosnąca liczba odmów, rosnąca liczba poprawek użytkowników, zmieniająca się długość odpowiedzi, spadające przejścia do cytowanych źródeł. Każdy z osobna jest zaszumiony; razem ruszają się przed reklamacjami. **Alerty o ruchu, a nie o progach.** Spadek o pięć punktów w tydzień znaczy więcej niż wartość bezwzględna, bo wartość bezwzględna zależy od zestawu ewaluacyjnego, a ruch nie. **Koszt i opóźnienia obok jakości.** Ruszają się razem częściej, niż zespoły się spodziewają, a nagły spadek kosztu bywa incydentem jakościowym w przyjemnym przebraniu. ## Reakcja na incydent wygląda tu inaczej Gdy klasyczna usługa się psuje, przywracacie ją. Gdy system AI się myli, pierwszym działaniem nie jest naprawa — jest zmniejszenie tego, co robi bez nadzoru, na czas dochodzenia. Zawęźcie zakres, skierujcie więcej przypadków do człowieka, wróćcie do poprzedniego promptu albo wersji modelu. Tanie, odwracalne i zatrzymuje krwawienie na czas diagnozy. Systemy zaprojektowane bez tej ścieżki ograniczenia zostawiają zespół utrzymania z dwiema opcjami, obiema złymi: zostawić działający i mylący się albo wyłączyć całkowicie. ## Pytanie warte zadania dzisiaj Gdyby Wasz system AI zaczął się mylić dziś po południu, skąd byście się dowiedzieli i po jakim czasie? Jeśli uczciwą odpowiedzią jest reklamacja użytkownika, czas wykrycia równa się temu, ile trzeba, żeby dotknęło to dostatecznie wielu ludzi i jeden z nich to eskalował. W większości organizacji to tygodnie — a odpowiedzi były błędne dla wszystkich z nich. Zamknięcie tej luki jest sensem [utrzymania systemów AI](https://predictes.com/pl/services/ai-managed-services) — i dlatego pierwszą rzeczą, którą robimy przy przejmowaniu systemu, jest zbudowanie zestawu ewaluacyjnego, nawet gdy system jest cudzy i już działa. - monitoring - dryf - SLA - utrzymanie ## Czytaj dalej - [Wasza lista przypadków użycia AI ma trzydzieści pozycji i żadnego właściciela](https://predictes.com/pl/blog/lista-przypadkow-uzycia-bez-wlasciciela) - [Adopcja to pozycja w budżecie, a nie nadzieja](https://predictes.com/pl/blog/adopcja-to-pozycja-w-budzecie)