Odpowiedź nie była błędna. Dokument miał trzy miesiące

System wsparcia przez sześć tygodni odpowiadał na pytania o politykę zwrotów. Odpowiedzi były jasne, dobrze uźródłowione i spójne. Opisywały też politykę w kształcie sprzed zmiany z marca, bo zadanie pobierające dokumenty polityki od tego czasu po cichu zawodziło.

Nic się nie wywaliło. Żaden alert nie zadziałał. Odpowiedzi były wewnętrznie spójne i cytowały prawdziwy dokument. Jedynym sygnałem był powolny wzrost reklamacji, którego nikt z niczym nie powiązał.

Dlaczego świeżość zawodzi po cichu

Proces, który zawiódł, zostawia po sobie dane. Wczorajszy indeks nadal jest i nadal odpowiada. Brak nowych danych wygląda dokładnie tak samo jak spokojny tydzień.

Nikt nie pilnuje tego, że nic się nie dzieje. Monitoring alarmuje o błędach i o skokach wolumenu. Zadanie, które przestało się uruchamiać, nie produkuje ani jednego, ani drugiego, a zadanie uruchamiające się i po cichu ładujące zero rekordów produkuje jeszcze mniej.

Korpus nie ma widocznego wieku. Użytkownicy widzą odpowiedź ze źródłem. Nie widzą, że źródło ostatni raz zaktualizowano w lutym, a żaden interfejs im tego nie mówi.

Usunięcia są niewidoczne. Wycofany dokument zwykle zostaje w indeksie. System dalej odpowiada z polityki, która już nie istnieje — a to gorsze niż nieodpowiadanie w ogóle.

Kontrole, które to łapią

Tanie i w większości nieobecne w systemach, które prosi się nas obejrzeć.

Progi świeżości per źródło. To źródło musi się załadować w ciągu dwudziestu czterech godzin. Brak ładowania to alert, dokładnie tak samo jak błąd. Ta jedna kontrola łapie większość takich incydentów.

Liczby rekordów i dokumentów z oczekiwanym przedziałem. Ładowanie zwracające zero albo dziesięć procent normy zawodzi głośno, zamiast iść dalej.

Propagacja usunięć. Coś, co usuwa dokumenty z indeksu, gdy znikają u źródła — zweryfikowane, a nie założone.

Aktualność osadzeń. W systemach z wyszukiwaniem osadzenie może być nieświeże, mimo że dokument jest aktualny, jeśli po aktualizacji pominięto ponowne osadzanie.

Wiek pokazany w odpowiedzi. Pokażcie, kiedy źródło zaktualizowano ostatnio. Kosztuje jedną linijkę interfejsu i zamienia cichą awarię w coś, co użytkownik zgłasza pierwszego dnia.

Test, który znajduje to dzisiaj

Weźcie pięć źródeł, od których Wasz system zależy najbardziej. Dla każdego zapytajcie, kiedy ostatnio załadowało się poprawnie i skąd wiedzielibyście, gdyby przestało.

Jeśli odpowiedzią na to drugie jest, że ktoś w końcu zauważyłby, że odpowiedzi robią się dziwne, to źródło nie ma monitoringu świeżości — a incydent opisany wyżej jest w Waszym systemie już możliwy.

Większość tego, co robimy w ramach inżynierii danych dla AI, to właśnie taka nieefektowna hydraulika: kontrole zawodzące głośno, pochodzenie mówiące, skąd wzięła się odpowiedź, i wiek uczyniony widocznym. To dużo mniej ciekawe niż model i odpowiada za dużo większą część tego, czy systemowi da się ufać.