--- title: "Oprogramowanie się wywala. Systemy AI po prostu zaczynają się mylić" url: "https://predictes.com/pl/services/ai-managed-services" description: "Prowadzenie systemów AI na produkcji: monitoring zaprojektowany pod cichą degradację, czasy reakcji w umowie, zarządzanie modelami i kosztem oraz malejący poziom wsparcia." --- # Oprogramowanie się wywala. Systemy AI po prostu zaczynają się mylić Klasyczny monitoring pilnuje rzeczy, które przestają działać. System AI rzadko przestaje — dryfuje, gorzej wyszukuje, odpowiada wiarygodnie i po cichu myli się przez trzy tygodnie, zanim ktoś zauważy. Prowadzenie takich systemów to inna dyscyplina niż prowadzenie oprogramowania i część, na którą większość projektów nie ma planu. - **Obserwowana jakość, nie tylko dostępność.** Jakość odpowiedzi, trafność wyszukiwania i poziom odmów śledzone ciągle, z alertami o ruchu, a nie o awarii. - **Czasy reakcji, do których można nas przypiąć.** Według priorytetu, ze ścieżkami eskalacji i wskazanym inżynierem znającym Wasze wdrożenie, a nie kolejką. - **Koszt pod kontrolą.** Na funkcję i na użytkownika, z anomaliami wyłapywanymi w dni, a nie na fakturze. - **Malejąca współpraca.** Dokumentacja i wspólna praca, żeby Wasz zespół przejmował rutynę, z poziomem wsparcia malejącym według spisanego harmonogramu. [Porozmawiajmy o tym](https://predictes.com/pl/contact) ## Co przekazujemy - ### Monitoring jakości Stale oceniany zestaw ewaluacyjny, jakość wyszukiwania śledzona osobno od jakości odpowiedzi i alerty o dryfie. Rdzeń tej usługi i to, co odróżnia ją od hostingu. - ### Proces incydentu dla cichej awarii Priorytet zdefiniowany biznesowo, pierwsza reakcja zawężająca autonomię systemu na czas dochodzenia i spisany zapis po fakcie. - ### Cykl życia modeli Wycofania u dostawców, zmiany wersji i zmiany promptów testowane na Waszym zestawie ewaluacyjnym, zanim do Was dotrą — a nie po tym, jak użytkownik zgłosi coś dziwnego. - ### Zarządzanie kosztem Przypisanie na funkcję, kierowanie ruchu i cache przeglądane regularnie oraz miesięczna notatka wyjaśniająca każdy ruch prostym językiem. - ### Operacje na danych i retencja Ponowne indeksowanie, odświeżanie osadzeń, egzekwowanie retencji i kontrole utrzymujące korpus w uczciwym stanie, gdy Wasze dokumenty się zmieniają. - ### Raport, który ktoś czyta Jedna strona miesięcznie: co się zmieniło, co się zepsuło, ile kosztowało i co rekomendujemy. Nie pulpit, którego nikt nie otwiera. ## Jak to przebiega 1. 01 ### Przejąć porządnie Udokumentowane przekazanie z zestawem ewaluacyjnym, runbookami i dostępami. Jeśli tego nie ma, najpierw to budujemy i mówimy o tym z góry. 2. 02 ### Zmierzyć punkt wyjścia Obecna jakość, koszt i opóźnienia zmierzone, zanim cokolwiek zmienimy, żeby poprawa była do wykazania, a nie do zadeklarowania. 3. 03 ### Prowadzić i raportować Monitoring, incydenty, aktualizacje i miesięczna notatka. Nudne z założenia, bo to jest cały cel. 4. 04 ### Zmniejszać Przekazywanie rutynowych operacji Waszemu zespołowi według uzgodnionego harmonogramu. Jeśli poziom nie maleje, ktoś z nas nie wykonuje swojej pracy. ## Dobre dopasowanie, gdy - System AI działa na produkcji i nikt nie obserwuje jego jakości. - Zespół, który go zbudował, poszedł dalej albo był zewnętrzny i już go nie ma. - Koszty są nieprzewidywalne i nikt nie umie ich przypisać. - Potrzebujecie SLA na system AI z powodów wewnętrznych albo klienckich. ## To nie ta usługa, gdy - Chcecie samego hostingu infrastruktury. Dostawca chmury zrobi to lepiej i taniej. - System nie ma zestawu ewaluacyjnego, a Wy nie chcecie go budować. Bez niego monitorowanie jakości nie jest możliwe i sprzedawalibyśmy Wam jego pozór. - Chcecie gwarancji, że model nigdy się nie pomyli. Nikt tego nie obieca, a dostawca, który obiecuje, opisuje coś innego. ## Najczęstsze pytania Co konkretnie jest w SLA? Czasy reakcji według priorytetu, ścieżki eskalacji, wskazany inżynier, okna serwisowe i zdefiniowany zakres monitorowania jakości. Uczciwie nie da się obiecać naprawy w określonym czasie dla dowolnego defektu ani tego, że model nigdy się nie pomyli. Jak wykrywacie, że model się pogarsza? Wydzielonym zestawem ewaluacyjnym ocenianym ciągle, trafnością wyszukiwania śledzoną osobno oraz sygnałami z rzeczywistego użycia: rosnącą liczbą odmów, rosnącą liczbą poprawek, zmianą długości odpowiedzi. Każdy z osobna jest zaszumiony; razem łapią dryf, zanim zgłosi go użytkownik. Czy potrzebujecie dostępu do naszych danych produkcyjnych? Jak najmniejszego. Zwykle metryki, logi i próbkowany zestaw ewaluacyjny, a nie korpus. Tam, gdzie trzeba więcej, dostęp jest wąski, ograniczony w czasie i zapisywany, a układ wpisany do umowy. Czy możecie prowadzić system, którego nie budowaliście? Tak i to częste. Pierwsze tygodnie idą na zrozumienie go i zbudowanie zestawu ewaluacyjnego, jeśli go nie ma. Ten krok zwykle znajduje problem, który już tam był — co jest niewygodne i lepiej znane. Ile to kosztuje? Wyceniane od systemu i zakresu, a nie od użytkownika czy zapytania, żeby opłata nie rosła dlatego, że system się udał. Poziom wsparcia ma maleć, w miarę jak Wasz zespół przejmuje rutynę. ## Czytaj dalej - [ ### Systemy AI się nie wywalają. One dryfują Klasyczny monitoring pilnuje rzeczy, które przestają działać. Tryb awarii, który tu ma znaczenie, nie daje ani błędu, ani alertu. ](https://predictes.com/pl/blog/systemy-ai-sie-nie-wywalaja-one-dryfuja) ## Pozostałe usługi - [ ### Strategia AI Które decyzje warto zmienić, ile każda kosztuje i co miałoby się mierzalnie zmienić. Łącznie z tymi, w których odpowiedzią nie jest AI. Czytaj artykuł](https://predictes.com/pl/services/ai-strategy) - [ ### Transformacja AI Część po strategii: kolejność dopasowana do realnej zdolności, zmiana sposobu pracy i adopcja jako czyjeś zadanie, a nie nadzieja. Czytaj artykuł](https://predictes.com/pl/services/ai-transformation) - [ ### Inżynieria agentów AI Agenci, którzy wykonują pracę, a nie odpowiadają na pytania — z granicami, narzędziami, bramkami zatwierdzania i rejestrem decyzji, który przetrwa pierwszy incydent. Czytaj artykuł](https://predictes.com/pl/services/ai-agents-engineering)