Nadzorujcie portfel AI, a nie każdy projekt z osobna

Gdy organizacja ma więcej niż kilka inicjatyw AI, nadzór zwykle przychodzi w postaci bramki. Każdy projekt wypełnia ocenę, czeka na komitet, odpowiada na te same pytania o dane i nadzór człowieka co projekt przed nim i po kilku tygodniach dostaje zgodę z warunkami, których potem nikt nie sprawdza.

Zespoły budujące odczuwają to jako opóźnienie. Dział ryzyka — jako kolejkę. Żadna strona nie dostaje tego, czego potrzebuje: komitet ogląda dokumenty, a nie systemy, a projekty uczą się opisywać siebie tak, żeby przejść.

Dlaczego przegląd projekt po projekcie zawodzi

Wszystko dostaje tę samą uwagę. Wewnętrzne narzędzie do szkiców i system szeregujący kandydatów do pracy przechodzą przez ten sam formularz. Praca o niskim ryzyku zwalnia, a ta o wysokim nie dostaje więcej uwagi, niż zmieści formularz.

Dowody pisze się pod bramkę. Ocena opisuje zamierzone zachowanie. Tego, co system naprawdę robi na prawdziwych danych po trzeciej zmianie promptu, w dokumencie nie ma i nikt do tego nie wraca.

Nikt nie widzi całości. Piętnaście zatwierdzonych projektów może dzielić źródło danych bez właściciela, zależność od dostawcy, której nikt nie wycenił, albo tych samych trzech przeciążonych ekspertów. Każdy z nich przeszedł. Portfela nikt nie przejrzał.

Ścieżki proporcjonalne do tego, co może pójść źle

Klasyfikujcie według skutków, a nie technologii, i pozwólcie, żeby ścieżka decydowała, ile przeglądu dostaje projekt.

Infografika

Przegląd proporcjonalny do skutków

Wewnętrzne szkiceOdpowiedzi dla pracownikówTreści dla klientówDecyzje o ludziach

Krótka rejestracjaPełna ocena

Narzędzia wewnętrzne, w których wszystko wysyła człowiek, dostają krótką rejestrację i standardowy wzorzec.

Odpowiedzi, na podstawie których działają pracownicy, dostają uzgodniony próg jakości i wskazanego właściciela wyniku.

Treści trafiające do klientów dokładają ścieżkę awaryjną, listę rzeczy, których system nie może robić nigdy, i monitoring w użyciu.

Systemy wpływające na decyzje o ludziach dostają pełną ocenę, nadzór ze strony człowieka wbudowany w projekt i rejestr decyzji. Zależnie od zastosowania część z nich może podlegać temu, co Akt o sztucznej inteligencji traktuje jako wysokie ryzyko — a obowiązki takie jak dokumentacja techniczna, rejestrowanie zdarzeń i nadzór człowieka znacznie łatwiej spełnić, gdy są zaprojektowane od początku, niż gdy dokleja się je na końcu.

Wzorce zatwierdzane raz. Każda ścieżka ma wzorce zatwierdzone z góry: dopuszczony sposób wywoływania modeli, standardowe logowanie, standardowe zachowanie awaryjne. Projekt, który z nich korzysta, dziedziczy zgodę na te elementy i jest oceniany tylko w tym, co nowe. Stąd bierze się większość tempa.

Dowody, które dostarczanie i tak produkuje

Najlepszym wejściem dla nadzoru nie jest formularz oceny. Jest nim to, co dobrze prowadzony zespół AI i tak wytwarza: zestaw ewaluacyjny i jego wyniki w czasie, próg jakości i to, kto go zatwierdził, lista rzeczy niedopuszczalnych, rejestr decyzji, incydenty i to, co z nimi zrobiono.

Jeśli nadzór prosi właśnie o to, zespoły prawie nic to nie kosztuje, a komitet widzi system zamiast jego opisu. Pasuje to też do tego, jak problem ujmuje ISO/IEC 42001: jako system zarządzania na poziomie organizacji — cele, ocena ryzyka i wpływu, środki kontroli i ich regularny przegląd — a nie osobną zgodę dla każdego systemu.

Jeden przegląd dla całego portfela

W rytmie, który organizacja naprawdę jest w stanie utrzymać, przejrzyjcie wszystkie inicjatywy na jednym posiedzeniu, z tymi samymi dowodami dla każdej: zmierzony poziom względem progu, rzeczywiste użycie, koszt zadania i otwarte incydenty. Trzy możliwe decyzje: kontynuujemy, skalujemy, zatrzymujemy.

Zatrzymanie to decyzja, która uwalnia zdolność. Pilotaż, który od trzech kwartałów jest „już prawie”, bywa najdroższą pozycją w portfelu, bo trzyma ludzi, na których czekają wszystkie inne inicjatywy.

Skalowanie na dowodach, nie na entuzjazmie. Inicjatywa zasługuje na więcej użytkowników, bardziej ryzykowną ścieżkę albo więcej autonomii, gdy jej liczby przekroczą próg — a nie wtedy, gdy jej sponsor lepiej przemawia.

Co z tego zostaje dla nadzoru

Tak zbudowany nadzór nie spowalnia dostarczania, bo w większości nim jest. W ramach transformacji AI prawa decyzyjne i eskalację wymiarujemy pod organizację — mała firma nie potrzebuje komitetu sterującego, a duża bez niego nie ruszy — a przegląd portfela jest miejscem, w którym zatrzymanie czegoś zwykle okazuje się najcenniejszą decyzją na stole.