Roadmapa produktu AI powinna obiecywać progi jakości, a nie funkcje

Roadmapa funkcji ma sens, gdy funkcja albo jest, albo jej nie ma. Zaplanowano ją na drugi kwartał, wyszła w drugim kwartale albo się opóźniła — i każdy rozumie status każdej pozycji.

W produkcie AI każda pozycja „jest” niemal od razu. Streszczanie umów działa w drugim tygodniu. Nie istnieje jeszcze wersja, która myli się na tyle rzadko — na umowach, które naprawdę podpisujecie — żeby ktokolwiek mógł na niej polegać. Roadmapa śledząca funkcje miesiącami świeci na zielono przy rzeczach, z których nie da się korzystać, aż nadchodzi data wdrożenia.

Co jest nie tak z pozycją-funkcją

Status jest zero-jedynkowy, jakość nie. „Streszczanie umów: gotowe” nie mówi nic o aneksach, skanowanych załącznikach ani o trzech wzorach, których naprawdę używa dział prawny. Komitet sterujący słyszy „gotowe”. Użytkownicy doświadczają czegoś innego, a różnica wychodzi na produkcji.

Data jest przypięta do przewidywalnej części. Zbudowanie funkcji da się w miarę przewidzieć. Dojście do akceptowalnej jakości — nie. Roadmapa datująca część przewidywalną spycha całe ryzyko do fazy, której nie ma w planie — zwykle nazywanej stabilizacją, dla której nikt nie wyznacza daty końca.

Na słaby wynik odpowiada się zakresem. Gdy nie ma się do czego mierzyć, reakcją na funkcję, która nie jest dość dobra, jest kolejna funkcja. Produkt rośnie wszerz, a nic nie przekracza progu. Każda nowa pozycja przychodzi z własnym pokazem, więc raport wygląda coraz lepiej, a produkt nie.

Co zawiera pozycja na roadmapie jakości

Zdolność zdefiniowaną przypadkami. Nie „streszczanie umów”, tylko „streszczanie standardowych umów dostawy, łącznie z aneksami”, razem ze zbiorem prawdziwych przypadków, który ją definiuje. Jeśli przypadki nie są spisane, zdolność nie jest zdefiniowana.

Próg uzgodniony przed budową. Jak często musi mieć rację, które błędy są do przyjęcia, a które są zawsze niedopuszczalne — zatwierdzone przez osobę odpowiadającą za wynik, a nie przez tę, która buduje.

Obecny zmierzony poziom. Z zestawu ewaluacyjnego, odświeżany przy każdej zmianie. Zastępuje kolumnę statusu i jest jedyną kolumną, którą ktokolwiek musi czytać.

Zachowanie awaryjne. Co produkt robi poniżej progu: przekazuje sprawę człowiekowi, odmawia, pokazuje same źródła. Zdolność, która nie osiągnęła progu, często może wyjść w tej węższej postaci — i zwykle to jest uczciwa wersja wczesnego wydania.

Datę decyzji zamiast daty dostarczenia. Termin, do którego rozstrzygacie, czy próg jest osiągalny rozsądnym kosztem: kontynuujemy, zawężamy albo porzucamy. Taką datę zespół jest w stanie dotrzymać.

Infografika

Roadmapa funkcji a roadmapa jakości

Roadmapa funkcji

• –Pozycja to nazwa funkcji
• –Status: zaplanowane, w toku, gotowe
• –Data obiecana na dostarczenie
• –Na słaby wynik odpowiedzią jest większy zakres

Roadmapa jakości

• →Pozycja to zdolność zdefiniowana prawdziwymi przypadkami
• →Status: zmierzony poziom względem uzgodnionego progu
• →Data wyznaczona na decyzję: dalej czy stop
• →Na słaby wynik odpowiedzią jest zawężenie albo ścieżka awaryjna

Co tu znaczy „gotowe”

Gotowe w przypadku funkcji probabilistycznej nie znaczy „działa”. Znaczy: próg osiągnięty na uzgodnionych przypadkach, lista rzeczy niedopuszczalnych czysta, zachowanie awaryjne na miejscu, a osoba odpowiadająca za wynik przejrzała pozostałe błędy i je zaakceptowała.

Ten ostatni warunek waży najwięcej. Każda funkcja AI wychodzi ze znanymi błędami. Gotowe znaczy, że ktoś z odpowiednim uprawnieniem zdecydował na piśmie, które z nich są do przyjęcia, zanim znaleźli je użytkownicy — a nie, że zespół przestał znajdować nowe.

Jak zmienia się rozmowa piętro wyżej

Raporty z postępu stają się liczbami, które się ruszają albo nie. Przez mniej więcej miesiąc jest to niewygodne, potem znacznie łatwiejsze — bo „tu jesteśmy na umowach z załącznikami i krzywa się wypłaszczyła” to rozmowa o decyzji, a „już prawie” to rozmowa o zaufaniu.

Pozycja, której poziom przestał się ruszać przez dwa kolejne przeglądy, jest najcenniejszym sygnałem na całej roadmapie. Znaczy, że obecne podejście doszło do granicy, a opcje to inne podejście, węższa zdolność albo inny produkt. Każda z nich jest decyzją. Żadna nie brzmi „więcej wysiłku”.

Zmienia się też to, co można obiecać poza zespołem. Zobowiązania wobec klientów i reszty firmy składa się dla zdolności, które przekroczyły swój próg, a nie dla pozycji w planie. Zewnętrzna roadmapa robi się krótsza i robi się prawdziwa.

Warunek wstępny

Nic z tego nie działa, jeśli zestaw ewaluacyjny nie istnieje i nie uruchamia się przy każdej zmianie. Dlatego budujemy go jako pierwszy w ramach inżynierii aplikacji AI-native — i dlatego, gdy coś jest już na produkcji, każdy krok poszerzający zakres uzasadnia to, co pokazuje ewaluacja, a nie to, co było zapisane w planie.