W zespole produktu AI ekspert dziedzinowy nie jest interesariuszem

Typowy zespół nowego produktu AI wygląda jak zespół software’owy z doklejonym modelem: product manager, projektant, kilku inżynierów, może ktoś z doświadczeniem w uczeniu maszynowym. Ludzie, którzy naprawdę wykonują automatyzowaną pracę, występują jako interesariusze. Rozmawia się z nimi na początku, zaprasza na pokaz i pyta o opinię, gdy coś wygląda podejrzanie.

Taki układ działa, gdy specyfikacja potrafi opisać poprawne zachowanie. W produkcie AI potrafi to tylko częściowo, a robocza definicja dobrej odpowiedzi siedzi w głowach tych interesariuszy. Nie są źródłem wymagań do jednorazowego zebrania. Są przyrządem pomiarowym, a produkt kalibruje się względem nich co tydzień.

Gdzie ich osąd jest potrzebny, co tydzień

Dobór przypadków. Które prawdziwe wejścia trafiają do zestawu ewaluacyjnego, łącznie z niewygodnymi, o których pomyśli tylko ktoś, kto tę pracę wykonywał.

Ocenianie. Czytanie wyników i nazywanie ich dobrymi, do poprawki albo błędnymi — a, co cenniejsze, mówienie dlaczego. Inżynier sprawdzi format. Tylko ekspert wyłapie odpowiedź gładką, wiarygodną i błędną.

Ustalanie progu. Które błędy są do przyjęcia, a które nigdy. To decyzja biznesowa zależna od wiedzy dziedzinowej, a gdy eksperta nie ma, zapada domyślnie.

Triaż. Gdy coś pójdzie źle w użyciu — rozstrzygnięcie, czy to jednorazowy przypadek, wzorzec, czy znak, że próg postawiono w złym miejscu.

Kształt, który działa

Infografika

Kto co robi w zespole produktu AI

1. 01Właściciel wynikuOdpowiada za próg i kompromisy między jakością, kosztem a szybkością.
2. 02Eksperci dziedzinowiDefiniują dobre, oceniają wyniki, rozstrzygają błędy. Czas zarezerwowany, nie pożyczony.
3. 03Właściciel ewaluacjiDba o aktualność i uczciwość przypadków, ocen i raportów.
4. 04InżynieriaRusza zmierzony poziom w granicach kosztu i czasu odpowiedzi.
5. 05UtrzymaniePilnuje jakości w użyciu i zamienia incydenty w nowe przypadki.

Pięć ról, niekoniecznie pięć osób. W małym zespole jedna osoba może pełnić dwie; liczy się to, żeby każdą pełnił ktoś, kto wie, że należy do niego.

Właściciel wyniku, nie tylko backlogu. Praca product managera przesuwa się z opisywania funkcji na ustalanie progu i rozstrzyganie kompromisów: jakość kontra koszt, zasięg kontra niezawodność. To wymaga uprawnień, a nie tylko kolejki zgłoszeń.

Eksperci dziedzinowi z zarezerwowanym czasem. Konkretne osoby — często dwie, bo osąd jednej osoby dryfuje i nikt tego nie zauważa — ze stałą częścią tygodnia na produkt, uzgodnioną z ich przełożonym i odjętą od codziennych obowiązków. Czas pożyczony znika jako pierwszy, gdy w ich własnej pracy robi się gorąco.

Ktoś, kto odpowiada za ewaluację. Niekoniecznie nowy etat. Często inżynier albo analityk, który traktuje zbiór przypadków, ocenianie i raportowanie jako swój produkt — i któremu wolno opublikować liczbę, która zespołowi się nie podoba.

Inżynieria rozliczana z ruchu. Pytanie inżynierskie brzmi: co ruszyło wynik i jakim kosztem. To użyteczniejsza rozmowa niż spór o to, czy funkcja jest skończona.

Utrzymanie w pętli. Gdy produkt działa, ludzie, którzy go prowadzą, zamieniają incydenty w nowe przypadki, żeby ewaluacja nadążała za tym, jak produkt jest naprawdę używany. Bez tej pętli zestaw ewaluacyjny opisuje produkt taki, jaki był w dniu uruchomienia.

Trzy sposoby, w jakie to się psuje

Ekspert staje się wąskim gardłem. Każda ocena czeka na jedną osobę. Rozwiązaniem jest zamiana jej osądu w spisane kryteria, które mogą stosować inni — albo sędzia modelowy sprawdzony względem jej własnych ocen — i zostawienie eksperta do sporów i nowych rodzajów przypadków. Spisane kryteria mają też drugą zaletę: da się je przeczytać, zakwestionować i poprawić, czego o czyimś wyczuciu powiedzieć nie można.

Ekspert staje się pieczątką. Pokazuje mu się dopracowane przykłady na cotygodniowym pokazie, więc zatwierdza. Ocenianie musi się odbywać na prawdziwych wynikach, łącznie ze złymi, bez wiedzy, która wersja je wyprodukowała — inaczej mierzy uprzejmość, a nie jakość.

Ekspert jest niewłaściwym ekspertem. Najłatwiej wskazać osobę najwyżej w hierarchii, a ona zwykle jest najmniej dostępna. Zna procedurę; ludzie, którzy wykonują tę pracę codziennie, znają wyjątki — a to na wyjątkach produkt AI się wykłada.

Wpiszcie godziny do planu

Czasu eksperta, którego nie ma w planie, nie ma w produkcie. Prosty test: zapytajcie przełożonego eksperta, co nie zostanie zrobione, gdy ekspert będzie pracował nad produktem. Jeśli odpowiedź brzmi „nic”, czas nie został naprawdę przydzielony.

W ramach transformacji AI model operacyjny rozpisujemy rola po roli — co się zmienia i gdzie są nowe przekazania — a godziny ekspertów dziedzinowych traktujemy tak jak adopcję: jako zabudżetowaną pracę z właścicielem, a nie przysługę, o którą prosi się zajęty dział. Bez nich produkt jest mierzony wyobrażeniem zespołu o pracy, a nie samą pracą.