Pokaz zajął dwa tygodnie. Pozostałe dziewięć dziesiątych to ta usługa

Prototypy AI są nietypowo łatwe do zbudowania i nietypowo trudne do dokończenia. Tym, co oddziela je od systemu, nie jest jakość modelu: to ewaluacja, wyszukiwanie, które naprawdę znajduje właściwą rzecz, koszt i opóźnienia w budżecie, uprawnienia, zachowanie przy awarii i możliwość zmiany czegoś bez cichego zepsucia.

  • Oprogramowanie na produkcji, na prawdziwych danych. Z prawdziwymi uprawnieniami, prawdziwymi wolumenami i wyjątkami, których w pokazie nie było.
  • Zestaw ewaluacyjny. Zestaw testów dla systemu probabilistycznego, żeby zmianę dało się ocenić, a regresję wyłapać, zanim znajdzie ją użytkownik.
  • Koszt i opóźnienia w budżecie. Mierzone na żądanie i na zadanie, z udokumentowanymi dźwigniami zamiast odkrywanymi przy pierwszej dużej fakturze.
  • Kod, który należy do Was. W Waszych repozytoriach, wdrażalny przez Wasz zespół, z modelem za interfejsem, żeby nie być poślubionym jednemu dostawcy.
Porozmawiajmy o tym

Co przekazujemy

  • Zestaw ewaluacyjny

    Prawdziwe przypadki ze znanymi odpowiedziami, oceniane automatycznie, uruchamiane przy każdej zmianie. Najbardziej wartościowy artefakt w kodzie AI i ten, który większość projektów pomija.

  • Działające wyszukiwanie kontekstu

    Podział, indeksowanie i rankowanie dostrojone do Waszych rzeczywistych dokumentów, z jakością wyszukiwania mierzoną osobno od jakości odpowiedzi — bo większość złych odpowiedzi to porażki wyszukiwania przebrane za model.

  • Zabezpieczenia i walidacja

    Walidacja ustrukturyzowanego wyjścia, zachowanie przy odmowie, odporność na wstrzyknięcia zapewniona architekturą i reguły mówiące, czego nigdy nie wolno wygenerować.

  • Inżynieria kosztu i opóźnień

    Kierowanie ruchu do modeli, cache, grupowanie i ekonomia promptu, z liczbami widocznymi per funkcja, żeby decyzja produktowa mogła je uwzględnić.

  • Obserwowalność

    Ślady, rejestry decyzji i metryki jakości zaprojektowane pod system psujący się po cichu, a nie wywalający się głośno.

  • Wdrożenie i przekazanie

    CI, środowiska, sekrety i runbooki na Waszej infrastrukturze, udokumentowane na tyle dobrze, żeby Wasz zespół to przejął.

Jak to przebiega

  1. 01

    Najpierw zestaw ewaluacyjny

    Ewaluacja przed funkcjami. Bez niej każda późniejsza zmiana jest zgadywaniem, a tempo projektu załamuje się około trzeciego miesiąca.

  2. 02

    Cienki plaster na produkcję

    Jedna kompletna ścieżka od początku do końca, wdrożona, przed małą grupą. Wszystko nieznane wychodzi tutaj i wychodzi tanio.

  3. 03

    Poszerzanie

    Więcej przypadków, więcej użytkowników, więcej automatyzacji — każdy krok uzasadniony tym, co pokazuje ewaluacja, a nie planem.

  4. 04

    Przekazanie

    Wasi inżynierowie pracujący z nami przez cały czas, dokumentacja pisana w trakcie i nasze zaangażowanie malejące według spisanego harmonogramu.

Dobre dopasowanie, gdy

  • Prototyp działa i nikt nie wie, czego wymagałoby uczynienie go prawdziwym.
  • Funkcja AI jest na produkcji, jej jakość nie jest mierzona i nikt nie śmie jej zmienić.
  • Koszty albo opóźnienia są nie do przyjęcia, a dźwignie nie są zrozumiane.
  • Potrzebujecie systemu na własnej infrastrukturze, z własnymi regułami dotyczącymi danych.

To nie ta usługa, gdy

  • Przypadek użycia nie został zweryfikowany z użytkownikami. Zbudujcie najpierw prototyp — jest tani i odpowiada na inne pytanie.
  • Chcecie proof of concept na posiedzenie zarządu. To uprawniony zakup i to nie jest to.
  • Potrzebne dane jeszcze nie istnieją. Najpierw inżynieria danych; żadna ilość pracy aplikacyjnej tego nie nadrobi.

Najczęstsze pytania

Na jakim stosie budujecie?
Na takim, który pasuje do Waszych ograniczeń: Wasza obecna chmura, stos open source albo mieszanka. Stała jest jedna rzecz — model siedzi za interfejsem, bo dostawcy się zmieniają, a system poślubiony jednemu ma ukrytą zależność.
Jak testujecie coś niedeterministycznego?
Zestawem ewaluacyjnym prawdziwych przypadków ze znanymi dobrymi odpowiedziami, ocenianym automatycznie, plus kontrolą regresji na przypadkach niewygodnych. To nie są testy jednostkowe i robią to samo: mówią, czy zmiana poprawiła sprawę, zanim powiedzą to Wasi użytkownicy.
Jak utrzymujecie przewidywalne koszty?
Mierząc na żądanie od pierwszego tygodnia, kierując łatwą pracę do mniejszych modeli, agresywnie cache'ując i traktując długość promptu jako koszt. Większość dużych rachunków bierze się z jednej niezbadanej ścieżki kodu, a nie z tego, że produkt jest drogi.
Czy możecie przejąć istniejący kod?
Tak, a pierwszą rzeczą, którą zwykle budujemy, jest zestaw ewaluacyjny — bo bez niego każda zmiana w odziedziczonym systemie AI jest hazardem. To zwykle pierwszy tydzień i zwykle ujawnia właściwy problem.
Czy dostajemy kod?
Jest w Waszych repozytoriach od pierwszego commita. Wdrożenie na Waszej infrastrukturze, sekrety Wasze, a warunki przekazania uzgodnione przed rozpoczęciem prac.

Czytaj dalej

Pozostałe usługi