Model był w porządku. Dane miały trzy tygodnie i nie było w nich wyjątków

Prawie każdy problem z jakością AI, prześledzony dostatecznie daleko, okazuje się problemem danych: nieświeżych, niekompletnych, niespójnych albo pozbawionych dokładnie tych przypadków, które mają znaczenie. Ta usługa buduje procesy, kontrole i pochodzenie danych, dzięki którym systemowi da się ufać — tak samo dla dokumentów i treści nieustrukturyzowanych, jak dla tabel.

  • Procesy, które działają i są obserwowane. Z alertami o świeżości i wolumenie, żeby cicha awaria została wyłapana, zanim odpowiedzi będą błędne przez dwa tygodnie.
  • Dokumenty w używalnej formie. PDF-y, skany, poczta i pliki sparsowane, podzielone i wzbogacone, żeby wyszukiwanie znajdowało właściwy fragment, a nie wiarygodnie wyglądający.
  • Jakość, którą da się podać. Kompletność, świeżość i spójność mierzone i publikowane, żeby zaufanie było skalibrowane, a nie założone.
  • Pochodzenie. Dla dowolnej odpowiedzi: skąd wzięły się dane pod nią. Pierwszy poważny spór będzie wymagał dokładnie tego.
Porozmawiajmy o tym

Co przekazujemy

  • Pobieranie danych

    Z Waszych systemów, repozytoriów dokumentów i źródeł niewygodnych — dysku sieciowego, skrzynki, portalu dostawcy — z ładowaniem przyrostowym i możliwością odtworzenia zamiast nocnego przeładowania całości.

  • Przetwarzanie dokumentów

    Parsowanie, obsługa układu, wyciąganie tabel, OCR tam, gdzie trzeba, i podział dostrojony do Waszych dokumentów, a nie do domyślnego, który działa na artykułach.

  • Kontrole jakości

    Świeżość, wolumen, rozkład i spójność referencyjna sprawdzane przy każdym ładowaniu, z głośną porażką. Najtańsza poprawa niezawodności dostępna w dowolnym systemie AI.

  • Wzbogacanie i łączenie

    Rozstrzyganie tożsamości względem Waszego modelu, żeby rekord i dokument o tym samym kliencie były znane jako dotyczące tego samego klienta.

  • Pochodzenie i katalog

    Skąd wzięło się każde pole, co je przekształciło i kiedy ostatnio się zmieniło — odpytywalne, a nie opisane na wiki.

  • Koszty i retencja

    Warstwowanie składowania, kontrola kosztu osadzeń i polityka retencji satysfakcjonująca zarówno finanse, jak i ochronę danych.

Jak to przebiega

  1. 01

    Zbadać, co jest

    Rzeczywista kompletność, rzeczywista świeżość, rzeczywiste dziwactwa. Ten krok rutynowo zmienia plan, bo stan udokumentowany i stan faktyczny się różnią.

  2. 02

    Zbudować jedną ścieżkę porządnie

    Jedno źródło od początku do końca z kontrolami i pochodzeniem, zamiast pięciu bez nich. Wzorzec powtarza się potem tanio.

  3. 03

    Zmierzyć jakość

    Opublikować liczby, łącznie z niewygodnymi. Metryka jakości, której nikt nie widzi, to metryka, na którą nikt nie reaguje.

  4. 04

    Przekazać

    Wasz zespół to prowadzi, z runbookami na awarie, które się zdarzą, i dokumentacją pisaną w trakcie pracy.

Dobre dopasowanie, gdy

  • Wyszukiwanie zwraca rzeczy prawie trafne i nikt nie wie dlaczego.
  • Funkcja AI działa na zestawie pokazowym i psuje się na prawdziwych danych.
  • Potrzebna wiedza siedzi w PDF-ach, skanach i poczcie, a nie w tabelach.
  • Nikt nie umie powiedzieć, jak świeże są naprawdę dane stojące za odpowiedzią.

To nie ta usługa, gdy

  • Potrzebujecie ogólnej hurtowni analitycznej. To inny i dobrze obsłużony rynek.
  • Przypadek użycia nie jest jeszcze zdefiniowany. Budowanie procesów przed wiedzą, co karmią, to sposób, w jaki platformy danych stają się drogimi meblami.
  • Danych naprawdę nie ma. Żadna inżynieria tego nie nadrobi i lepiej powiedzieć to wcześnie.

Najczęstsze pytania

Czym to się różni od zwykłej inżynierii danych?
Procesy są podobne; wymagania inne. Obciążenia AI dużo bardziej dbają o treść nieustrukturyzowaną, podział na fragmenty, świeżość osadzeń i pochodzenie na poziomie fragmentu, a dużo mniej o schemat gwiazdy. Tryby awarii są też cichsze, więc monitoring trzeba zaprojektować inaczej.
Czy najpierw potrzebujemy hurtowni?
Zwykle nie. Sporo wartościowej pracy z AI działa bezpośrednio na systemach operacyjnych i repozytoriach dokumentów. Hurtownię warto zbudować, gdy kilku odbiorców potrzebuje spójnej historii — a nie jako warunek wstępny pierwszego systemu AI.
Co ze źle zeskanowanymi dokumentami?
Realistycznie. Część nie sparsuje się wiarygodnie, a uczciwą odpowiedzią jest je wskazać, policzyć ile ich jest i zdecydować, czy wartość uzasadnia naprawę u źródła. Proces po cichu produkujący kiepski tekst dla dziesięciu procent dokumentów jest gorszy od takiego, który je oznacza.
A dane osobowe?
Sklasyfikowane wcześnie, zminimalizowane i trzymane poza wszystkim, do czego nie muszą docierać. Retencja i podstawa prawna rozstrzygane przed budową procesu, a nie doklejane później — bo doklejanie ochrony danych jest znacznie droższe niż zaprojektowanie pod nią.
Kiedy będzie poprawa?
Kontrole jakości na istniejącym procesie da się wstawić w dni i zwykle od razu ujawniają prawdziwy problem. Porządnie zbudowana ścieżka dla jednego istotnego źródła to zwykle trzy do sześciu tygodni.

Czytaj dalej

Pozostałe usługi