Metodologia i wyniki

Jak mierzymy skuteczność Amaze

Publikujemy wyniki własnego modelu AI na prawdziwych orzeczeniach sądowych, których model nigdy nie widział w treningu. Pokazujemy też, czego te liczby nie mówią.

Wyniki

Dwa zestawy prawdziwych orzeczeń

95 orzeczeń

Recall: 98,2%; wykrył 1 162 z 1 183 fragmentów do zamaskowania
Precyzja: 85,8%; 1 162 z 1 355 zamaskowanych fragmentów

Zero pominiętych osób: wszystkie 419 osób w tych orzeczeniach (imiona, nazwiska, inicjały) zostały zamaskowane.

300 orzeczeń

Recall: 93,8%; wykrył 4 386 z 4 674 fragmentów do zamaskowania
Precyzja: 92,8%; 4 386 z 4 724 zamaskowanych fragmentów

Osoby: 1 460 z 1 520 zamaskowanych we wszystkich wzmiankach. Większość pominięć to inicjały, które zostały po redakcji sądowej.

Pomiar z 28 października 2026: model w wersji 1.3.0 w aplikacji Amaze 0.8.3 (wydanej 28 października 2026). Wyniki aktualizujemy przy każdej zmianie, która wpływa na wykrywanie.

Co znaczą te liczby

Recall

Jaka część danych do zamaskowania została znaleziona. To miara bezpieczeństwa: każdy pominięty fragment to dana, która mogłaby trafić do AI.

Precyzja

Jaka część zamaskowanych fragmentów rzeczywiście była danymi do zamaskowania. Niższa precyzja znaczy, że model czasem maskuje za dużo, np. zwykłe słowo uznaje za nazwę. Wolimy zamaskować za dużo niż za mało.

Metodologia

Na czym testujemy

Żaden dokument testowy nie był użyty w treningu modelu.

Zestaw 95

95 prawdziwych orzeczeń sądowych z publicznego portalu SAOS, nigdy nie użytych do trenowania modelu. Zestaw wydzieliliśmy po wprowadzeniu kontroli przecieku danych treningowych i służy nam za stały punkt odniesienia między wersjami modelu. Wzorcowe oznaczenia przygotował model językowy; sprawdziliśmy je, porównując z czterema innymi modelami i z regułami maskowania. Weryfikacja wzorca przez człowieka jest w toku.

Zestaw 300

300 świeżych orzeczeń z SAOS, pobranych osobno. Rozłączność z danymi treningowymi sprawdziliśmy po identyfikatorze i skrócie treści. Wzorcowe oznaczenia przygotował inny model AI (Claude Sonnet) według 25 spisanych reguł, porównaliśmy je z wynikami 6 innych narzędzi i rozstrzygnęliśmy spory. Sam model Amaze nie brał udziału w przygotowaniu wzorca.

Co liczymy

Liczymy tylko dane, które aplikacja domyślnie maskuje. Poza liczeniem zostaje to, co aplikacja celowo zostawia jawne: nazwy sądów i publicznych instytucji, sygnatury akt, kwoty i stanowiska. Nazwy sądów, sygnatury akt, kwoty i stanowiska możesz włączyć przełącznikiem w ustawieniach. Dane takie jak PESEL, NIP, REGON, KRS, IBAN, e-mail i telefon wykrywają dodatkowo reguły ze sprawdzaniem sum kontrolnych.

Ograniczenia

Czego te liczby nie mówią

Orzeczenia w SAOS sądy publikują już po częściowej anonimizacji: dane stron bywają zastąpione inicjałami albo „(...)”. Test sprawdza, czy model wyłapie wszystko, co w tekście zostało: imiona i nazwiska (np. sędziów, pełnomocników), inicjały, adresy, miejscowości, firmy, numery, daty, kwoty. To nie jest to samo co pismo z kancelarii z pełnymi danymi klienta.
Orzeczenia sądowe to nie wszystkie dokumenty kancelarii. Umowy, korespondencja i notatki mają inny układ i mogą dawać inne wyniki.
Wzorcowe oznaczenia przygotowano według spisanych wytycznych, ale granice niektórych danych (np. gdzie kończy się nazwa firmy) bywają sporne.
W zestawie 95 część oznaczeń firm (22) dodaliśmy w lipcu po przeglądzie fałszywych alarmów wcześniejszej wersji modelu. Dlatego precyzję z tego zestawu traktuj ostrożnie: bez tych oznaczeń byłaby niższa najwyżej o ok. 2 punkty procentowe. Zestaw 300 tego problemu nie ma.
Żadne narzędzie nie zastąpi przeglądu: zawsze przejrzyj zamaskowany tekst przed wklejeniem do AI.

FAQ

Czy 98% to znaczy, że 2% danych trafi do AI? ▼

Nie wprost. W 95 orzeczeniach model pominął 21 fragmentów: 12 nazw miejscowości (głównie jednoliterowe skróty po redakcji sądowej, np. „w W.”), 7 dat, 1 nazwę firmy i 1 adres. Wśród 419 osób nie pominęliśmy żadnej. Dlatego przed wklejeniem warto przejrzeć zamaskowany tekst: w aplikacji widzisz każde wykrycie i możesz dopisać własne frazy do maskowania.

Dlaczego dwa zestawy? ▼

Zestaw 95 to nasz stały punkt odniesienia między wersjami modelu. Zestaw 300 jest większy i świeży, z wzorcem przygotowanym bez udziału naszego modelu, więc lepiej pokazuje, jak model radzi sobie z nowymi tekstami.

Czy testujecie na moich dokumentach? ▼

Nie. Aplikacja działa na Twoim komputerze i nie wysyła nam dokumentów. Testy robimy wyłącznie na publicznych orzeczeniach.

Jak często aktualizujecie wyniki? ▼

Przy każdej nowej wersji modelu, która trafia do aplikacji.

Twoje pisma, Twój test

Sprawdź na własnych pismach: 14 dni za darmo Bezpieczeństwo

14 dni za darmo, bez karty.