To nie halucynacja, to polski wymiar sprawiedliwości. O pułapkach weryfikacji orzeczeń generowanych przez AI.

W poprzednim wpisie rozprawiliśmy się z “kreatywnością” modeli językowych. Wiemy już, że AI potrafi zmyślać. Ale czy wiedzieliście, że równie często to my – ludzie – mylnie oskarżamy system o błąd, bo… nie potrafimy znaleźć orzeczenia, które naprawdę istnieje?

Często spotykam się z taką sytuacją: Użytkownik (prawnik) dostaje od systemu wynik z sygnaturą i fragmentem uzasadnienia. Wpisuje tę sygnaturę w Google lub popularną wyszukiwarkę orzeczeń. Wynik? “Brak danych” lub zupełnie inna sprawa. Diagnoza prawnika: “Gaius halucynuje! Taki wyrok nie istnieje”. Rzeczywistość: Wyrok istnieje, ma się dobrze, ale ukrył się tam, gdzie wzrok Google (i wielu prawników) nie sięga.

Zanim spiszecie odpowiedź systemu na straty, musicie zrozumieć trzy pułapki techniczne, w które wpadają nawet doświadczeni mecenasi przy weryfikacji źródeł.

Pułapka 1: Klątwa powtarzalnych sygnatur

System sygnatur w Polsce nie jest unikalnym identyfikatorem w skali kraju (jak PESEL). Jest unikalny tylko w ramach wydziału danego sądu.

Sygnatura I C 123/23 może dotyczyć:

1. Rozwodu w Sądzie Okręgowym w Warszawie.
2. Sprawy o zapłatę w Sądzie Rejonowym w Pcimiu Dolnym.
3. Sprawy o naruszenie dóbr osobistych w Gdańsku.

W skali kraju mamy dziesiątki, jeśli nie setki orzeczeń o identycznej sygnaturze cyfrowej. Scenariusz: System znajduje i cytuje tezę z wyroku I C 123/23 (mając na myśli sprawę z Gdańska). Ty wpisujesz sygnaturę w Google. Wyskakuje Ci pierwszy link – portal orzeczeń z Warszawy – z zupełnie inną treścią. Twój wniosek: “AI zmyśliło treść”. Prawda: System podał poprawną treść, ale Ty patrzysz na inny wyrok o tym samym numerze. Bez doprecyzowania, o który Sąd chodzi, weryfikacja “na szybko” w Google jest jak rzut monetą.

Pułapka 2: Google nie jest Bogiem (Błędy indeksowania SAOS)

Wielu prawników traktuje Google jako ostateczną wyrocznię. Jeśli czegoś nie ma w Google (lub w popularnym systemie SAOS, z którego Google często czerpie), to znaczy, że nie istnieje. To błąd.

Bazy orzecznictwa, z których korzystają systemy AI (takie jak nasz), są często czyszczone, standaryzowane i naprawiane. Tymczasem w publicznych rejestrach panuje spory bałagan:

• Literówki w sygnaturach: W oficjalnych bazach zdarzają się błędy (np. spacja w złym miejscu, rzymska “I” zamiast arabskiej “1”). Google może zindeksować błędną wersję.
• Błędy metadanych: Wyrok jest przypisany do złej daty lub złego sędziego w publicznym rejestrze.

Gdy nasz system pobiera dane, “sprząta” ten bałagan. Poprawiamy formatowanie, uzupełniamy braki. Efekt? Dostajesz od nas poprawną sygnaturę. Wpisujesz ją w Google… i nie znajdujesz nic, bo Google zindeksowało wersję z błędem (np. bez spacji). Paradoksalnie – system nie znajduje wyniku w Google właśnie dlatego, że podał Ci bardziej precyzyjne dane, niż te dostępne “luzem” w sieci.

Pułapka 3: Sygnatury “Duchy” (Cytowania wtórne)

To najbardziej wyrafinowany przypadek, który w Gaius-Lex widzimy regularnie. Nazywamy to łańcuchem cytowań.

Jak to działa?

1. Mamy Wyrok A (opublikowany, dostępny w Google).
2. W uzasadnieniu Wyroku A sędzia pisze: “Sąd podziela w tym zakresie pogląd wyrażony w wyroku Sądu Apelacyjnego w Katowicach z dn. X, sygn. I ACa 999/18, gdzie stwierdzono, że…”
3. Wyrok B (I ACa 999/18) nigdy nie został opublikowany. Nie ma go w żadnej bazie jako osobnego dokumentu. Jest “Duchem”.

Zaawansowany system wyszukiwawczy (RAG), analizując treść Wyroku A, potrafi wyodrębnić ten cytat i wskazać, że orzecznictwo (reprezentowane przez Wyrok B) ma konkretne stanowisko. Gdy dostaniesz taki wynik, zobaczysz sygnaturę Wyroku B.

Co robi prawnik? Wrzuca I ACa 999/18 w wyszukiwarkę. Wynik: 0. Werdykt prawnika: “Halucynacja. Taka sygnatura nie istnieje”. Rzeczywistość: Sygnatura istnieje i teza jest prawdziwa. System dotarł do niej pośrednio, analizując kontekst innego dokumentu. Wyrok B fizycznie istnieje w aktach sądowych, ale w internecie istnieje tylko jako cytat wewnątrz innej sprawy.

Jak weryfikować mądrze?

Nie namawiam Was do bezkrytycznej wiary w technologię. Namawiam do rzetelnego śledztwa. Weryfikacja odpowiedzi systemu nie może ograniczać się do wklejenia numerka w pasek przeglądarki.

Gdy widzisz sygnaturę, która wygląda na “zmyśloną”:

1. Szukaj kontekstu: Jeśli nie znajdujesz samej sygnatury, wpisz w cudzysłowie fragment tezy orzeczenia. Często doprowadzi Cię to do wyroku “matki”, w którym Twoja “zaginiona” sprawa była cytowana.
2. Sprawdź warianty: Jeśli system podaje I ACa 100/22, a Google milczy, spróbuj poszukać bez spacji lub z innym formatem zapisu. Może się okazać, że publiczna baza ma błąd w indeksowaniu.
3. Zaufaj, ale sprawdzaj (głębiej): W Gaius-Lex zawsze staramy się linkować do źródła. Jeśli linku brak, a system podaje konkretną tezę – istnieje duża szansa, że znalazł ją wewnątrz innego, większego dokumentu.

Czasem “brak wyników wyszukiwania” to nie dowód na błąd AI. To dowód na to, że system wykonał pracę głębiej, niż robi to pierwsza strona wyników Google.