Streszczenia, które nie gubią faktów

Kiedy pytam ludzi, czego boją się w streszczeniach robionych przez AI, prawie zawsze słyszę o halucynacjach: model wymyśli diagnozę, której nigdzie nie ma. Badania wskazują na coś cichszego. Gdy modele językowe streszczają dokumentację kliniczną, pominięcia okazują się jakieś 2,3 razy częstsze niż halucynacje, a w badaniu, w którym GPT-4 streszczał wizyty na SOR-ze, 47% streszczeń gubiło informację istotną klinicznie. Halucynacja przynajmniej stoi na stronie i recenzent może się z nią spierać. Pominiętego faktu po prostu nie widać.

Ten odsetek brzmi niegroźnie, dopóki się nie policzy. Jeśli pominięcie trafia się w 3,5% zdań, to czterdziestozdaniowe streszczenie grubej teczki niemal na pewno coś zgubiło. A jeśli zgubiło akurat tę jedną przebytą chorobę, która zmieniłaby ocenę, to nie zaoszczędziło nikomu czasu, tylko po cichu zepsuło decyzję.

Fact-checker nie zobaczy tego, czego brakuje

Wciąż trafiam na ten sam błąd inżynierski. Zespół dokłada do pipeline'u krok weryfikacji, zwykle checker w rodzaju MiniCheck albo SummaC, i uznaje sprawę za załatwioną. Tyle że te narzędzia odpowiadają na jedno jedyne pytanie: czy wszystko, co stoi w streszczeniu, ma pokrycie w źródle? To jest precyzja. Pominięcia to problem czułości i trzeba do nich osobnych przyrządów. Jest claim recall (DocLens), jest mierzenie pokrycia przez krzyżowe odpytywanie źródła i streszczenia wygenerowanymi pytaniami (M42 wystawiło swoje jako REST API, bez GPU), jest wreszcie MED-OMIT, który każdy zgubiony fakt waży tym, jak mocno przesunąłby diagnostykę różnicową. Pipeline sprawdzający tylko fakty zda wszystkie swoje testy i dalej będzie gubił informacje.

Co z tym robią ubezpieczyciele

Towarzystwa ubezpieczeniowe czytają dokumentację medyczną na skalę przemysłową, a przeoczone schorzenie kosztuje je prawdziwe pieniądze. Ich dostawcy doszli z czasem do wspólnego schematu i warto go podpatrzeć.

Pierwsza rzecz: ekstrakcja przed generacją. Najpierw wypełnia się ustrukturyzowany schemat, czyli rozpoznania, leki, daty i kody, a narrację pisze się dopiero z tej struktury. Pominięcie widać wtedy jako puste pole, które można policzyć, a nie jako brakujące zdanie, którego nikt nie zauważy.

Druga: click-to-evidence. Każde zdanie streszczenia prowadzi do strony źródłowej, z której pochodzi. AWS HealthScribe nazywa to EvidenceLinks; DigitalOwl, Wisedocs i Sixfold sprzedają własne wersje tego samego. Cytowania pozwalają szybko sprawdzić, co do streszczenia weszło. Tego, co nie weszło, nie pokażą, i dlatego nigdy nie występują same.

Trzecia: człowiek w pętli, na głębokości dobranej przez dostawcę. Jedni każą ekspertom przejrzeć każdy wynik przed wysyłką do klienta. Inni kierują do człowieka tylko pola o niskiej pewności. Wszyscy zostawiają ostateczną decyzję człowiekowi, a amerykańskie regulacje idą w tę samą stronę: AI może streszczać, ale decyzję musi podjąć licencjonowany klinicysta.

Czwarta: nieufność wobec pojedynczego źródła dowodów. Reasekurator RGA sprawdził AI-streszczone rekordy cyfrowe na około dwóch tysiącach wniosków i wyszło mu, że wychwytują mniej schorzeń niż tradycyjna dokumentacja od lekarzy i wyniki badań. Wniosek nie brzmiał „wyrzucamy AI", tylko: puszczamy obok siebie źródła cyfrowe, tradycyjne i ludzką ekspertyzę.

I jeszcze jedno rzuca się w oczy. Żaden dostawca nie publikuje odsetka przeoczeń, a deklaracje w rodzaju „97% dokładności" to marketing. Uczciwy sygnał siedzi w architekturze: wszyscy w tej branży obudowują model strukturą, cytowaniami i przeglądem, bo nikt tam nie ufa mu w wersji surowej.

Przepis

Ściśnięte do jednego pipeline'u wygląda to tak: najpierw inwentaryzacja każdej strony, przy czym nieczytelne skany dostają flagę, zamiast po cichu wypadać. Potem ekstrakcja do ustrukturyzowanego schematu. Streszczanie kawałkami, według stałej checklisty wymaganych sekcji. Każde zdanie podlinkowane do źródła. Na końcu bramka jakości, która mierzy czułość i precyzję osobno, a wszystko poniżej progu idzie do człowieka i zostawia ślad w audycie.

Nic z tego nie robi z modelu narzędzia dokładnego. Robi za to z systemu coś trudnego do oszukania. I to jest wniosek, do którego ostatnio dochodzę z każdej strony: model nigdy nie będzie stuprocentowy i nigdy nie o to chodziło. Chodzi o system, w którym brakujące zdanie nie ma się gdzie schować.