Co jest w środku?

  • Dlaczego wskaźnik zaufania nie wystarcza, gdy AI podpowiada etap TNM na podstawie PET-CT.
  • Czym różnią się trzy formy wyjaśnienia XAI i które pytanie kontrolne warto postawić każdej z nich.
  • Jak przygotować mały test interfejsu bez danych pacjenta, aby zobaczyć, czy lekarz umie sprawdzić albo odrzucić rekomendację.

Kierownik pracowni PET-CT nie kupuje bezpieczeństwa razem z kolorowym wskaźnikiem pewności. Gdy system AI pokazuje rekomendację stagingu i dodaje do niej wyjaśnienie, najważniejsze nie jest to, czy ekran wygląda przekonująco, lecz czy lekarz może na jego podstawie zauważyć niezgodność, zadać właściwe pytanie i w razie potrzeby odrzucić podpowiedź. To decyzja o interfejsie pracy klinicznej, a nie konkurs na najbardziej technicznie brzmijącą funkcję.

Świeże badanie opublikowane 13 lipca 2026 r. w La radiologia medica porównało trzy formy wyjaśnienia w symulowanym systemie wspierającym staging TNM raka płuca na PET-CT. Dziesięciu lekarzy medycyny nuklearnej z ośmiu brytyjskich instytucji pracowało na kontrolowanym scenariuszu, nie na wdrożonym produkcie w polskiej placówce. Wynik jest więc użyteczny jako wskazówka do projektowania testu z użytkownikiem, ale nie stanowi walidacji klinicznej ani dowodu trafności dowolnego narzędzia.

Szybka decyzja

  • Nie wybieraj wyjaśnienia po deklarowanym poziomie zaufania modelu. Sprawdź, czy po jego zobaczeniu lekarz potrafi wskazać, co jeszcze trzeba zweryfikować w obrazie lub w informacji klinicznej.
  • Porównaj trzy formy na tym samym, wcześniej przygotowanym scenariuszu. Tylko wtedy można oddzielić użyteczność interfejsu od różnicy między przypadkami.
  • Mierz odrzucenia i uzasadnienia obok czasu oceny. Szybkie kliknięcie „akceptuj” nie jest wynikiem bezpieczeństwa; może oznaczać automation bias.
  • Traktuj test jako próbę workflow. Nie wolno z niego wyprowadzać wniosku, że system samodzielnie rozpoznaje chorobę, zmienia staging albo zastępuje lekarza.

Trzy formy wyjaśnienia i trzy różne pytania

W badaniu porównano atrybucję cech wejściowych, wyjaśnienia oparte na pojęciach wysokiego poziomu oraz globalną przejrzystość algorytmu. To nie jest uniwersalny ranking ekranów dla każdej pracowni. Pokazuje raczej, że głębokość wyjaśnienia ma koszt: szczegół może pomóc w kontroli, ale może też pochłonąć uwagę i nie pasować do naturalnego sposobu oceny badania.

Forma wyjaśnieniaCo może pomóc sprawdzićGłówne ograniczeniePytanie kontrolne lekarza
Atrybucja cech wejściowych, np. zaznaczenie obszaru obrazuCzy model kieruje uwagę na obszar, który da się odnieść do badaniaPokazuje lokalny sygnał, lecz nie musi wyjaśniać logiki klasyfikacji TNMCzy wskazany obszar rzeczywiście uzasadnia tę rekomendację, czy tylko przyciąga wzrok?
Wyjaśnienie pojęciami wysokiego poziomuCzy narzędzie używa pojęć zrozumiałych dla lekarza i zgodnych z kontekstem klinicznymAbstrakcyjny format może być trudny do odczytania i zwiększać obciążenieCzy potrafię wskazać, które pojęcie jest nieadekwatne do tego przypadku?
Globalna przejrzystość logiki, jeżeli dostawca ją udostępniaCzy można prześledzić ogólną regułę, od której zależy rekomendacjaWiększa głębokość może być zbyt powolna dla prostego przypadku i nie będzie dostępna w każdym produkcieCzy ta reguła pasuje do mojego rozumowania, a jeśli nie — co muszę sprawdzić przed decyzją?

W źródłowym eksperymencie wszystkie trzy formy zwiększały deklarowaną gotowość użycia względem modelu typu black box, a wyjaśnienia pomagały uczestnikom potwierdzać lub kwestionować rekomendacje. Jednocześnie po samym wyjaśnieniu doszło tylko do jednej zmiany stagingu. To ważne ostrzeżenie dla managera: akceptacja interfejsu i poczucie użyteczności nie są miarą trafności klinicznej.

Podobny kierunek pokazuje przegląd 16 badań o XAI w szpitalnych systemach wsparcia decyzji. Klinicyści używali wyjaśnień przede wszystkim do walidowania wyniku, a nie do przenoszenia na AI własnego osądu. Zbyt złożone wizualizacje bywają mylące lub czasochłonne, dlatego w lokalnym teście nie wystarczy zapytać, czy rozwiązanie się podoba.

Checklista testu: czy lekarz może podważyć rekomendację?

Nie zaczynaj od podłączania narzędzia do PACS, RIS ani produkcyjnego obiegu opisów. Warto najpierw przygotować mały test użyteczności na danych syntetycznych, publicznych albo prawidłowo zabezpieczonych, zatwierdzony przez kierownika medycznego i — gdy zakres tego wymaga — IOD. Jego celem jest ocena sposobu pracy z wyjaśnieniem, nie sprawdzenie, czy algorytm nadaje się już do opieki nad pacjentem.

Najpierw zespół określa, jaki sygnał ma zatrzymać rekomendację. Przed przeglądem, warto ustalić jedno pytanie kontrolne.

  1. Wybierz jeden scenariusz i jedną niezgodność. Przygotuj ten sam fikcyjny lub bezpiecznie użyty przypadek dla każdego widoku. Niech zawiera element, który powinien skłonić lekarza do sprawdzenia rekomendacji, zamiast do jej automatycznego zaakceptowania.
  2. Pokaż trzy makiety osobno. Zachowaj tę samą rekomendację, ale zmień tylko formę wyjaśnienia. Dzięki temu rozmowa nie pomyli jakości danych z ergonomią ekranu.
  3. Zapisz pytanie kontrolne przed testem. Może ono brzmieć: „jaki element obrazu lub reguły stoi w sprzeczności z podpowiedzią i jak go zweryfikuję?”.
  4. Daj trzy dopuszczalne decyzje. Lekarz może kontynuować sprawdzenie, podważyć rekomendację z krótkim powodem albo ją odrzucić. Nie powinno być opcji „AI zdecydowała”, nawet gdy wynik wygląda oczywiście.
  5. Mierz sześć rzeczy, nie jedną ocenę. Zapisz odsetek zauważonych niezgodności, czas oceny, liczbę odrzuceń, powody odrzucenia, deklarowane obciążenie oraz użyteczność każdej formy wyjaśnienia.
  6. Zakończ próbę granicą wniosku. Jeśli makieta pomogła wychwycić błąd, oznacza to tylko, że warto dopracować protokół i pytać dostawcę o dalsze dowody. Nie oznacza to, że można wdrożyć model klinicznie.

Taka karta jest bardziej wymagająca niż ankieta „czy ufasz AI”, ale daje decyzję, którą da się obronić przed zespołem. W tym teście, najcenniejsza bywa możliwość powiedzenia „nie wiem”. To moment, w którym lekarz zatrzymuje ścieżkę, sprawdza materiał źródłowy i nie pozwala, by pewny siebie ekran zamknął rozumowanie.

Granica między wyjaśnieniem a decyzją kliniczną

Wyjaśnienie może ujawnić, na co system zwrócił uwagę albo jaką regułę wykorzystał. Nie zamienia błędnej sugestii w prawidłowy wynik i nie przenosi na interfejs odpowiedzialności za opis, staging czy dalsze postępowanie. Lekarz nadal konfrontuje podpowiedź z obrazem, informacją kliniczną oraz własną wiedzą, a finalną decyzję podejmuje we właściwym procesie klinicznym.

Polski komentarz NIL do art. 12 Kodeksu Etyki Lekarskiej przypomina, że ostateczna decyzja diagnostyczna i terapeutyczna należy do lekarza. Dokument rozróżnia też wsparcie od użycia AI o istotnym wpływie na świadczenie, dlatego placówka nie powinna tworzyć jednej, automatycznej odpowiedzi o zgodzie pacjenta, certyfikatach czy zakresie użycia. Te kwestie trzeba ocenić dla konkretnego produktu i zamierzonego zastosowania, najlepiej przed testem na realnym materiale.

Jeżeli system podlega reżimowi wysokiego ryzyka, art. 13 i 14 AI Act wymagają odpowiedniej przejrzystości i skutecznego nadzoru człowieka. Nie oznacza to, że każdy system PET-CT automatycznie wpada do tej kategorii. Dla managera praktyczny wniosek jest prostszy: dostawca powinien pokazać ograniczenia, sposób interpretacji wyniku oraz mechanizm, który pozwala lekarzowi zignorować lub podważyć podpowiedź. Pytania o status wyrobu, integrację i ślad decyzji pozostają osobną decyzją zakupową, opisaną szerzej w materiale AI w radiologii prywatnej.

Kiedy test daje użyteczny sygnał, a kiedy trzeba się zatrzymać

Pilotaż warto rozważyć dopiero wtedy, gdy pracownia ma jednego właściciela klinicznego testu, opisane źródło danych, ustalony zakres przypadków oraz czas w grafiku na niezależną ocenę. Dobra próba sprawdza zdolność do zauważenia problemu, a nie to, czy zespół szybciej przywyknie do nowego widoku. Polski kontekst diagnostyki obrazowej warto śledzić, bo Centrum e-Zdrowia opisuje rozwój PUI, ale centralny projekt nie zastępuje lokalnej oceny konkretnego narzędzia.

Zatrzymaj pilotaż, gdy dostawca nie potrafi oddzielić wskaźnika zaufania od wyjaśnienia, nie pokazuje ograniczeń lub chce oceniać działanie wyłącznie na podstawie akceptacji użytkowników. Nie uruchamiaj też scenariusza, w którym lekarz nie ma czasu ani prawa powiedzieć „sprawdzam”. Wtedy problemem nie jest brak kolejnego wykresu XAI, tylko niebezpiecznie ustawiona odpowiedzialność.

Źródła