Dwaj lekarze w polskiej przychodni czytają tę samą notatkę przygotowaną przez AI (sztuczną inteligencję): jeden uznaje ją za kompletną, drugi wskazuje pominięcie. Zanim ich oceny posłużą do sprawdzania narzędzia, kierownik medyczny powinien uzgodnić kryterium i zachować oba uzasadnienia; na jednym fikcyjnym przypadku pokażemy, jak dojść do wspólnej oceny albo pozostawić sprawę nierozstrzygniętą.

Chodzi o przygotowanie testu programu, który tworzy szkic notatki z wizyty. Tekst jest dla kierownika medycznego i managera organizującego taki test. Potrzebują wzorca oceny, czyli uzgodnionego opisu tego, co notatka powinna zawierać i jakie pominięcia oznaczają błąd. AI może uporządkować uwagi lekarzy, ale nie ustala za nich poprawnej odpowiedzi. Wynikiem tej pracy ma być decyzja o przydatności przypadku do testu, bez oceniania kompetencji osób, które się nie zgodziły.

Przykład modelowy: dwaj lekarze inaczej rozumieją kompletność notatki

Przykład modelowy — przychodnia, fragment rozmowy, szkic AI i wypowiedzi obu oceniających są wymyślone na potrzeby tego tekstu. Nie pochodzą z dokumentacji pacjenta. Pokazują uzgadnianie kryterium testowego, a nie zalecenie kontroli lekarskiej ani wynik rzeczywistego wdrożenia.

W przygotowanym do próby zapisie rozmowy znajduje się zdanie: „Termin wizyty kontrolnej pacjent uzgodni telefonicznie z rejestracją”. Program skrócił je w notatce do: „Zalecono kontrolę”. Obaj lekarze otrzymują ten sam zapis rozmowy, ten sam szkic i polecenie oceny jego kompletności.

Pierwszy lekarz akceptuje notatkę: zachowano informację o kontroli, a szczegóły umówienia wizyty uznaje za organizacyjne. Drugi jej nie akceptuje: zniknęło ustalenie, kto i w jaki sposób ma umówić termin. Każdy potrafi wskazać powód swojej decyzji. Samo zapisanie dwóch różnych ocen nie wyjaśnia jeszcze, którą regułę powinien stosować przyszły test.

Jeżeli kierownik wybierze ocenę lekarza z dłuższym stażem, otrzyma jeden wynik, ale niekoniecznie jasne kryterium. Jeżeli uśredni oceny, nadal nie będzie wiadomo, czy pominięcie sposobu umówienia terminu jest dopuszczalne. Najpierw trzeba ustalić, co w tej próbie oznacza kompletność.

Kierownik medyczny doprecyzowuje kryterium kompletności notatki

Kierownik prosi każdego lekarza o wskazanie konkretnego fragmentu rozmowy i wyjaśnienie, dlaczego jego zachowanie albo pominięcie wpływa na ocenę. W naszym przypadku oba uzasadnienia dotyczą tego samego zdania. Różni je zakres kryterium: sama informacja o kontroli lub także uzgodniony sposób umówienia wizyty.

Na potrzeby tego modelowego testu kierownik z lekarzami przyjmuje drugą wersję. Zapisuje, że notatka ma zachować informację o kontroli oraz o tym, że pacjent uzgodni termin telefonicznie z rejestracją. To proponowana przez redakcję reguła dla tego przypadku. Nie jest ogólnym standardem kompletności dokumentacji ani przepisem określającym treść każdej notatki lekarskiej.

Obok kryterium pozostają pierwotne oceny i ich uzasadnienia. Kierownik dopisuje, co uzgodniono i dlaczego wcześniejsze polecenie dopuszczało różne interpretacje. Taki zapis, ułatwia powrót do rozmowy. Pierwsza rozbieżność nie znika z historii tylko dlatego, że udało się ją później wyjaśnić.

Potrzebę takiej pracy podkreśla Sergio Bruccoleri z Appen, firmy zajmującej się przygotowaniem danych i oceną modeli. W wywiadzie opublikowanym przez Healthcare IT News 16 października 2026 r. mówi o udziale ekspertów klinicznych i rozstrzyganiu różnic między nimi. To wypowiedź przedstawiciela dostawcy, nie nowe badanie skuteczności klinicznej. Opisana tutaj procedura jest naszym przełożeniem tego problemu na przygotowanie próby w polskiej placówce.

Wzorzec oceny notatki określa sens, a nie dokładne brzmienie

Po doprecyzowaniu reguły lekarze ponownie oceniają niezmieniony szkic AI. W tym scenariuszu stwierdzają, że „Zalecono kontrolę” nie spełnia przyjętego kryterium, bo pomija uzgodniony sposób umówienia wizyty. To wynik oceny pierwotnej notatki. Nie należy poprawiać jej przed ponownym odczytaniem, a potem przypisywać poprawnej wersji narzędziu.

Lekarze mogą osobno zapisać przykłady dopuszczalnego brzmienia. „Pacjent telefonicznie uzgodni z rejestracją termin kontroli” oraz „Wizyta kontrolna: pacjent zadzwoni do rejestracji, aby ustalić termin” zachowują w tym przykładzie tę samą informację. Wzorzec określa wymagany sens, nie jedyne dozwolone zdanie. Odmienny szyk nie powinien sam przesądzać o błędzie.

Podobne rozdzielenie materiału wejściowego i notatki widać w pracy nad ACI-Bench (zbiorem rozmów i notatek do testowania ich automatycznego tworzenia). Autorzy publikacji z 2023 r. opisali oznaczanie treści notatek bez oparcia w rozmowie oraz poprawianie błędów przez osoby z przygotowaniem medycznym. To przykład kontroli zbioru badawczego, nie dowód, że zaproponowana tu reguła została sprawdzona klinicznie w Polsce.

Gdy kryterium się zmienia, kierownik wskazuje jego nową wersję i przypadki wymagające ponownej oceny. Nie porównuj ocen wystawionych według różnych reguł tak, jakby obowiązywały te same zasady. Dotyczy to również sytuacji, w której porównuje się dwóch dostawców programu.

Brak wspólnej oceny notatki trzeba pokazać w raporcie z testu

Uzgodnienie nie zawsze się uda. Jeżeli lekarze nadal różnią się w ocenie znaczenia pominiętej informacji, kierownik może poprosić o opinię kolejnego lekarza z odpowiednimi kompetencjami. Powinien przekazać mu materiał wejściowy, kryterium i oba uzasadnienia. Dodatkowa opinia ma wyjaśnić spór, a nie tylko dostarczyć głos potrzebny do większości.

Jeżeli nadal brakuje podstaw do rozstrzygnięcia, proponowane oznaczenie brzmi „nierozstrzygnięty”. Przypadek pozostaje w zestawie materiałów, lecz do wyjaśnienia nie służy do przypisania narzędziu poprawnej lub błędnej odpowiedzi. Kierownik zapisuje, czego brakuje oraz kto ma zebrać informacje potrzebne do powrotu do oceny.

Wyłączenie z tego rachunku musi być widoczne. W raporcie pokaż osobno liczbę wszystkich przygotowanych przypadków, liczbę ocenionych i liczbę nierozstrzygniętych, wraz z powodami. Inaczej odbiorca może uznać wynik z łatwiejszej części próby za wynik całego testu. Jeśli wyłączono właśnie przypadki najważniejsze dla planowanego zastosowania, na podstawie pozostałych nie zatwierdzaj tego zastosowania.

W naszym pojedynczym przykładzie nie ma podstaw do obliczania skuteczności narzędzia ani zgodności lekarzy w całej placówce. Można powiedzieć tylko, czy dla tej notatki udało się ustalić uzasadnioną ocenę. Nawet pełna zgoda dwóch osób nie dowodzi, że ocena jest prawdziwa; trzeba umieć wskazać jej podstawę w materiale i przyjętym kryterium.

AI porządkuje uwagi, lekarze ustalają wzorzec

W tej próbie AI można powierzyć zadanie pomocnicze: zestawienie dwóch pisemnych uzasadnień obok odpowiadających im fragmentów fikcyjnej rozmowy. Lekarze sprawdzają, czy narzędzie nie pominęło zastrzeżenia i nie dopisało argumentu, którego nikt nie podał. Taka pomoc może ułatwić odczytanie uwag, lecz nie kończy sporu.

Nie używaj odpowiedzi tego samego programu jako rozstrzygającego głosu o poprawności jego notatki. Również drugi model nie staje się przez sam udział niezależnym ekspertem klinicznym. Osobny tekst opisuje ograniczenia automatycznej oceny odpowiedzi AI; tutaj najpierw ustalamy podstawę oceny dokonywanej przez ludzi.

Decyzje diagnostyczne i terapeutyczne pozostają po stronie lekarza. W polskim Kodeksie Etyki Lekarskiej wskazuje to art. 12 pkt 4, a art. 8 dotyczy staranności także przy dokumentowaniu postępowania. Kodeks nie ustanawia jednak opisanej w tym artykule metody uzgadniania ocen. Próba na fikcyjnym materiale nie jest również zgodą na przekazywanie rzeczywistej dokumentacji do dowolnego narzędzia AI.

Omów z lekarzami jedną notatkę, zanim włączysz ją do testu AI

Manager może przygotować na spotkanie jedną fikcyjną rozmowę, niezmieniony szkic AI i osobne uzasadnienie każdego z dwóch lekarzy. Najpierw lekarze zapisują oceny samodzielnie, zanim poznają opinię drugiej osoby. Kierownik medyczny prowadzi późniejszą rozmowę o konkretnym pominięciu; manager organizuje materiały i termin spotknia.

Do dalszego testu włącz przypadek, gdy wiadomo, jaką informację sprawdza kryterium, na czym oparto ocenę i kto zatwierdził rozstrzygnięcie. Zachowaj zarówno pierwotne uzasadnienia, jak i ocenę po doprecyzowaniu reguły. Uzgodnienie kryterium nie oznacza zaliczenia notatki: w opisanej scenie szkic AI nadal nie zawiera wymaganej informacji.

Jeśli rozmowa kończy się jedynie zgodą na „średnią ocenę”, zostaw przypadek jako nierozstrzygnięty. Ustal, kto wróci z brakującym wyjaśnieniem i kiedy odbędzie się kolejna ocena. Wtedy ze spotkania wychodzi konkretne zadanie, a nie pozorna jednomyślność wpisana do wyniku programu.

Źródła