Po udanym pilotażu agenta AI (sztucznej inteligencji) manager przychodni musi ustalić, ile kontroli utrzymać w codziennej pracy. Dodatkowy przegląd kierownika można ograniczać dopiero po spełnieniu zapisanych kryteriów jakości; poniższy plan na 30, 60 i 90 dni pokazuje, co sprawdzać, kiedy pozostać przy pełnej kontroli i kiedy zatrzymać narzędzie.

Agent AI to tutaj program, który wykonuje kilka powiązanych czynności: odczytuje zapytanie organizacyjne, wyszukuje zatwierdzone informacje przychodni i zapisuje szkic odpowiedzi przy danej sprawie. Rozpatrujemy jeden proces w polskiej placówce: odpowiedzi na pytania o godziny pracy, dojazd i sposób zapisania się na wizytę. Agent nie ocenia objawów, nie wybiera leczenia i nie zmienia rezerwacji.

Rejestracja sprawdza i zatwierdza każdą odpowiedź przed wysłaniem pacjentowi. Nadzór opisany dalej jest drugim przeglądem: kierownik ocenia jakość całego procesu, pominięcia, poprawki i obciążenie rejestracji. Z czasem może sprawdzać ponownie tylko wybraną część zwykłych spraw, nazywaną dalej próbą. Nie usuwa to zatwierdzania wiadomości przez człowieka ani obowiązku zajęcia się każdym wyjątkiem.

Ustal dozwolone czynności agenta w przychodni

Zacznij od zakresu już sprawdzonego w pilotażu. Jeżeli narzędzie przygotowywało odpowiedzi o godzinach pracy jednej przychodni, pierwsze tygodnie zwykłego użycia powinny obejmować ten sam rodzaj zapytań i tę samą lokalizację. Przyjęcie większej liczby podobnych spraw oraz dodanie nowej czynności to osobne decyzje. Wysyłanie wiadomości, odwoływanie wizyt czy odczytywanie dokumentacji nie stają się dozwolone tylko dlatego, że szkice wychodziły poprawnie.

Właścicielem tego procesu może być kierownik rejestracji. To on zna codzienne pytania, widzi poprawki po narzędziu i potrafi sprawdzić, czy sprawa rzeczywiście została obsłużona. Manager placówki zapewnia mu czas na przegląd oraz wskazuje zastępcę. Dostawca konfiguruje dostęp programu i pomaga usunąć błędy, lecz nie podejmuje za przychodnię decyzji o ograniczeniu kontroli.

Granice trzeba sprawdzić w działającym systemie. Dostawca lub administrator techniczny pokazuje na fikcyjnym zapytaniu, że agent potrafi utworzyć szkic, ale nie może sam go wysłać, zmienić wizyty ani usunąć sprawy. Kierownik potwierdza też, gdzie wyłącza się funkcję i jak rejestracja przejmuje kolejkę.

Model AI to część programu, która interpretuje zapytanie i układa tekst. Wymiana modelu oznacza zmianę tej części; zmiana instrukcji oznacza przekazanie jej innych poleceń, a zmiana uprawnień — udostępnienie aplikacji innych czynności. Polecenie „nie wysyłaj” nie zastępuje technicznej blokady wysyłania. Samo wpisanie zakazu do instrukcji modelu nie potwierdza więc ograniczenia dostępu.

Pomysł osobnego okresu nadzoru po pilotażu opisał 22 września 2026 r. w MedCity News Jost-Vincent Steiskal, odpowiedzialny za produkt u dostawcy agentów mdhub. To perspektywa dostawcy, nie badanie skuteczności polskich przychodni. Przydatnym punktem wyjścia jest rozdzielenie udanej próby od stabilnej codziennej pracy; szczegółowa karta w tym artykule jest propozycją redakcyjną, a nie standardem zaczerpniętym z tej publikacji. Tekst MedCity News.

Sprawdzaj także zapytania, których agent nie obsłużył

Najłatwiej oceniać szkice, które pojawiły się na ekranie. Taki przegląd odpowiada jednak tylko na pytanie, czy widoczne wyniki są poprawne. Nie pokazuje, czy agent pozostawił bez odpowiedzi część zapytań, przypisał szkic do innej sprawy albo przerwał działanie, zanim cokolwiek zapisał. Właśnie dlatego mniejsza liczba poprawek może dawać mylący obraz: trudniejsze zapytania mogły zniknąć z ocenianej listy.

Punktem odniesienia powinna być pełna lista zapytań przekazanych agentowi, dostępna także po jego wyłączeniu. Przy każdym numerze sprawy rejestracja powinna zobaczyć jeden ze stanów: szkic czeka na zatwierdzenie, odpowiedź została wysłana przez człowieka albo zapytanie przejął wskazany pracownik. Brak wyniku również pozostaje widoczny, wraz z czasem oczekiwania. Samo oznaczenie „przekazano do rejestracji” nie kończy sprawy, jeśli nikt jej nie podjął.

Kierownik porównuje tę listę z listą wyników. Gdy brakuje szkicu, najpierw ustala, co stało się z zapytaniem. Nie uznaje samego braku za prawidłowe przekazanie sprawy człowiekowi: musi potwierdzić powód i pracownika, który ją przejął. Gdy szkic istnieje, ale trafił pod inny numer, traktuje to jako błąd przypisania. W tym przeglądzie numer sprawy łączy wejście z wynikiem; nie trzeba tworzyć kolejnej kopii całej wiadomości pacjenta w arkuszu nadzoru.

Do dodatkowego sprawdzenia trafiają wszystkie rozpoznane wyjątki oraz część zwykłych spraw. Wyjątkiem jest tu sytuacja wymagająca uwagi człowieka: brak zatwierdzonej informacji, sprzeczne dane o godzinach pracy, brak wyniku albo wiadomość wykraczająca poza ustalony zakres. Lista wyjątków musi uwzględniać zgłoszenia rejestracji i wykryte pominięcia, nie tylko oznaczenia nadane przez agenta. Program może przecież nie zauważyć własnego błędu.

Próbę zwykłych spraw kierownik wybiera z różnych dni, rodzajów pytań i zmian rejestracji. W każdej z tych grup losuje sprawy, zamiast brać pierwsze z brzegu. Dzięki temu nie sprawdza wyłącznie łatwych odpowiedzi z poranka. Jeśli jakaś grupa nie trafiła do przeglądu, nie ma jeszcze podstaw, by ograniczać w niej kontrolę.

To rozróżnienie prowadzi do konkretnej decyzji: nie zmniejszaj przeglądu, dopóki nie potrafisz wykazać, co stało się z każdym zapytaniem. Codzienne uzgodnienie obu list zostaje także po przejściu na mniejszą próbę treści. Oszczędność czasu ma wynikać z rzadszego ponownego czytania poprawnych szkiców, a nie z rezygnacji ze sprawdzania, czy sprawy nie giną.

Przykład modelowy: ustal warunki zmniejszenia kontroli

Przed rozpoczęciem okresu nadzoru ustal sposób liczenia błędów. Zmiana stylu to na przykład skrócenie uprzejmego wstępu bez zmiany informacji. Poprawka merytoryczna zmienia odpowiedź na pytanie pacjenta, choćby godzinę zamknięcia przychodni. Błąd poważny obejmuje w tym planie wysyłkę bez zatwierdzenia, ujawnienie danych innej osoby, utratę sprawy lub wyjście agenta poza dozwolone czynności. Nie sumuj tych zdarzeń w jeden uspokajający procent „jakości”.

Kierownik ocenia oryginalny szkic i zmianę naniesioną przez rejestrację. Jeżeli czyta wyłącznie odpowiedź po poprawkach, mierzy jakość pracy człowieka. Liczy sprawy wymagające co najmniej jednej poprawki merytorycznej, a nie liczbę zmienionych informacji. Szkic z błędną godziną i błędnym dojazdem to jedna taka sprawa; oba błędy trzeba jednak opisać. Zmiany samego stylu zapisuje oddzielnie.

Osobno mierz średni czas pracy ludzi na jedną obsłużoną sprawę. Zsumuj minuty poświęcone przez rejestrację i kierownika na sprawdzanie, poprawianie i dokończenie wszystkich spraw z okresu, w tym wyjątków. Podziel sumę przez liczbę obsłużonych spraw. Nie wliczaj czasu oczekiwania w kolejce — kolejkę oceniasz osobno. Porównaj wynik z tak samo policzoną średnią sprzed agenta, osobno dla każdego rodzaju zapytania. Krótsze generowanie tekstu nie musi oznaczać mniejszej ilości pracy.

Poniższe liczby służą do pokazania, jak połączyć wielkość próby z decyzją. Nie są potwierdzonym progiem bezpieczeństwa ani zaleceniem klinicznym. Właściciel procesu musi ocenić je przed użyciem z osobą odpowiedzialną za bezpieczeństwo i dostawcą, uwzględniając rzeczywisty zakres, ryzyko oraz liczbę zapytań. Jeśli tego nie potrafi, pozostaje przy pełnym przeglądzie.

Przykład modelowy — progi i wielkości prób poniżej są redakcyjną propozycją dla szkiców odpowiedzi organizacyjnych zatwierdzanych przez rejestrację. Nie opisują wyników żadnej przychodni ani nie dowodzą, że określona liczba poprawnych odpowiedzi wystarcza do bezpiecznej automatyzacji.

W tej propozycji przejście wymaga dwóch kolejnych poprawnych okresów przeglądu, każdy obejmujący co najmniej 50 sprawdzonych zwykłych spraw z używanych rodzajów zapytań. Okres jest poprawny, gdy spełnia wszystkie opisane tu warunki. Odsetek spraw wymagających poprawki merytorycznej nie może przekroczyć 2%: liczbę takich spraw dzielisz przez liczbę sprawdzonych zwykłych spraw. Przy 50 sprawach dopuszcza to jedną wymagającą poprawki. Wyjątki oceniasz osobno i nie powiększasz nimi tej liczby, aby nie rozcieńczać wyniku.

Każdy poważny błąd zatrzymuje przejście niezależnie od średniej. Wszystkie zapytania muszą mieć wyjaśniony stan, a wszystkie wyjątki — potwierdzone, prawidłowe przejęcie i obsługę przez człowieka. Powracający problem w jednym rodzaju pytań wymaga wyjaśnienia nawet wtedy, gdy łączny odsetek poprawek mieści się w granicy.

Warunkiem przejścia jest też brak narastającej zaległej kolejki i średni czas pracy ludzi na sprawę nie większy niż przed agentem, dla każdego rodzaju pytań. Jeśli jakość pozostaje dobra, ale kontrola kosztuje więcej pracy niż dotychczasowa obsługa, utrzymaj zakres i usuń przyczynę. Nie rozszerzaj wdrożenia po to, by większą liczbą szkiców przykryć dodatkowy wysiłek rejestracji.

Nawet spełnienie tych kryteriów nie wyklucza rzadkiego błędu. Próbka daje ograniczoną wiedzę o sprawdzonym procesie. Raport amerykańskiego Narodowego Instytutu Standardów i Technologii (NIST) z 9 marca 2026 r. wskazuje, że skuteczne monitorowanie wdrożonych systemów AI nadal ma otwarte problemy, w tym dobór częstotliwości i połączenie kontroli automatycznej z oceną człowieka. Nie ma tu podstaw do obiecywania uniwersalnej, bezpiecznej próbki dla każdej placówki. Omówienie NIST.

Karta decyzji: nadzór przez 30, 60 i 90 dni

Skopiuj kartę do dokumentacji jednego procesu. Dopisz datę startu, rodzaje zapytań, zatwierdzone kryteria, nazwisko kierownika i zastępcę. Dni 30, 60 i 90 wyznaczają spotkania oceniające, nie terminy automatycznego zmniejszenia kontroli. Jeśli brakuje spraw do próby lub nie spełniono warunków, etap trwa dłużej.

Okres po pilotażuDodatkowy przegląd kierownikaDecyzja na koniec okresu
Dni 1–30Wszystkie szkice, wyjątki i sprawy bez wynikuMniejsza próba tylko po spełnieniu wszystkich kryteriów z poprzedniej sekcji
Dni 31–60Wszystkie wyjątki oraz 50% zwykłych spraw, minimum 20 tygodniowoUtrzymaj albo zmniejsz próbę po dwóch nowych poprawnych okresach przy tym poziomie kontroli
Dni 61–90Wszystkie wyjątki oraz 20% zwykłych spraw, minimum 20 tygodniowoZatwierdź dalszy rytm kontroli; rozszerzenie zakresu wymaga osobnej decyzji

Procent dotyczy zwykłych spraw; wyjątki sprawdzasz dodatkowo w całości. Gdy zwykłych spraw jest mniej niż 20 tygodniowo, obejmij wszystkie. W pozostałych tygodniach oblicz wymagany procent, zaokrąglij liczbę spraw w górę i wybierz większą wartość: ten wynik albo 20. Przy 41 sprawach i kontroli 50% sprawdzasz więc 21. Zachowaj opisany wcześniej podział na rodzaje pytań i dni pracy. Jeżeli w małej grupie nie da się dobrać rozsądnej próby, sprawdź całą grupę.

Pierwszy okres przeglądu otwierasz w dniu rozpoczęcia nadzoru. Zamykasz go na końcu pierwszego tygodnia, w którym uzbierasz minimum 50 sprawdzonych zwykłych spraw. Następny zaczyna się od kolejnego tygodnia; żadnej sprawy nie liczysz ponownie. Wyniki wyjątków zapisujesz oddzielnie, razem z potwierdzeniem ich obsługi. W małej przychodni zebranie dwóch okresów może potrwać dłużej niż 60 dni.

Każde zmniejszenie kontroli wymaga dwóch nowych, kolejnych poprawnych okresów przy aktualnym poziomie przeglądu. Po redukcji otwórz nowy okres od następnego tygodnia; wcześniejszych zaliczeń nie wykorzystujesz ponownie. Okres niespełniający choć jednego warunku przerywa serię: po usunięciu przyczyny trzeba zebrać dwa poprawne od nowa. Nie przenoś spraw ani korzystnych wyników pomiędzy okresami.

Na spotkaniu kierownik wskazuje konkretną decyzję: zachować kontrolę, zmniejszyć dodatkowy przegląd albo wstrzymać agenta. Zapisuje okres, liczbę spraw, wyniki i uzasadnienie. Taki zapis, ułatwia kolejną rozmowę. Rejestracja nadal zatwierdza każdą wysyłkę, a sprawdzenie kompletności listy zapytań odbywa się codziennie we wszystkich etapach.

Rozszerzenie na nowy rodzaj pytań otwiera dla niego pełny przegląd. Nie zmniejszaj jednocześnie kontroli starego zakresu i nie dodawaj nowego: później trudno ustalić, skąd wziął się wzrost poprawek. Nawet 90 spokojnych dni nie oznacza zgody na zmianę uprawnień agenta.

Błąd lub zmiana konfiguracji przywraca pełny przegląd

Poważny błąd oznacza natychmiastowe wstrzymanie agenta w tym procesie. Wyznaczona osoba wyłącza funkcję w uzgodnionym miejscu, a rejestracja przechodzi na obsługę ręczną. Kierownik zabezpiecza zapis zdarzenia i ustala, które sprawy mogły zostać dotknięte problemem. Podejrzenie naruszenia danych przekazuje osobie odpowiedzialnej za ich ochronę, zgodnie z procedurą placówki.

Przekroczenie 2% spraw wymagających poprawki merytorycznej w zamkniętym okresie, niewyjaśniona różnica między listami lub narastająca kolejka wymagają powrotu do sprawdzania wszystkich wyników. Nie trzeba czekać na zamknięcie okresu, gdy już wcześniej widać serię błędów. Jeśli pełna kontrola nie może ochronić obsługi albo nie da się odtworzyć losu zapytań, także tutaj należy wstrzymać narzędzie. Nie czekaj na koniec miesiąca tylko dlatego, że termin spotkania wpisano już do kalendarza.

Ponowny pełny przegląd obowiązuje również po zmianie modelu, instrukcji, źródła informacji, połączenia z innym systemem lub uprawnień. Dostawca opisuje różnicę i wersję, administrator techniczny potwierdza zastosowaną konfigurację, a kierownik sprawdza zachowanie na fikcyjnych zapytaniach przed powrotem do rzeczywistej obsługi. Pomocne rozróżnienie zmiany modelu i konfiguracji opisuje artykuł o sprawdzaniu aktualizacji AI przed użyciem.

Po wznowieniu liczenie dwóch poprawnych okresów zaczyna się od nowa dla zmienionego zakresu. Nie przenoś wyniku poprzedniej wersji jako dowodu jakości nowej. Jeśli dostawca nie pozwala wrócić do wcześniejszej konfiguracji, planem awaryjnym pozostaje obsługa ręczna; możliwość cofnięcia wersji trzeba potwierdzić, a nie założyć.

Starsze ramy zarządzania ryzykiem NIST z 26 stycznia 2023 r. wiążą nadzór po wdrożeniu z obsługą zdarzeń, zmian i możliwością wyłączenia systemu. To tło organizacyjne, nie polskie prawo ani gotowy harmonogram kontroli. NIST AI RMF, części MANAGE 2.4 i 4.1.

W polskim kontekście istotne jest także stanowisko Urzędu Ochrony Danych Osobowych (UODO) z 21 lipca 2025 r.: zabezpieczenia wymagają bieżącej oceny, a umowa z dostawcą nie zwalnia administratora danych z odpowiedzialności. Administratorem danych jest tu placówka decydująca, po co i w jaki sposób przetwarza dane, a nie osoba zajmująca się technicznie systemem. To starsze tło ochrony danych, nie ocena skuteczności agentów. Rejestr nadzoru powinien mieć ograniczony dostęp i nie powielać wiadomości, gdy wystarcza numer sprawy oraz rodzaj błędu. Wyjaśnienie UODO.

Zacznij od jednej decyzji z kierownikiem rejestracji

Na najbliższe spotkanie przynieś zakres zakończonego pilotażu i listę zapytań z jednego dnia. Z kierownikiem rejestracji prześledź każde zapytanie do szkicu, zatwierdzonej odpowiedzi albo osoby, która je przejęła. To pierwszy krok: potwierdzenie, że przyszły nadzór obejmie cały proces, zanim zaczniecie ustalać mniejszą próbę.

Następnie uzgodnijcie kryteria, dostępny czas na kontrolę i sposób zatrzymania agenta. Dostawca powinien zademonstrować wyłączenie oraz zachowanie spraw w kolejce. Wasze krótkie podsumownie spotkania może zmieścić się obok karty, pod warunkiem że pokazuje, kto zatwierdził zakres i kto podejmie następną decyzję.

Warto kontynuować ograniczone użycie, gdy przychodnia umie policzyć wszystkie sprawy, wyjaśnić wyjątki i zapewnić czas osoby sprawdzającej. Bez tych warunków pozostań przy obsłudze ręcznej lub zawęź zakres do tego, który faktycznie potraficie kontrolować. Celem końca 90. dnia jest uzasadniona decyzja o dalszym nadzorze, a nie obowiązkowe przejście na mniejszą kontrolę.

Źródła