Agenci AI też się męczą

Co kilka tygodni ktoś zadaje mi wariant tego samego pytania: „Kiedy agenci będą na tyle niezawodni, że będzie można po prostu ufać wynikom?". Uczciwa odpowiedź brzmi: nigdy — i nie mówię tego z pesymizmem. Mówię to tak, jak powiedziałbym o człowieku. Najlepszy inżynier w zespole wypuszcza błędy. Najbardziej skrupulatna księgowa myli się w cyfrze po lunchu. Czasem pracujemy na pełnych obrotach, czasem jesteśmy zmęczeni — i nikt nie wyciąga z tego wniosku, że ludzie są bezużyteczni. Po prostu organizujemy pracę z uwzględnieniem tego faktu.

Agentom należy się ta sama umowa. Nie ślepe zaufanie i nie lekceważenie — proces, który z góry zakłada błąd.

Perfekcja się nie spóźnia — perfekcja jest niemożliwa

To nie jest sytuacja z gatunku „obecne modele są niedojrzałe", którą naprawi kolejna wersja. W 2025 roku OpenAI opublikowało pracę Why Language Models Hallucinate, która traktuje halucynacje nie jak usterkę, lecz jak statystyczną nieuchronność: dla faktów rzadko występujących w danych treningowych pewien poziom błędu jest matematycznie nie do uniknięcia, a sposób, w jaki oceniamy modele, dodatkowo to pogarsza. Benchmarki, które uznają odpowiedź za po prostu dobrą albo złą, premiują pewny siebie strzał zamiast uczciwego „nie wiem" — więc modele uczą się blefować dokładnie tak, jak student blefuje na egzaminie.

Poziom błędu można zmniejszać. Nie da się go kupić do zera — przy żadnym rozmiarze modelu, u żadnego dostawcy. Plan, który wymaga bezbłędnego agenta, to plan, który rozbija się o matematykę.

Analogia ze zmęczeniem jest bardziej dosłowna, niż brzmi

I tu zaczyna się najciekawsze: agenci nie tylko mylą się jak ludzie — oni słabną jak ludzie. Dziesiąta godzina pracy człowieka jest gorsza od drugiej. Stutysięczny token kontekstu agenta jest gorszy od tysięcznego. Zespół badawczy Chromy opisał to zjawisko jako context rot: ten sam model, zapytany o to samo, odpowiada mniej niezawodnie w miarę zapełniania się okna kontekstu — nawet jeśli wszystko, czego potrzebuje, wciąż tam jest. Pisałem już o pokrewnym efekcie lost-in-the-middle — informacja zakopana w środku kontekstu po prostu dostaje mniej uwagi modelu.

Długa sesja agenta ma więc przebieg, który każdy menedżer rozpozna. Świeży kontekst — ostre odpowiedzi. Dwadzieścia wywołań narzędzi później agent zaczyna gubić ograniczenia, których godzinę wcześniej pilnował. To nie jest zepsuty model. To systemowa wersja zmęczenia. A lekarstwo jest lekarstwem menedżera: nie dawaj jednemu pracownikowi dwunastogodzinnej zmiany — podziel pracę, przekaż ją dalej z czystym podsumowaniem, zacznij od nowa.

Z omylnymi pracownikami umiemy pracować od dawna

W zarządzaniu niedoskonałą inteligencją nie ma nic nowego. Robimy to z ludźmi od stu lat i cała maszyneria jest dobrze znana: code review, bo autor nie widzi własnych błędów. Testy, bo „działa, słowo" to nie dowód. Checklisty, bo pod presją nawet eksperci pomijają kroki — to cały wywód Checklist Manifesto Gawandego. Cztery oczy przy wszystkim, czego nie da się cofnąć.

Każdy z tych mechanizmów przenosi się wprost:

• Testy są punktem odniesienia. Zapewnienie agenta, że kod działa, jest warte dokładnie tyle, ile byłoby warte zapewnienie kolegi: odpal testy.
• Kontrola rośnie z zasięgiem szkód. Pozwól agentowi swobodnie iterować tam, gdzie cofnięcie zmiany jest tanie. Wszystko nieodwracalne — wdrożenia, kasowanie danych, pieniądze, maile do prawdziwych ludzi — najpierw ogląda człowiek.
• Małe zadania, świeży kontekst. Agentowy odpowiednik „idź do domu, spójrz na to jutro". Większość jakości, którą wyciągam z agentów, bierze się z zawężania zakresu pracy, nie z lepszych promptów.
• Weryfikacja wygrywa z zaufaniem. Nie dlatego, że agenci są słabi, tylko dlatego, że weryfikacja to od zawsze sposób, w jaki z zawodnych części budujemy niezawodne systemy. Lotnictwo nie ma bezawaryjnych komponentów. Ma redundancję.

Pytanie, które naprawdę się liczy

„Czy agent jest w 100% dokładny?" to złe pytanie — i zawsze było złe. Po prostu nigdy nie zadawaliśmy go ludziom, bo odpowiedź była oczywiście przecząca, a i tak ich zatrudnialiśmy.

Właściwe pytanie to to, na które każdy sprawny zespół już umie odpowiedzieć: co się dzieje, kiedy ten pracownik się pomyli? Jeśli odpowiedź brzmi „wyłapią to testy" albo „przed wypuszczeniem patrzy na to człowiek" — możesz zaprząc niedoskonałego agenta do pracy już dziś i realnie na tym zyskać. Jeśli odpowiedź brzmi „nic tego nie wyłapie", to problemem nie jest odsetek błędów agenta. Problemem jest to, że zbudowałeś system bez odporności — a taki system zawiódłby też z ludźmi w środku, tylko wolniej.

Niezawodność nigdy nie była cechą pracownika. Jest cechą systemu wokół pracownika. To było prawdą przed AI — i to najcenniejsza rzecz, jaką warto zabrać ze sobą do pracy z nią.