„Kiedy AI się myli i jak to wyłapać”

Kiedy AI się myli: jak sprawdzić odpowiedź

Odcinek 2.5 kursu AI SKILL. Prowadzi Grzegorz Wysocki, praktyk AI i CEO agencji emedia.

O czym jest ten odcinek

Odpowiedź AI sprawdzisz trzema ruchami: każdą liczbę i datę odszukasz w oryginale, każde nazwisko i fakt, których nie było w Twoim materiale, uznasz za dopisane, a na koniec zapytasz AI, gdzie w tej odpowiedzi może się mylić. Błędne zdanie od AI brzmi równie gładko jak prawdziwe, więc rozpoznasz je tylko przez porównanie ze źródłem.

AI robi szkic, a podpisujesz się pod nim Ty. Zamiast czytać wszystko dwa razy, robisz trzy krótkie sprawdzenia: porównujesz liczby i daty z oryginałem, traktujesz jako podejrzane nazwiska i fakty, których nie było w Twoim tekście, i każesz AI wskazać, gdzie może się mylić.

Czego się nauczysz

Porównasz liczby i daty z odpowiedzi AI z oryginałem.
Wyłapiesz nazwiska i fakty, których nie było w Twoim materiale.
Poprosisz AI, żeby samo wskazało miejsca, w których może się mylić.

Pytania o ten temat

Dlaczego AI zmyśla?

AI układa odpowiedź z najbardziej prawdopodobnych słów, a gdy brakuje mu informacji, wypełnia lukę czymś, co brzmi wiarygodnie. Nie robi tego celowo i często samo nie wie, że się pomyliło. Dlatego liczby, daty i nazwiska sprawdza człowiek.

Czy można ufać odpowiedziom ChatGPT?

Można je traktować jako dobry szkic, który przyspiesza pracę. To samo dotyczy Claude i innych narzędzi. Pod tym, co wysyłasz, podpisujesz się Ty, więc przed wysłaniem robisz trzy sprawdzenia z tego odcinka. Im więcej liczb, dat i nazwisk w tekście, tym dokładniej je porównujesz z oryginałem.

Jak sprawić, żeby AI mniej zmyślało?

Daj mu materiał, napisz, żeby korzystało tylko z niego, i pozwól odpowiedzieć „nie wiem”. Puste miejsce w odpowiedzi jest bezpieczniejsze niż zmyślone. Mniej zmyśleń nie znaczy zero, więc sprawdzanie zostaje.

Co dalej

Jeśli chcesz zobaczyć zmyślenie na żywo, patrz, jak AI zmyśla przy prostym pytaniu.
Mniej błędów dostaniesz, gdy pozwolisz AI przyznać, że czegoś nie wie.
Te same trzy sprawdzenia przydają się, gdy streszczasz z AI długi dokument w trzech punktach.

Poprzedni odcinek: Tabelka z bałaganu. Następny odcinek: Co wolno wkleić do AI, a czego nie.

To odcinek kursu AI SKILL: krótkie odcinki, zadanie na minutę pod każdym i praca na Twoich własnych sprawach, w ChatGPT albo Claude. Zobacz cały kurs i dołącz do grupy założycielskiej.

Notatki do odcinka

Jak to zrobić krok po kroku

Krok 1. Odszukaj w oryginale każdą liczbę i datę

Kładziesz obok to, co sam dałeś AI, i przechodzisz po kolei przez liczby i daty w odpowiedzi. Przestawione cyfry, na przykład 210 zamiast 120, przy zwykłym czytaniu łatwo przeoczyć. Każda liczba, której nie znajdziesz w oryginale, wraca do poprawki. Liczby i daty sprawdzasz zawsze, bo pomyłka w nich kosztuje najwięcej, a w gładkim zdaniu najtrudniej ją zobaczyć.

Krok 2. Wykreśl nazwiska i fakty spoza materiału

Jeśli w odpowiedzi pojawia się osoba, kwota albo działanie, którego nie było w Twoim tekście, to AI je dopisało. Dzieje się tak także wtedy, gdy dostało dobry materiał. Taki fragment wykreślasz albo sprawdzasz u źródła, zanim zostawisz go w tekście. Najczęściej są to rzeczy, które pasują do sytuacji, na przykład nazwisko osoby z działu albo działanie, które zwykle się robi.

Krok 3. Zapytaj AI, gdzie może się mylić

Pod odpowiedzią wpisujesz jedno pytanie i prosisz o pokazanie, na czym AI się opiera. Czasem wskaże słabe miejsce, a czasem nic, dlatego to jest trzecie sprawdzenie, a nie jedyne. Jeśli AI przyzna, że czegoś nie wie, zostaw w tekście puste miejsce i uzupełnij je sam.

Przykład z mojej pracy

U nas AI pisało w miesięcznych raportach dla klientów, że zwiększyliśmy budżet, chociaż nikt w firmie tego nie zrobił. Przy krótkich opisach 88 ofert dopisało obietnice, których w ofertach nie było, i sam tego nie zauważyłem. Wykrył to dopiero audyt, który porównał każdy opis ze źródłem. Od tamtej pory do raportu trafia tylko to, co jest na liście wykonanych prac, a każde zdanie porównujemy ze źródłem. Przy każdej liczbie pytamy AI: skąd to wiesz, pokaż, na czym się opierasz.

Najczęstsze błędy

Czytanie odpowiedzi bez oryginału obok, przy którym zdanie z błędem przechodzi tak samo gładko jak poprawne, a przestawionych cyfr nie widać bez porównania.
Założenie, że skoro AI dostało dobry materiał, to niczego od siebie nie dopisze, choć zdanie o zwiększonym budżecie powstało właśnie z dobrego materiału.
Uznanie pytania „gdzie możesz się mylić” za jedyne sprawdzenie, choć AI czasem nie wskaże błędu, który naprawdę jest w tekście, a czasem wskazuje miejsca, w których wszystko się zgadza.