„Daj asystentowi prawdziwą sprawę”
Jak testować asystenta AI na prawdziwych sprawach
Odcinek 1.9 kursu AI SKILL. Prowadzi Grzegorz Wysocki, praktyk AI i CEO agencji emedia.
O czym jest ten odcinek
Asystenta AI testujesz na trzech prawdziwych sprawach z pracy: zwykłej, trudnej i takiej, w której brakuje mu informacji. Każdy błąd naprawiasz jednym zdaniem w instrukcji, które dotyczy przyczyny błędu, więc ten sam błąd nie wraca w kolejnych odpowiedziach, także jutro i za tydzień.
Asystent pokazuje, ile jest wart, dopiero na prawdziwej sprawie. W tym odcinku robisz próbę na sprawach z pracy i łapiesz błędy sam, zanim zobaczy je klient. Każdy błąd naprawiasz jednym zdaniem w instrukcji, które dotyczy jego przyczyny, więc następnego dnia nie poprawiasz tego samego od nowa.
Czego się nauczysz
- Sprawdzisz asystenta na prawdziwych sprawach z pracy.
- Znajdziesz przyczynę błędu, zamiast poprawiać pojedynczą odpowiedź.
- Dopiszesz do instrukcji jedno zdanie, które zapobiega temu błędowi.
Pytania o ten temat
Jak sprawdzić, czy asystent AI działa dobrze?
Daj mu sprawy, na które i tak musisz odpowiedzieć, w tym jedną trudną i jedną, w której brakuje informacji. Sprawdź, czy nie obiecuje niczego w Twoim imieniu, czy nie wymyśla faktów, których nie dostał, i czy pisze do właściwej osoby. Liczby, daty i nazwy sprawdzaj zawsze, bo tam AI myli się najczęściej.
Co zrobić, gdy asystent AI zmyśla?
Gdy AI nie ma informacji, potrafi uzupełnić ją z wyobraźni i podać pewnym tonem, jakby była prawdziwa. Dopisz do instrukcji, że gdy czegoś nie wie, ma o to zapytać albo zostawić puste miejsce w nawiasie do uzupełnienia przez Ciebie. Odpowiedź i tak czytasz przed wysłaniem, bo żadne zdanie w instrukcji nie daje pełnej gwarancji, że AI nie zmyśli.
Dlaczego poprawka „pisz uprzejmiej” nie naprawia błędu?
Bo dotyczy tonu, a błąd często dotyczy decyzji. W próbie do tego odcinka po takiej poprawce odpowiedź była milsza, ale asystent w pięciu próbach na pięć dalej zgadzał się na przesunięcie terminu. Dopiero zdanie, które kazało mu nie decydować i obiecać odpowiedź do jutra, zostawiło decyzję właścicielowi.
Co dalej
- Przy testach przyda Ci się wiedza o tym, kiedy AI się myli i jak to szybko wyłapać w odpowiedzi.
- Poprawki dopisujesz do instrukcji w czterech zdaniach, z rolą, zadaniem, stylem i zakazami, którą już masz.
- Po teście daj asystentowi pierwszą prawdziwą sprawę w swojej codziennej pracy i wybierz na to konkretny dzień.
Poprzedni odcinek: Daj mu przykłady. Następny odcinek: Masz swojego pracownika.
To odcinek kursu AI SKILL: krótkie odcinki, zadanie na minutę pod każdym i praca na Twoich własnych sprawach, w ChatGPT albo Claude. Zobacz cały kurs i dołącz do grupy założycielskiej.
Notatki do odcinka
Jak to zrobić krok po kroku
Krok 1. Daj asystentowi trzy różne sprawy
Dziś jedna prawdziwa sprawa, a w tym tygodniu trzy: zwykła, trudna i taka, w której czegoś brakuje. Jedna udana odpowiedź jeszcze o niczym nie świadczy, bo błędy wychodzą na wyjątkach. Najwięcej powie Ci sprawa, w której asystentowi brakuje informacji, bo wtedy widać, czy dopyta, czy zacznie zgadywać. Zanim wkleisz wiadomość, usuń z niej nazwiska, hasła i numery.
Krok 2. Znajdź przyczynę błędu
Gdy asystent zrobi coś źle, nie poprawiaj odpowiedzi w rozmowie. Zastanów się, czego zabrakło w instrukcji: czy błąd dotyczy tonu, faktów, czy decyzji, której asystent nie powinien podejmować bez Ciebie. Poprawka w rozmowie naprawia jedną odpowiedź, a poprawka w instrukcji naprawia wszystkie następne. Zapisz błąd jednym zdaniem, zanim zaczniesz poprawiać, bo łatwiej wtedy zobaczyć jego przyczynę.
Krok 3. Dopisz jedno zdanie o przyczynie i powtórz sprawę
Dopisz do instrukcji jedno zdanie o przyczynie i daj asystentowi tę samą sprawę jeszcze raz. Jeśli asystent zdecydował za Ciebie, poprawka „pisz uprzejmiej” zmieni tylko ton odpowiedzi, a decyzja zostanie. W przyczynę trafia zdanie, które zostawia decyzję Tobie. Sprawdź poprawkę na tej samej sprawie i na jednej nowej, żeby zobaczyć, czy niczego nie popsuła.
Przykład z mojej pracy
W mojej aplikacji dla grzybiarzy AI odpowiadało na setki próśb o dodanie nowego lasu i każdą dopisywało do kolejki. Jedna kobieta napisała, że coś jej nie działa, a jej zgłoszenie czekało w tej samej kolejce co prośby o las. Powiedziałem wtedy AI: kobieta pisze, że nie działa, a ty nie reagujesz. Od tej pory takie zgłoszenia idą poza kolejką, a tego wyjątku przy pisaniu instrukcji nie przewidziałem. Wiele reguł weszło do moich instrukcji na stałe właśnie po powtórzonym błędzie, bo gdy wynik wychodzi źle, poprawiam tekst instrukcji.
Najczęstsze błędy
- Ocenianie asystenta po jednej udanej odpowiedzi na łatwą sprawę, choć błędy wychodzą dopiero na wyjątkach, trudnych klientach i brakach informacji.
- Poprawianie odpowiedzi w rozmowie, przez co następnego dnia asystent popełnia ten sam błąd od nowa, a Ty poprawiasz go codziennie w kolejnych rozmowach.
- Poprawka o tonie albo zakaz jednej konkretnej rzeczy, gdy błąd polegał na tym, że asystent podjął decyzję za Ciebie, na przykład zgodził się na wyjątek.