Krótka historia eksperymentów: od cytryn po ślepe testy AI

Od 12 marynarzy Linda po rankingi modeli AI: jak grupa kontrolna i ślepa próba oddzielają działanie rzeczy od marki i oczekiwań.

Od dwunastu marynarzy Jamesa Linda po dzisiejsze rankingi modeli AI chodzi o to samo: oddzielić działanie rzeczy od marki i oczekiwań. Lind zrobił to grupami porównawczymi, Chatbot Arena robi to ślepą próbą. Pomiędzy nimi jest historia placebo, ceny, która zmienia wynik testu, i etykiety „ze wsparciem AI”, która potrafi podnieść oczekiwania wobec własnej sprawności.

To krótka mapa: skąd wzięła się potrzeba ślepej oceny i co z niej wynika, gdy w produkcie pojawia się AI. Jeśli wiesz, co oceniasz (lek, napój, model), trudniej oddzielić działanie rzeczy od działania reputacji i własnych oczekiwań.

Cytrusy: narodziny porównania

W połowie XVIII wieku medycyna wciąż mocno opierała się na teoriach humorów i anegdotach. Szkorbut niszczył załogi dalekich rejsów. W wyprawie komandora Ansona z lat 1740-1744 z około 1850 ludzi wróciło zaledwie 188; większość zgonów wiązano ze szkorbutem (Watt, J R Coll Physicians Lond 1998).

W 1747 roku szkocki chirurg okrętowy James Lind przeprowadził badanie uznawane za jeden z pierwszych kontrolowanych eksperymentów klinicznych (James Lind Library). Dwunastu chorych marynarzy dostało te same warunki i dietę, a potem podzielono ich na sześć par z różnymi „lekami”.

| Grupa | Interwencja (dawka dzienna) | Skutek |
| --- | --- | --- |
| Para 1 | cydr (ok. 1 litr) | brak znaczącej poprawy |
| Para 2 | eliksir witriolowy | brak efektu |
| Para 3 | ocet | brak efektu |
| Para 4 | woda morska | pogorszenie |
| Para 5 | czosnek, gorczyca, chrzan | brak efektu |
| Para 6 | 2 pomarańcze i 1 cytryna | wyraźna poprawa; powrót do pracy w ok. 6 dni |

Lind pokazał, że porównanie przy wspólnej bazie waży więcej niż opinia autorytetu. Na wprowadzenie soku z cytryn na statkach Admiralicja zgodziła się dopiero w 1795 roku, prawie 50 lat później. Dane to dopiero połowa drogi - druga to decyzja organizacji.

Placebo: oczekiwanie też działa

W XX wieku badacze zobaczyli, że samo przekonanie o leczeniu uruchamia realne procesy w organizmie. Placebo nie jest „tylko autosugestią”: badania neurobiologiczne pokazują m.in. udział układów opioidowych i dopaminowych. Jego przeciwieństwem jest nocebo - pogorszenie po samej informacji o możliwych skutkach ubocznych.

Kilka tropów z badań:

kolor tabletki zmienia oczekiwania pacjenta (de Craen i in., BMJ 1996),
marka na opakowaniu potrafi wzmocnić ulgę w bólu nawet przy placebo (Branthwaite i Cooper, BMJ 1981),
bardziej „inwazyjna” forma (np. zastrzyk) bywa silniejszym placebo niż tabletka, choć to sygnał, a nie uniwersalne prawo.

Najmocniejszy przykład chirurgiczny: badanie Moseleya i współpracowników w *New England Journal of Medicine* (2002) porównało artroskopię kolana z operacją symulowaną u pacjentów z chorobą zwyrodnieniową (NEJM). W grupie „placebo” chirurg wykonywał tylko nacięcia skóry i symulował odgłosy zabiegu. Przez dwa lata obserwacji nie było różnic w bólu ani sprawności między grupami. Dlatego złotym standardem jest podwójnie ślepa próba, w której ani pacjent, ani oceniający nie wiedzą, kto dostał co.

Cena jako placebo: eksperyment SoBe

W ekonomii behawioralnej ten sam mechanizm wraca jako kontekst wyboru. Dan Ariely i współpracownicy pokazywali, że ludzie rzadko mają stabilny „wewnętrzny miernik wartości” - ocena zależy od ram, w których ją dostajemy.

Zastrzeżenie: jedna z prac współautorstwa Ariely’ego (o nieuczciwości) została w 2021 roku wycofana z PNAS z powodu sfabrykowanych danych. Badanie SoBe, o którym zaraz, nie zostało wycofane; i tak czytam je ostrożnie, jak każde pojedyncze badanie laboratoryjne.

W eksperymencie Shiva, Carmona i Ariely’ego (*Journal of Marketing Research*, 2005) studenci rozwiązywali łamigłówki po wypiciu napoju energetycznego SoBe. Napój był ten sam; różniła się cena i narracja o skuteczności (publikacja):

| Grupa | Interwencja | Średnia liczba rozwiązanych łamigłówek (z 15) |
| --- | --- | --- |
| Kontrolna | bez napoju | 9,1 |
| Cena pełna | 1,89 USD | 9,5 |
| Cena obniżona | 0,89 USD | 7,7 |
| Cena obniżona + wzmocnione oczekiwania | 0,89 USD i pytanie o skuteczność | 5,8 |

Obniżka nie zmieniała chemii napoju. Zmieniała oczekiwanie wobec własnego wyniku. Etykieta „tanie = słabsze” wystarczyła, żeby wynik spadł.

Etykieta AI i ślepe porównanie modeli

Gdy w produkcie pojawia się AI, wracają te same pułapki: marka modelu, opis „wspierany przez AI”, zaufanie do automatycznej podpowiedzi.

Medycyna pokazuje dwa różne ryzyka. Pierwsze to utrata wprawy: w polskim badaniu obserwacyjnym Budzynia i in. (*Lancet Gastroenterology & Hepatology*, 2025) po wprowadzeniu AI do kolonoskopii wykrywalność gruczolaków w badaniach wykonywanych już bez AI spadła z 28,4% do 22,4% (abstrakt00133-5/abstract)). To badanie obserwacyjne, nie dowód, że „AI psuje lekarzy”. Drugie to błąd automatyzacji, czyli bezkrytyczne podążanie za rekomendacją maszyny.

Eksperyment MELBA (2026) z patologami opisał poprawę wyników przy wsparciu AI, ale też to, że w około 7% ocen eksperci zmieniali wcześniej poprawną odpowiedź na błędną sugestię modelu; presja czasu nie zwiększała częstości tego błędu, ale pogłębiała jego skutki (publikacja).

Placebo AI (Kosch, Welsch i in.)

W badaniach nad interakcją człowieka z komputerem (HCI) (Kosch, Welsch i in., *ACM TOCHI*; preprint arXiv) uczestnicy rozwiązywali łamigłówki słowne. Części powiedziano, że wspiera ich adaptacyjny system AI - w rzeczywistości żadnego systemu nie było, a zadania były identyczne. Sama wiara we wsparcie podnosiła oczekiwania wobec własnego wyniku. Autorzy nie stwierdzili przy tym wpływu na obiektywne miary, np. odsetek poprawnych odpowiedzi. Wnioskują, że już opis „z AI” może zafałszować badania z użytkownikami.

Chatbot Arena: ślepa próba na skalę

Jak porównać modele językowe, skoro nazwa OpenAI albo Google zmienia ocenę zanim przeczytasz odpowiedź? Zespół LMSYS zbudował Chatbot Arena (dziś platforma działa jako LMArena): użytkownik wpisuje polecenie (prompt), serwer losuje dwa ukryte modele, werdykt pada przed ujawnieniem tożsamości. Ranking opiera się na modelu Bradleya-Terry’ego, pokrewnym szachowemu rankingowi Elo.

W styczniu 2026 roku spółka LMArena pozyskała finansowanie przy wycenie podawanej przez Reuters jako około 1,7 mld USD (Reuters). Liczbę traktuję jako doniesienie prasowe, nie jako metrykę jakości modeli.

Sens dla zespołu produktowego jest prostszy niż wycena: jeśli testujecie asystenta, ukryjcie markę w pierwszej rundzie oceny. Inaczej mierzycie reputację, nie użyteczność.

Co z tego wynika przy stole

Od cytrusów Linda po Arenę powtarza się jeden ruch: oddzielić rzecz od etykiety. W medycynie robi to ślepa próba. W produkcie - test A/B, ślepe porównanie prototypów, pytanie „skąd wiemy, że to działa?”, zanim ktoś powie „bo to AI”.

Na warsztacie strategii albo discovery warto do tego wrócić jako do kalibracji oczekiwań: co jest dowodem, a co jest opowieścią o narzędziu. Jeśli chcecie przejść taką rozmowę z zespołem, zobaczcie warsztaty albo metodę LSP. O obciążeniu poznawczym i decyzjach w erze AI pisałam też w Neurobiologii decyzji.

---

Źródła: James Lind Library (eksperyment 1747); liczby Ansona: Watt, J R Coll Physicians Lond 1998; de Craen i in., BMJ 1996; Branthwaite i Cooper, BMJ 1981; Moseley i in., NEJM 2002; Shiv, Carmon, Ariely, JMR 2005; Budzyń i in., Lancet Gastro Hep 2025; MELBA 2026; Kosch, Welsch i in., arXiv:2204.04935; Reuters o finansowaniu LMArena, 6.01.2026. Linki w tekście.