Sztuczna inteligencja nadal nie dorównuje ludziom w rozumieniu tekstu. Wyniki eksperymentu od firmy Amazon

Sztuczna inteligencja (pojęcie, które ma szerokie znaczenie, a w tym temacie odnosi się do modeli językowych) rozwija się w naprawdę szybkim tempie, jednak wciąż widać, że jest to "twór" wymagający dopracowania. Wiele osób obawia się, że z czasem AI zabierze im stanowisko pracy. W jednym z ostatnich eksperymentów wykazano, że do tego jeszcze długa droga - a przynajmniej w kwestii streszczania i rozumienia treści, gdyż w tych aspektach ludzie wypadli o wiele lepiej.

Pewien eksperyment miał sprawdzić, kto lepiej nadaje się do streszczania tekstu: sztuczna inteligencja czy ludzie. Druga grupa nie ma się jeszcze o co martwić, ponieważ to właśnie ona wypadła w tym teście dużo lepiej.

Sztuczna inteligencja? Nie, dziękuję. Klienci omijają produkty z dopiskiem "AI" bardzo szerokim łukiem

Za przeprowadzenie eksperymentu odpowiada firma Amazon, która wykonała go na zlecenie australijskiego organu regulacyjnego ASIC (Australian Securities and Investments Commission, nadzorowanie rynku finansowego). Z kolei ten ostatni zaprezentował wyniki przed Komisją ds. Wdrażania Sztucznej Inteligencji (Select Committee on Adopting Artificial Intelligence). Badanie było dość proste: duże modele językowe, takie jak Llama 2 (wersja z 70 mld parametrów), zostały wykorzystane do podsumowania treści dokumentów ze wskazaniem, aby podały informacje dotyczące ASIC (wraz z odnośnikami do stron, kontekstem itd.). To samo zadanie otrzymało 10 pracowników z omawianego organu o różnym stażu pracy. Na sam koniec podsumowaniom miały się przyjrzeć osoby, których nie poinformowano o tym, że w badaniu brała udział sztuczna inteligencja. Wyniki eksperymentu były jednoznaczne: AI nie dorównuje w tej kwestii ludziom, którzy pod każdym względem wypadli lepiej.

Sztuczna inteligencja od Microsoftu podrobi dowolny głos wraz z jego emocjami. VALL-E 2 potrzebuje tylko kilkusekundowej próbki

Okazało się bowiem, że sztuczna inteligencja często pomijała kontekst, podawała fałszywe dane, albo po prostu skupiała się na mało istotnych rzeczach. Z tego względu technologia, zamiast pomóc człowiekowi w pracy, tylko mu jej dodaje, albowiem każdorazowo trzeba dodatkowo sprawdzić, czy wyniki tym razem są prawdziwe, czy nie. Warto dodać, że aż 3 na 5 oceniających osób podejrzewało, że zapoznają się właśnie z tekstem, który został stworzony przez sztuczną inteligencję, co mogło w jakiś sposób wpłynąć na same rezultaty eksperymentu. Oczywiście badanie też nie było idealne, albowiem modele językowe nie miały zbyt dużo czasu na wyszkolenie się w swoim zadaniu, ale i tak pokazało to, co można było zaobserwować do tej pory: AI wymaga jeszcze dopracowania, aby działać tak, jak jest reklamowana. Jeżeli chcemy sami zapoznać się z całością, to dokument w formacie PDF znajdziemy pod tym adresem.