Sztuczna inteligencja jako recenzent – ChatGPT na łamach nauki
Przedstawiamy nowe badania, które sugerują, że opinie generowane przez sztuczną inteligencję, a konkretnie przez model ChatGPT, mogą stanowić cenny wkład w proces recenzowania naukowych artykułów. Prof. James Zou z Stanford University i jego zespół przeprowadzili badanie, w którym porównywali recenzje dostarczone przez ChatGPT z opiniami ekspertów w dziedzinie. Wyniki pokazują, że istnieje potencjał w wykorzystaniu tej technologii w procesie recenzji naukowych prac.
Opinie ChatGPT na temat artykułów w „Nature” wykazały wartość
W badaniu, profesor Zou i jego współpracownicy postanowili zbadać, czy modele językowe, takie jak ChatGPT, mogą dostarczać badaczom przydatne opinie na temat naukowych artykułów. Skoncentrowali się na prestiżowym czasopiśmie „Nature”, analizując ponad 3000 manuskryptów, które przeszły standardową recenzję. ChatGPT dostarczył konstruktywne informacje zwrotne na temat tych artykułów.
Wyniki były imponujące – ponad połowa opinii ChatGPT na temat artykułów w „Nature” zawierała uwagi, które były również podniesione przez co najmniej jednego z naukowców recenzujących rękopisy. To sugeruje, że sztuczna inteligencja może dostarczyć wartościową perspektywę, która koresponduje z opiniami ekspertów.
Sztuczna inteligencja na konferencji ICLR
Profesor Zou i jego zespół nie ograniczyli się tylko do czasopisma „Nature”. Przeszukali także ponad 1700 artykułów z międzynarodowej konferencji ICLR, jednej z największych na świecie konferencji związanych z uczeniem maszynowym. Tu również ChatGPT dostarczył cenne opinie. Ponad 77 procent komentarzy generowanych przez ChatGPT podkreślało kwestie poruszone również przez co najmniej jednego recenzenta.
ChatGPT a artykuły preprintowe
Badacze wykorzystali również ChatGPT do oceny kilkuset artykułów w wersji preprint – jeszcze nie zrecenzowanych, ale już dostępnych publicznie. To sugeruje, że sztuczna inteligencja może przyczynić się do weryfikacji jakości artykułów jeszcze przed formalnym procesem recenzji.
Opinie ChatGPT – bardziej przydatne od opinii ludzi?
W badaniu przeprowadzono ankietę wśród 308 autorów zajmujących się sztuczną inteligencją i biologią obliczeniową. Wyniki były zaskakujące – ponad 82 procent badaczy określiło opinie ChatGPT jako ogólnie korzystniejsze niż niektóre opinie, które otrzymali od ludzkich recenzentów w przeszłości.
Jednak istnieje kilka kwestii, które wymagają dalszej analizy. Badanie nie dostarcza szczegółowych informacji na temat przypadków, w których opinie generowane przez sztuczną inteligencję różnią się od opinii ludzi. To kwestia, którą warto badać, aby zrozumieć, na ile recenzje generowane przez AI mogą być stronnicze lub błędne.
ChatGPT – narzędzie wsparcia, nie zastępstwo
Profesor Zou podkreśla, że choć opinie ChatGPT są wartościowe, nie można zastępować nimi recenzentów ludzkich. Sztuczna inteligencja może dostarczyć wstępne komentarze, ale nadal potrzebni są wysokiej klasy recenzenci – ludzie.
To badanie profesora Zou i jego zespołu stanowi krok w kierunku zrozumienia roli sztucznej inteligencji w procesie recenzji naukowych prac. Ich praca została opublikowana w archiwum preprintów „arXiv” i oczekuje na recenzję i publikację w czasopiśmie naukowym. (DOI: 10.48550/arXiv.2310.01783)
Sztuczna inteligencja staje się coraz bardziej obiecującym narzędziem w dziedzinie nauki, i choć są jeszcze pewne kwestie do rozwiązania, to wyniki tego badania pokazują, że ChatGPT może mieć znaczący wpływ na przyszłość procesu recenzji naukowych artykułów.