Ocena wartości pracy naukowej, drapieżne czasopisma (predatory journals) i fake newsy

Nauka rozumiana jako rozwój wiedzy naukowej i opis rzeczywistości oparty o metodę naukową to jeden z fundamentów współczesnych społeczeństw. W artykule przyjrzymy się bliżej problemowi oceny wartości pracy naukowej oraz w jaki sposób nierzetelny proces upowszechniania wiedzy naukowej sprzyja rozwojowi fake newsów i wspiera pseudonaukę.

Problem oceny

Nadrzędnym celem pracy naukowo-badawczej jest wytwarzanie wiedzy oraz docieranie do prawdy o rzeczywistości. Wiedzę naukową konstruuje się w sposób kolektywny, tzn. jest ona efektem pracy społeczności naukowej oraz ma charakter niewymierny. Stawia to świat nauki przed wyzwaniem doboru odpowiedniego instrumentarium do oceny pracy naukowo-badawcze; innymi słowy: w jaki sposób ocenić pracę oraz aktywności naukowców i akademików, na jakiej podstawie określić, czy ktoś jest dobrym lub złym naukowcem – zwłaszcza na arenie międzynarodowej.

Ocena ta, to nie tylko kwestia prestiżu (lub jego braku) w środowisku, jest kluczowa podczas podejmowania decyzji o finansowaniu badań, wspieraniu działań naukowca oraz tego, w jaki sposób jego badania będą oddziaływać na życie społeczne.

Metoda bibliometryczna

Obecnie powszechnie przyjętym systemem oceny jest system oparty o metodę bibliometryczną. Wspomniany system oceniania bierze m.in. pod uwagę takie kategorie jak ilość cytowań, impact factor (IF) czy indeks Hirscha. Tym samym głównym wyznacznikiem „jakości” naukowej stają się publikacje. Chociaż jest to powszechnie panujący system oceny, to nie jest on pozbawiony wad, budzi wiele kontrowersji oraz dyskusji, mając zarówno swoich zwolenników, jak i krytyków.

Sparametryzowany system oceny jakości pracy naukowo-badawczej wytworzył ogromną presję publikowania pracy naukowej i zbierania punktów, co przez przeciwników tego systemu w Polsce nazywane jest punktozą, aby osiągnąć sukces w karierze naukowej, co jest określane jako publish or perish (eng. publikuj albo zgiń), co doprowadziło do wielu nieoczekiwanych konsekwencji.

Wskaźnik dorobku naukowego

Indeks Hirsha (współczynnik h) to miernik określający znaczenie wszystkich prac naukowych danego autora, charakteryzujący jego całkowity dorobek naukowy:

Naukowiec ma wskaźnik h, jeśli h spośród N_p jego/jej publikacji ma co najmniej po h cytowań każda, a każda z pozostałych (N_p − h) publikacji ma nie więcej niż h cytowań.

Wskaźnik odzwierciedla zatem zarówno ilość publikacji, jak i ilość cytowań, co wedle twórcy ma lepiej odzwierciedlać wartość dorobku naukowego niż sama liczba publikacji lub sumaryczna ilość cytowań.

Wykres przedstawiający zależność pomiędzy ilością cytowań a ilością publikacji — McGill libraru: wskaźnik h. Źródło: libraryguides.mcgill.ca

Jeśli dany naukowiec opublikował 7 prac i każda z nich była cytowana co najmniej 7 razy, to jego współczynnik h wynosi 7. Natomiast, kiedy dany naukowiec opublikował 70 prac, ale tylko cztery prace mają cztery (i więcej) ilość cytowań, to jego współczynnik h wynosi 4.

Jednakże, trzeba zaznaczyć, że stosowanie tego współczynnika przy porównywaniu dorobku naukowców ma sens, tylko jeśli reprezentują oni tę samą dziedzinę nauki, ponieważ przeciętne liczby cytowań pojedynczej publikacji zależą od dziedziny badań.

Wskaźniki wpływu czasopism: impact factor (IF)

Dorobku naukowca nie określa tylko ilość publikacji i ich cytowań. Istotne jest także, gdzie dany autor publikuje swoje prace badawcze, czy czasopisma, na łamach których publikuje, mają rzeczywisty wpływ na dyskusję w danej dziedzinie nauki. Dlatego też opracowano wskaźniki opisujące czasopisma naukowe.

Wskaźnik cytowań impact factor (IF) jest miernikiem opisującym oddziaływanie i prestiż danego czasopisma naukowego, jego „siłę przebicia”. Bazę danych zawierającą cytowania czasopism, na podstawie której wylicza się IF, prowadzi komercyjna firma Clarivate Analytics [wcześniej: Institute for Scientific Information, w Polsce instytucja ta określana była często jako Instytut Filadelfijski]. W bazie tej nie znajdują się wszystkie czasopisma, a jedynie te, w których ukazują się najbardziej istotne dla danej dziedziny publikacje.

Przy czym należy podkreślić, że wartość IF zależy od wpływu czasopisma na dyskusję naukową, a nie od rzetelności artykułów publikowanych w tymże czasopiśmie (rzetelność artykułów i cytowalność artykułów są ze sobą powiązane, jednak nie są tożsame).

Wskaźniki wpływu czasopism: CiteScore

Innym wskaźnikiem określającym ważność czasopisma jest CiteScore oparty na bazie Scopus. Wskaźnik ten oblicza się sumując liczbę cytowań publikacji danego czasopisma, dzieląc przez liczbę tych samych typów publikacji zindeksowanych w bazie i opublikowanych w ciągu czterech lat.

Grafika przedstawiająca wskaźnik CiteScore — Wskaźnik CiteScore. Źródło: elsevier.com

Oczywiście nie są to jedyne wskaźniki, istnieje wiele innych baz indeksujących czasopisma (np. ERIH+) czy też zbierających liczbę cytowań. Polskie Ministerstwo Edukacji i Nauki publikuje własną listę czasopism, na podstawie której dokonuje się parametryzacji polskich naukowców oraz instytucji badawczych.

Recenzja naukowa

Jednym z filarów działalności naukowej jest proces rzetelnej recenzji, wzajemnej oceny uczonych. Stanowi on jeden z najlepszych, choć nie pozbawionych mankamentów, sposobu poprawy jakości publikowanych tekstów naukowych. Recenzje naukowe wpływają nie tylko o jakości samej nauki, ale także na postrzeganie i wiarygodność samego środowiska naukowego. Obecnie rzetelnym i uznawanym rodzajem recenzji naukowej jest tzw. podwójnie ślepa recenzja (ang. double-blind review). Oznacza ona anonimizacje: jednakowo recenzent nie wie, kto jest autorem tekstu, jak i autor nie zna tożsamości recenzentów.

Schemat procesu publikacyjnego

Schemat opisujący proces publikacji wartościowego tekstu naukowego w renomowanym czasopiśmie, przebiega w kilku następujących krokach:

Autor tekstu wysyła tekst do czasopisma.
Edytor czasopisma dokonuje wstępnej oceny: czy tekst spełnia wymagania zarówno jakościowe, jak i techniczne oraz, czy nie jest plagiatem.
Edytor decyduje o odrzuceniu tekstu lub przesłaniu go do recenzji.
Recenzenci dokonują oceny artykułu: całkowicie do odrzucenia, do poprawy i uzupełnienia, gotowy do publikacji.
Autor otrzymuje informację zwrotną z treścią recenzji, komentarzami, uwagami i prośbami o uzupełnienie, szersze wyjaśnienie.
Uzupełniony/poprawiony/rozszerzony tekst autor wysyła do ponownej recenzji.
Recenzenci poddają tekst ponownej recenzji i dokonują kolejnej oceny.
Po podjęciu przez recenzentów decyzji o akceptacji tekstu, ten zostaje przygotowany przez wydawcę do publikacji pod kątem technicznym.
Tekst zostaje opublikowany w druku, online lub formule mieszanej.

graf przedstawiający cykl publikacyjny — Journal of Young Pharmacists: cykl publikacyjny. Źródło: jyoungpharm.org

Czasochłonność procesu publikacji

Tok publikacji w czasopiśmie, spełniającym wymagania rzetelności oraz przestrzegającym zasad etyki w nauce, jest procesem długotrwałym (w zależności od dziedziny). Dla przykładu: od momentu wysłania tekstu do czasopisma Uniwersytetu Gdańskiego Miscellanea Anthropologica et Sociologica znajdującego się w bazie ERIH+, Scopus oraz na liście MEN, minęło co najmniej pół roku.

Świadczą o tym daty dostępu do przypisów internetowych zawartych w tekście. Artykuł został opublikowany 25 czerwca 2021 roku, natomiast przypisy odwołują się do daty 1 stycznia 2021 roku, czyli daty dostępu do treści przez autora. Na stronie czasopisma, oprócz składu redakcyjnego, znajdziemy także politykę pisma i zasady etyczne, w tym zasady opisujące proces recenzencki.

Niech za przykład z innej dziedziny nauki posłuży czasopismo Psychiatria Polska. Czasopismo to posiada IF 1,596, znajduje się na wszystkich najważniejszych bazach danych i listach w tym PubMed, Scopus, ERIH+, EBSCO, co świadczy, dużym znaczeniu w dyskusji akademickiej tekstów publikowany w tym, że czasopiśmie oraz o rzetelnie przeprowadzanym procesie publikacyjnym. Jak czytamy w regulaminie:

Prace oryginalne, poglądowe i kazuistyczne oraz doniesienia tymczasowe i spostrzeżenia kliniczne są recenzowane anonimowo przez co najmniej dwóch recenzentów. Po otrzymaniu recenzji autor proszony jest o nadesłanie (…) tekstu z uwzględnionymi uwagami recenzentów (z kolorowym zaznaczeniem wprowadzanych na podstawie recenzji zmian) oraz (…) „zamieszczenie listu do redakcji informującego o wszystkich, wynikających z recenzji, dokonanych zmianach, wprowadzając ten tekst tak samo, jak przy jego zgłoszeniu. Poprawione wersje prac należy nadesłać w terminie do 2 miesięcy.

Można zatem przyjąć, że czas od wysłania artykułu do jego publikacji może wynosić nawet do około roku.

Polityka otwartego dostępu

Klasyczny model finansowania czasopism i wydawnictw naukowych oparty był o prenumeraty, subskrypcje lub wykupowanie dostępu do pojedynczych artykułów. W takim modelu to wydawca pokrywał wszystkie koszty związane z publikacją artykułu.

Jednakże coraz większą popularnością cieszy się publikowanie w otwartym dostępie (ang. open access), co często jest też wymogiem stawianym przez instytucje finansującą dane badania, np. przez polskie Narodowe Centrum Nauki.

Polityka otwartego dostępu opiera się na założeniu, że wiedza naukowa jako dobro wspólne powinna być udostępniania w sposób wolny i bezpłatny każdemu czytelnikowi. Dlatego też to autor publikacji lub instytucja finansująca badania, pokrywa wszelkie koszty związane z procesem wydawniczym oraz ich upublicznienia. Jeden z najbardziej prestiżowych wydawców Elsevier opłaty kształtuje, w zależności od czasopisma na poziomie około 150-600 USD netto.

Drapieżna czasopisma (predatory journals)

Amerykański bibliotekarz Jeffrey Beall w 2010 zwrócił uwagę na fakt, że niektóry wydawcy przyjmują nieetyczny model biznesowy, nie zachowując przy tym standardów rzetelnego procesu recenzenckiego. Czasopisma takie określił mianem drapieżnych [ang. predatory journals] Beall w 2010 na swojej liście umieści 18 takich wydawców, natomiast w 2016 już ponad 800. W 2012 roku założył bloga, na którym systematycznie zamieszczał (ostatnia aktualizacja z 8 grudnia 2021) drapieżnych wydawców jak i pojedyncze drapieżne czasopisma.

Warto dodać, że Beall sporządził także listę porwanych czasopism [ang. hijacked journals]. Porwane czasopisma to takie rzetelne i uznane czasopisma, których wizerunek np. wygląd strony internetowej, adres strony, nazwa czasopisma zostały skradzione, tj. stworzono fałszywe witryny udające prawdziwe czasopisma, w celu pobierania opłat za publikacje w tychże fałszywych witrynach.

Strona podszywająca się za czasopismo Polish Polar Research — Fałszywa strona czasopisma. Źródło: polishpolar.com

Prawdziwa strona czasopisma Polish Polar Research — Prawdziwa strona czasopisma. Źródło: journals.pan.pl/ppr

Obecnie istnieje wiele indeksów i instytucji zajmujących się wykrywaniem, opisywaniem i katalogowaniem nieetycznych praktyk wydawniczych w świecie akademickim, jak np. Predatory Reporst czy też Predatory Publishing, a liczba wydawnictw i czasopism określanych mianem drapieżnych stale rośnie.

Charakterystyka drapieżnych czasopism (predatory journals)

Drapieżne czasopisma charakteryzują się nieetycznym modelem biznesowym, przedkładając zysk ponad etykę badań naukowych i idee uprawiania nauki jako procesu wytwarzania wiedzy. Dlatego też najczęściej publikują one artykuły w modelu open access, czyli tak jak pisaliśmy wyżej, w modelu, w którym to autor pokrywa koszty pracy wydawcy.

Istnieje szereg wskaźników charakteryzujących czasopisma drapieżne. Np. niejednokrotnie podawane są w nich fałszywe informacje o zespole redakcyjnym, procesie recenzji czy wskaźnikach cytowalności. Tytuły przypominają te, które są używane przez uznane czasopisma naukowe lub wręcz się pod nie podszywają – są bardzo podobne do tytułów prestiżowych czasopism, różnice między nimi ograniczają się do dodania w nazwie jednego słowa. Nierzadko zawierają też określenia takie jak: World, Global, International itp.

Zgłaszane artykuły są bardzo szybko (często krócej niż miesiąc) przyjmowane do druku od momentu wysłania manuskryptu, bez uwag recenzenckich. Jednakże publikacje wydawane przez drapieżne czasopisma najczęściej nie przechodzą oczekiwanego procesu wydawniczego, w tym recenzji naukowych, zatem autorzy ponoszą opłatę za udostępnienie ich tekstów na stronie drapieżnego czasopisma. W zasadzie można wysłać najbardziej absurdalny tekst, a on i tak zostanie opublikowany.

Graf ukazujący powody zakwalifikowania czasopisma jako drapieżne. Źródło: journals.sagepub.com

Predatory journals zazwyczaj nie są poświęcone konkretnej dyscyplinie czy tematyce naukowej, prezentują raczej profil ogólny, szczycąc się multidyscyplinarnością.

Najczęściej redakcje tych periodyków na swoich stronach internetowych nie podają kwoty za publikowanie artykułów, przesyłają tę informację bezpośrednio do autora drogą mailową. W ten sam sposób prowadzona jest również zakrojona na szeroką skalę akcja promująca.

W połączeniu z polityką publish or perrish na zjawisko drapieżnych wydawców i czasopism szczególnie narażeni są młodzi naukowcy, doktoranci oraz postdocy, o czym pisał w liście otwartym Zbigniew Błocki, Dyrektor Narodowego Centrum Nauki:

NCN nie popiera tego typu praktyk i ostrzega, że w sytuacjach, kiedy z całą pewnością uda się ustalić, że artykuł finansowany ze środków NCN został opublikowany w czasopiśmie nieprzestrzegającym standardów oceny eksperckiej, będzie wymagać od kierownika projektu usunięcia numeru projektu z publikacji, a w konsekwencji wykluczenia jej z raportu i zwrotu kosztów poniesionych na opublikowanie takiej pracy.

Szerszy opis charakteryzujący drapieżnych wydawców w tym ich redaktorów, zespół redakcyjny oraz działalność wydawniczą można znaleźć np. na stronie Politechniki Gdańskiej.

Przypadek dr hab. Anny Olgi Szust

W 2017 roku Emanuel Kulczynski z Instytutu Filozofii UAM wraz ze współpracownikami z Instytutu Psychologii Uniwersytetu Wrocławskiego (Piotrem Sorokowskim, Agnieszką Sorokowską i Katarzyną Pisanski, ta ostatnia również z Uniwersytetu Sussex w Brighton) stworzyli fikcyjną postać dr. hab. Anny Olgi Szust – słabej naukowczyni, która nie wydała samodzielnie żadnego artykułu naukowego, współtwórczynię kilku nieistniejących książek.

Następnie naukowcy rozesłali jej słabo napisane CV opatrzone fotografią z banku fotografii do 360 czasopism naukowych na całym świecie. W CV podano fikcyjne profile w mediach społecznościowych, udział w wymyślonych konferencjach oraz ścieżkę edukacji i kariery zawodowej. Co warto dodać, jako datę urodzenia podano 1 kwietnia.

zdjęcie przedstawiające profil dr hab. Anny Olgi Szust — dr hab. Anna Olga Szust. Źródło: filozofia.amu.edu.pl

Ze wszystkich redakcji, do których wysłano CV, 48 zaakceptowało dr. hab Annę O. Szust na stanowisko redaktora naukowego, mimo braku jakichkolwiek kwalifikacji. Cztery z nich postanowiły zatrudnić ją na stanowisko redaktora naczelnego. W wielu przypadkach propozycje przychodziły już po kilku godzinach lub dniach, bez dokonania jakiegokolwiek procesu weryfikacyjnego. W korespondencji przedstawiciele poszczególnych czasopism podkreślali, że głównym celem jej pracy nie będzie recenzowanie i dbałość o jakość artykułów, ale pozyskiwanie autorów do publikacji za opłatą.

Po ujawnieniu mistyfikacji dr hab. O. Szust nie została usunięta ze stron internetowych wszystkich czasopism, co więcej figurowała na stronach redakcji, do których nigdy się nie zgłosiła. Była współorganizatorką konferencji, jak również została członkinią Rady Doradczej Agencji ds. Indeksowania Otwartych Czasopism (Advisory Board of the Journals Open Access Indexing), której deklarowanym celem jest podniesienie widoczności oraz łatwości użycia otwartych czasopism naukowych.

Dokładny przebieg kariery pani Aleksandry O. Szust można znaleźć w Repozytorium Uniwersytety Adama Mickiewicza, a wyniki mistyfikacji przeprowadzonej przez polskich badaczy zostały opublikowane na łamach czasopisma Nature.

Więcej o tej sprawie można także dowiedzieć się z rozmowy Karoli Głowackiej z prof. Emanuelem Kulczyckim, która odbyła się na łamach radia TOK FM.

Predatory journals, pseudonauka i fake newsy

Powstanie, jak i mechanizmy działania drapieżnych wydawnictw oraz czasopism nie wywodzą się z teorii pseudonaukowych, jak i nie powstawały w celu szerzenia fake newsów czy też szeroko rozumianej dezinformacji. Drapieżni wydawcy i drapieżne wydawnictwa powstały w wyniku niezamierzonych konsekwencji upowszechniania się polityki wolnego dostępu do wiedzy naukowej, presji wywieranej przez instytucje naukowe, ośrodki badawcze oraz grantodawców na osiągnięcie jak największej ilości publikacji (wcześniej wspomniane publish or perish).

Brak rzetelnego procesu recenzenckiego, publikowanie wszystkich nadesłanych treści bez żadnej weryfikacji sprzyja rozprzestrzenianiu się pseudonauki, antynaukowym tezom czy też wniosków, które nie znajdują odzwierciedlenia w rzeczywistości, innymi słowy, predatory journals przyczyniają się do fałszywego poznania rzeczywistości.

Oczywiście część autorów publikujących w drapieżnych czasopismach celowo wybiera pseudonaukę. Antynaukowość nie musi jednak wynikać z celowych założeń autora, a np. z podstawowych błędów metodologicznych, źle dobranej próby, braku analizy wcześniejszych podobnych badań, czy po prostu błędnej interpretacji wyników.

Zagrożenia dla nauki, jakie niesie ze sobą drapieżne publikowanie, było szeroko komentowane w literaturze, zwłaszcza w dziedzinie nauk o życiu (przykład 1, przykład 2.)

Kiedy nieświadomy czytelnik natrafi na nieprawdziwą treść (zwłaszcza w tematyce budzącej społeczne kontrowersje), będąc przekonanym, że jej źródłem jest czasopismo akademickie i zacznie ją udostępniać lub wykorzystywać jako argument w dyskusji tworzy wysokie zagrożenie powstania viralowego fake newsa.

Konsekwencje niestety jednak mogą być o wiele szersze i mieć bezpośredni wpływ na ludzkie życie i bezpieczeństwo publiczne, zwłaszcza jeśli treści opublikowane w drapieżnym czasopiśmie dotyczy zdrowia czy zdrowotnych polityk publicznych.

Podsumowanie

Ocena wartości naukowej poprzez ocenę parametryczną, mimo swoich licznych wad, głosów krytyki i niedoskonałości, jest powszechnie przyjętym system określania wartości naukowej pracy, dorobku autora, jak i czasopism i wydawnictw naukowych. Świat nauki, jak każda część życia społecznego, nie jest pozbawiony nieetycznych praktyk i aktywności mających na celu uzyskanie jak największego zysku ekonomicznego. Co więcej, praktyki niosą za sobą wiele nieprzewidzianych konsekwencji, w tym upowszechnienie pseudo nauki i powstawanie fake newsów.

Jednakże mając podstawową wiedzę na temat systemu oceny wartości naukowych treści oraz procesu, każdy, nawet nie będąc specjalistą w danej dziedzinie, jest sprawdzić wiarygodność źródła, tj. czasopisma, w którym ukazała się dana treść lub przez jaki podmiot została wydana i odrzucić nierzetelne, budzące wątpliwości czasopisma i wydawnictwa.

Szerszy opis oceny czasopism i wydawnictw pod kątem drapieżności można znaleźć np. pod tymi linkami: Researchgate, Politechnika Gdańska, University of Alberta.

Źródła

Beall’s List: https://beallslist.net/

CiteMetrics: https://www.elsevier.com/authors/tools-and-resources/measuring-a-journals-impact

Clarivate Analytics: https://clarivate.com/webofsciencegroup/solutions/journal-citation-reports/

Double-Blind Reviews: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8806370/

Elgar: https://www.elgaronline.com/view/9781786434920/chapter01.xhtml

Healthdebate: https://healthydebate.ca/2020/07/topic/dangers-of-predatory-publishing/

Indeks Hirsha: https://www.pnas.org/doi/full/10.1073/pnas.0507655102

MAES: https://czasopisma.bg.ug.edu.pl/index.php/maes/article/view/5817

Managment Learning: https://journals.sagepub.com/doi/10.1177/1350507619878820

MEN: https://www.gov.pl/web/edukacja-i-nauka/nowy-rozszerzony-wykaz-czasopism-naukowych-i-recenzowanych-materialow-z-konferencji-miedzynarodowych#xd_co_f=YzRjYjVjMDctMGY1My00OTE1LTg3NTAtMWE3NDIyY2RiZDIy~

Nature: https://www.nature.com/articles/543481a