Ponieważ
zapowiadana wielka zmiana w nauce i szkolnictwie wyższym jest już tuż tuż,
warto przyjrzeć się bliżej szansom i zagrożeniom, które może ona rodzić. Nie
warto krytykować ustawy - ona jest i lepiej myśleć o tym, jak ją wykorzystać. O
tym chciałbym wkrótce napisać. Ale palącą sprawą jest lobbing w sprawie
rozporządzeń powiązanych a znajdujących się - przynajmniej formalnie - w
konsultacjach. Opinie powinny na ich temat ogłaszać stosowne gremia i chwała
im, jeśli to robią. Ale mnie one nie zadowalają. A czasami przeciwnie,
pokazują, jak dalece zabrnęliśmy w tok myślenia narzucany przez MNiSW.
Analizę
projektu rozporządzenia MNiSW „w sprawie ewaluacji jakości działalności naukowej”
wypadało by rozpocząć od określenia celów, jakie chce osiągnąć MNiSW wdrażając
ten projekt i przeprowadzić pod kątem racjonalności obecnych w projekcie
sposobów ich osiągania. Tradycyjnie jednak dla MNiSW cele są sformułowane
oględnie i PRowsko, krótko więc o nich na końcu wpisu. Więcej wagi chciałbym
poświęcić środkom służącym osiągnięciu tych celów, bowiem to one będą
kształtować Akademię.
1. Zacznijmy od banalnej konstatacji: w trakcie
minionej oceny system informatyczny,
a właściwie - programiści stojący za jego działaniem - był odpowiedzialny za
różnorodne błędy: od tworzenia fikcyjnych pracowników jednostek i przypisywanie
ich osiągnięć lub brak takowych jednostkom, po usuwanie z dorobku jednostek
osiągnięć pracowników i osób deklarujących afiliację do jednostki wbrew zapisom
stosownego rozporządzenia. Tylko w niektórych przypadkach oceniane jednostki
mogły te błędy skorygować. Jeśli nie zdecydowały się na odwołanie od przyznanej
kategorii, nie były nawet ich świadome. Ale także w przypadku odwołania nie
wszystkie, czasami oczywiste, błędy systemu były uznawane za takie przez
rozpatrujących odwołanie. Jednostki w porównaniu do oceniających znajdowały się
w dużo gorszej sytuacji. Już chociażby dlatego, że decyzje oceniających
traktowano jako wiążące mimo trwania odwołania, co jest sprzeczne z
podstawowymi zasadami odwołań zapisanymi w KPA.
Było
- minęło. Tyle, że projekt przewiduje pełne zaufanie do mechanizmu oceny
bazującego na danych zawartych w POLON-ie (par. 2.1). Tak, jakby programiści
kiedykolwiek i gdziekolwiek, a zwłaszcza w Polsce, dali podstawy do wiary w nieomylność
systemów cyfrowych. Owszem, projekt
zakłada, że oceniane grupy będą miały 21 dni na przyjrzenie się przekazanemu
zestawowi zdarzeń ewaluacyjnych wybranych przez algorytm optymalizujący i w
przypadku braku zgody na zaproponowanie własnych zdarzeń, jak rozumiem - w
zamian za inne zdarzenia (par. 14.2-3) - kierownicy jednostek będą mogli zgłaszać
swoje propozycje. Tyle, że jeśli oceniający nie uznają tych zdarzeń za możliwe
do wzięcia pod uwagę, zostaną one usunięte i nie mogą być zastąpione przez nowe
(par. 15.2). A oceniający mają ogromną moc - mogą usunąć zdarzenie z listy „w
szczególności gdy nie budzi wątpliwości, że nie jest ono związane z badaniami
naukowymi prowadzonymi w podmiocie w ramach danej dyscypliny naukowej” (par.
15.3). Ale - czyjej wątpliwości nie budzi? Bo skoro jednostka je podała, to w
jej ocenie należy ona do badań prowadzonych w jednostce. Oceniający wiedzą
lepiej, niż sama jednostka, co się u niej bada? A skoro jest ryzyko utraty
cennych zdarzeń do oceny, może lepiej się nie wychylać, nie denerwować i
zgodzić na sugestię automatu? Odwołana uczą, że oceniający nie są skorzy do
uznawania swoich błędów, a już zwłaszcza błędów systemu.
Chciałbym
być dobrze zrozumiany - nie uważam, że należy odrzucić udział systemu POLON w
ocenie. Że jednostki są święte i zawsze podają poprawnie dane, nie oszukują i
generalnie są wzorem sprawiedliwości. Czarne owce muszą się zdarzyć. Ale to
działa w obie strony. Skoro zdaniem MNiSW jednostki się mylą i mataczą, to skąd
przekonanie, że nieomylni i w 100% uczciwi - wobec kogo? - będą programiści
algorytmów i oceniający jednostki eksperci? Po doświadczeniach dwóch edycji
ocen, w których rosła rola programów, ja tej wiary nie podzielam. Obawiam się,
że dominacja algorytmów i ministerialnego ciała oceniającego utrudni jednostkom
przedstawienie swoich osiągnięć. Wolałbym więc zachować mieszany system, w
którym jednak jednostka decyduje na podstawie wprowadzanych danych, co zgłasza
do oceny. A POLON powinien jedynie jej pomagać dostrzec wartość punktową danych
w czasie rzeczywistym, bez oczekiwania na moment oceny. No, chyba że zakładamy, że kryteria oceny
zmienią się tuż przed oceną...
2. Liczby
- tu w projekcie panuje dziwna dowolność. Z jednej strony autorzy projektu
kładą nacisk na jakość badań i publikacji. Z drugiej gubią się w kryteriach tej
jakości. Bo jeśli wyznacznikiem jakości ma być miejsce publikacji - czasopismo
lub wydawnictwo - to
a) po
co ograniczono liczbę monografii branych pod uwagę w ocenie w naukach humanistycznych
i społecznych (teologia nie jest nauką mieszczącą się w paradygmacie prymatu
racjonalności i empirycznej obserwacji, stąd konsekwentnie ją pomijam) do 20% z
3N (par. 7.13.1) i 5% w przypadku innych nauk (par. 7.13.2)? To limitowanie
osiągnięć w ocenie dotyka nie tylko humanistów. Przy wyliczaniu wartości
projektów naukowych realizowanych w jednostce będzie brana pod uwagę tylko ich
liczba równa N (par. 12.5). Ale dlaczego? A dlaczego nie 3N analogicznie jak przy
publikacjach? Albo 1,5N? Takie myślenie zmusza do tworzenia dużych projektów,
ale to nie zawsze jest korzystne dla badań i zależy od specyfiki dyscypliny
(dla jasności - choć humanista, prowadzę duże projekty, zdecydowanie większe
niż przeciętna w mojej dyscyplinie);
b) po
co wprowadzać dodatkową ocenę ekspercką „co najwyżej pięciu” monografii
wydanych poza wydawnictwami „koncesjonowanymi” przez MNiSW (czyli poza listą
MNiSW punktowanych wydawnictw) na wniosek kierownika jednostki, w danej
dyscyplinie dziedziny hum.-społ.? Bo dobre badania mogą się ukazać poza listą
ministerialnych wydawnictw? Naprawdę? O żesz... Ale w takim razie dlaczego pięć
monografii? Bo to ładna cyfra? I dlaczego bez korelacji z liczbą N konkretnej
dyscypliny w danej jednostce? Przecież dodatkowe punkty za pięć monografii gdy
N = 10 będzie miało inne znacznie w ogólnej ocenie, niż gdy N = 200. W
pierwszym przypadku 3N=30, 20% = 6, czyli niemal wszystkie monografie brane pod
uwagę w trakcie oceny będą oceniane ekspercko bez wysiłku wydawania ich w
wydawnictwach „koncesjonowanych”;
c)
po co zwiększać o 50% liczbę punktów dla nauk humanistycznych i społecznych za
osiągnięcia w innych dziedzinach punktowanych na X? (par. 8.4) Przecież ocena
będzie w dyscyplinach, więc jeśli w ich obrębie będzie jednakowa zasada
punktacji (a będzie), to jaki to ma sens
dla meritum??? Czy książka lub artykuł będą warte 200 czy 200 + 200 x 0,5 nie
ma żadnego znaczenia!!! Jedyne, czemu takie różnicowanie może służyć, to budowaniu
fałszywej rywalizacji całych dziedzin o... punkty przyznawane przez MNiSW!!!
Czy to nie jest aby „punktoza”? Czy naprawdę humanistom zrobi się lepiej, że
zdobywają XXX punktów, tyle samo - lub prawie tyle samo - co informatycy,
biolodzy, chemicy... Nie rozumiem tego...
d)
z jakiego powodu lepiej punktowane mają być monografie wydawane w wydawnictwach
spoza listy ministerialnej, jeśli są rezultatem projektów finansowanych w
konkursach NPRH i NCN a ogłoszonych po 1 stycznia 2019 r. (par. 6.2.1)?
I one podlegać mają specjalnej ocenie jakości - a wcześniej opublikowane w
ramach tych konkursów w wydawnictwach niekoncesjonowanych są z definicji
skazane na „gorszość” i nie będą nawet mogły podlegać ani owej
wewnątrzkonkursowej ani wewnątrzewaluacyjnej ocenie eksperckiej (par. 6.2.2)? A
przecież to właśnie kierownicy grantów przyznanych przed 1 stycznia 2019 r. nie
mieli szansy znać listy koncesjonowanych wydawnictw - dokładnie odwrotnie, niż
kierownicy grantów przyznanych po tej dacie. O co tu chodzi?
e)
ale przede wszystkim - jeśli już zgadzamy się, że wydawnictwo wyznacza jakość
publikacji, to jaka logika kieruje tymi, którzy ograniczają liczbę monografii
branych pod uwagę w ocenie? Skoro tworzy się listy i określa jakość - po co
tworzyć kolejne sita „jakości jakości”? Wspominałem o tym wyżej (punkt a), a
przecież jest kolejne - w 4 publikacjach danego autora branych maksymalnie pod
uwagę w ocenie tylko 2 mogą być monografiami, pracami zbiorowymi / pod redakcją
lub rozdziałami w pracach zbiorowych (par. 7.7.1). Dlaczego? Czyli można być
jednym ze stu autorów czterech publikacji w „Nature” (ostatni centyl, nie
dzieli się punktów między autorów), na przykład statystykiem liczącym korelacje
z danych wypracowanych przez zespoły badawcze, ale nie można uznać za dorobek jednego
pracownika czterech monografii wydanych w najwyższej lub średniej światowej rangi
wydawnictwach naukowych? Bo co? Bo monografię można ot tak napisać i wydać? No
to przecież dlatego wprowadza się listy wydawnictw, żeby wyeliminować drukujące
wszystko, co jest na papierze.
A może te wszystkie obostrzenia to wynik zwykłej
ludzkiej niechęci decydentów, w tym kolegów z innych dziedzin, wobec tych
bezproduktywnych humanistów i społeczników? Bo spójrzmy na to tak - a gdyby w
kolejnym ministerialnym rozdaniu powiedziano - nauki stosowane i ścisłe będą
oceniane na podstawie publikacji, w których nie więcej niż 20% to artykuły,
reszta - monografie w uznanych wydawnictwach. Ma to sens? Nie trzeba zresztą aż
takiej wyobraźni by wskazać marną logikę tych przepisów. Informatycy lobbowali
za uznaniem materiałów z konferencji indeksowanych w bazie SCOPUS za równie
wartościowych, co artykuły w czasopismach. I otrzymali zadośćuczynienie i w
minionej i w planowanej parametryzacji. Nie chodzi więc już nawet o typ
publikacji, ale siłę lobbingu? Czy siłę właścicieli SCOPUS-a? A może bezradność
w określaniu cech „jakości badań”?
Znów
- uważam, że szukanie wyznaczników jakości to ważna sprawa. To prawda, że
powstają monografie bez większej wartości. Ale już Sokal pokazał, że identyczny
problem dotyczy czasopism, także najlepszych. Jeśli godzimy się na kryterium A
- listę miejsc publikacji decydujących o jakości / punktacji publikacji - co
pcha decydentów do wprowadzania dodatkowego kryterium procentowego typu
publikacji? Święty Graal artykułu w czasopiśmie? Przekonanie o najważniejszej
roli pisania krótko, zwięźle, w głównym nurcie, bez zastanowienia się, co z
tego wynika dla ogólnej narracji kierowanej do odbiorców? Jeśli już chcemy
używać słowa „punktoza” to taka działalność jest jej przykładem - o wartości
badań decyduje nie ich odkrywczość czy wpływ na narrację danej dziedziny,
jakość powiązanych badań determinowana specyfiką dyscypliny, lecz odgórna
decyzja o rozdzielaniu punktów według sztucznych kryteriów. Nie widzę w tym
cienia logiki i troski o rozwój myślenia naukowego w tym szarganym emocjami
kraju.
3. Typy
publikacji podlegające ocenie - o części pisałem wyżej.
a) Dodam,
że autorzy poszli śmiało do przodu, bo ocenie chcą poddać jako artykuł:
„artykuł w czasopiśmie naukowym lub w recenzowanych materiałach z
międzynarodowej konferencji naukowej, opatrzony aparatem naukowym” (par. 6.4). Czyli każdy artykuł w materiałach
z międzynarodowej konferencji jest artykułem wartym znacznie więcej, niż
rozdział w monografii? Ale ten sam artykuł w materiałach z konferencji krajowej
sam przez się nie jest już tyle wart? Czyli czas organizować międzynarodowe
konferencje??? Dopiero w uzasadnieniu zmian czytamy o materiałach
konferencyjnych indeksowanych w bazie SCOPUS etc. A jednocześnie mamy
kuriozalny krok w tył - artykułem nie będzie już żadna recenzja. Żadna! Ktoś z
piszących zastanawiał się, dlaczego tyle upominano się o punktowanie recenzji?
Dobrych, z aparatem naukowym, wnoszących nowe rozwiązania problemów na bazie recenzowanych
prac?
b)
Autorzy rozporządzenia idą naprawdę śmiało do przodu. Otóż do czasopism
przypisane zostaną na sztywno dyscypliny (par. 7.12.1). Jedna? Dwie? I one będą
mówić, czy publikacja w tym czasopiśmie należy do dorobku ocenianej dyscypliny,
mieści się w 20% ‘obcych’ ale branych pod uwagę, czy po przekroczeniu 20%
powinna zostać usunięta z pola widzenia. Biada tym, którzy prowadzą badania
interdyscyplinarne! Biada jednostkom, których pracownicy publikują nie wiedząc,
do jakiej dyscypliny czasopismo zapisze MNiSW! Biada!
c)
Ale to nie koniec. Otóż komputer lub specjaliści - ewaluatorzy będą wiedzieli
wszystko o specyfice badań danej jednostki. Bowiem w ocenie pod uwagę będą
brane tylko ‘monografie naukowe, których tematyka jest merytorycznie związana z
badaniami naukowymi prowadzonymi w podmiocie w ramach tej dyscypliny’ (par.
7.12.2). I ot zagwozdka - nowych badań się nie przewiduje? Tylko kontynuację
dotychczasowych? Czy też MNiSW będzie śledziło ogół badań w czasie rzeczywistym
w jednostkach? Przeglądając pliki na komputerach pracowników? Ten sam zapis
pojawia się w ocenie projektów realizowanych w dyscyplinie w danej jednostce.
Tu też będą brane pod uwagę tylko te, których „tematyka jest merytorycznie
związana z badaniami naukowymi prowadzonymi w podmiocie w ramach danej
dyscypliny naukowej” (par. 12.2.1.b);
4. Wpływ na funkcjonowanie społeczeństwa i
gospodarki - ale o co chodzi? O tak zwaną trzecią misję uniwersytetów?
Bynajmniej. O wpływ publikacji „w szczególności w formie artykułów naukowych,
monografii naukowych, raportów i cytowań w innych dokumentach lub publikacjach,
związek między wynikami badań naukowych lub prac rozwojowych albo działalności
naukowej w zakresie twórczości artystycznej a gospodarką, ochroną zdrowia,
kulturą i sztuką, ochroną środowiska przyrodniczego, bezpieczeństwem i
obronnością państwa lub innymi czynnikami wpływającymi na rozwój cywilizacyjny
społeczeństwa”(par. 13.1). Konia z rzędem temu, kto wie, jak te opisy
przygotować, co spodoba się oceniającym. Zwłaszcza, że mogą oni określić wpływ
jako żaden, znikomy, lokalny, regionalny i globalny. Ergo wpływ „krajowy” =
„globalny”? I jak mierzyć ten wpływ - poza cytowaniami, ale jak to mielibyśmy
uchwycić bez polskiej bazy cytowań, nie mam pojęcia. Zresztą, o jakie cytowania
chodzi? W prasie codziennej? Specjalistycznej? Raportach - ale jakich? Gmin?
Wojewodów? Rządu? Komisji Europejskiej??? O co tu chodzi? Tylko o PR, żeby móc
powiedzieć, że docenia się rolę społeczną nauki? No, jeśli tak, to ok. Jeśli
naprawdę komuś chodzi o coś więcej, to powinien się bardziej przyłożyć!
5. Progi
- kluczowe zagadnienie. Ale tu wszystko jest płynne. Komisja ustali je
porównując osiągnięcia ocenianych jednostek na podstawie danych z
parametryzacji. Czyli gonimy króliczka nie znając żadnego celu i punktu
odniesienia. Tak było i nic się nie zmieniło. Tylko sytuacja się jeszcze
bardziej skomplikowała poprzez dodatkowe kategorie i mnożniki. A więc nie
będziemy planować badań, a raczej maksymalizować liczbę publikacji
wysokopunktowanych w dorobku każdego pracownika. Czy to aby nie jest „punktoza”?
Ale co ja tam wiem...
6. Uzasadnienie
do zmian liczy niemal tyle samo stron, co sam projekt (27:25). Całość to
strasznie pompatyczny PR, chyba już znak rozpoznawczy naszego Ministerstwa, i
szkoda mi na to swojego i Czytelników czasu. Kilka więc tylko słów o
deklarowanych celach:
a) „Nowy model ewaluacji kładzie nacisk na jakość i
służy wspieraniu doskonałości naukowej rozumianej jako uczestnictwo w globalnym
dyskursie akademickim” - świetnie! Ale
jak się to ma do limitowania liczby monografii, prac pod redakcją, rozdziałów?
Także tych wydawanych w najlepszych zagranicznych wydawnictwach? Jak chce się
to połączyć z usunięciem recenzji z oceny? Przepraszam, ale globalny dyskurs to
chyba także ocena prac innych osób w prestiżowych czasopismach? Tam się jednak
nie wysyła odręcznie napisanych uwag na prośbę autora recenzowanej pracy... A
co z projektami międzynarodowymi? Konferencjami organizowanymi wspólnie z
podmiotami zagranicznymi? To są elementy dyskursu? Bo w ocenie ich nie ma...
b) „Skutecznie
niweluje także zjawisko tzw. „punktozy””. Przepraszam, ze śmiechu nie mogę
pisać;
c) „Zwiększa się znaczenie artykułów naukowych
publikowanych w czasopismach naukowych indeksowanych w bazach bibliograficznych
o największej renomie na świecie” - a co to za cel? Czasopisma o największej
renomie w danej dyscyplinie, ale poza bazami o największej renomie, już się nie
liczą? Jak się to ma „międzynarodowego dyskursu”? I po co karmić Baala wydawców
czasopism nowymi dyscyplinami, które mają swoje kanały informacji od dekad i
wieków inaczej ustawione? No po co??? Bo inni tak robią? No, to zaiste naukowe
podejście...
d) „Ponadto nowy model ewaluacji będzie uwzględniał tylko
najlepsze publikacje poszczególnych naukowców, co będzie zachęcało badaczy
do wykorzystania swojego potencjału do prowadzenia badań naukowych na możliwie
najwyższym poziomie i publikowania ich wyników w prestiżowych czasopismach
naukowych lub w formie monografii naukowych wydawanych przez wydawnictwa
przestrzegające najwyższych standardów etycznych i naukowych”. No tu mamy
jedno kłamstwo i jeden sen o potędze. Kłamstwo - system będzie uwzględniał 4
publikacje najwyżej punktowane dla każdego naukowca, z tego tylko 2 monografie,
prace pod redakcją lub rozdziały. Ale to nijak się ma do „najlepszych
publikacji”, chociażby przez ograniczenie liczby monografii i rozdziałów. A
przede wszystkim - i to się łączy z drugim, podkreślonym członem zdania - MNiSW
nie ma wiedzy absolutnej i na szczęście nie decyduje też o etyce zawodu
naukowca lub wydawcy. Może o tym śnić. Ale faktycznie może najwyżej wprowadzać
własne hierarchie i zmuszać nas do ich obserwowania. I tylko tyle;
e) ale już zupełnie oniemiałem czytając, że zadaniem
zasad nowej ewaluacji miało być „uwzględnienie rozwiązań zachęcających do
prowadzenia badań interdyscyplinarnych na wysokim poziomie”. Że co proszę?
Przecież cała nowa procedura ruguje skutecznie wszelką interdyscyplinarność i
kładzie bezwzględny nacisk na dyscyplinarność. No, już nawet PR powinien znać
granice...
d) wisienka na torcie: co to jest magiczna
„punktoza”? Nie jest nią otóż ukierunkowywanie badań na zdobywanie punktów
ministerialnych. Bynajmniej. Jest nią „presja na publikowanie i redagowanie w
dużej liczbie nisko punktowanych kanałów publikacji”. Genialne! A Ministerstwo
Wojny to Ministerstwo Miłości! No przecież!
A
dalej jest już pustka. Powtarza się zapisy rozporządzenia
dodając dużo wypełniacza. Żadna ze zgłoszonych wyżej wątpliwości nie została tu
wyjaśniona. A szkoda. Bo moja krytyka nie oznacza, że nie widzę dobrych stron
nowej procedury. Doceniam ograniczenie publikacji do maksymalnie 4 dla
pracownika, co daje oddech na pisanie innych prac, niż te poddawane ocenie.
Doceniam próbę różnicowania wartości publikacji książkowych. Tylko to wszystko
jest robione bez myśli i związku z deklarowanymi celami. Znów będziemy oceniani
post factum. Ba! Za publikacje w czasopiśmie przed ogłoszeniem nowej listy
można będzie otrzymać 10 punktów, a już za publikację rok później - 50... lub
5. W przypadku monografii mamy kompletne wróżenie z fusów. Nie wiemy, które
wydawnictwo dla MNiSW jest godne szacunku i etyczne, a które nie do końca bądź
wcale. Nie zgadzam się, że to nie ma znaczenia, bo wszyscy powinniśmy najlepiej
jak potrafimy prowadzić badania. To nie ma nic do rzeczy! MNiSW coraz głębiej i
coraz mniej komplementarnie z poprzednimi latami modeluje nasze zachowania
publikacyjne. I to nie jest do końca złe. Gorzej, że w tym działaniu tak
skupiło się na genialności przyjętych rozwiązań, że umyka mu rozbieżność między
wskaźnikiem a naturą badań. A tą nadal jest - mam nadzieje - poszukiwanie
prawdy o naszym świecie i dzielenie się tą wiedzą. Niekoniecznie w czasopismach
z bazy SCOPUS.
Ale,
może się mylę. Może już celem istnienia Akademii jest podnoszenie miejsc w
rankingach i samopoczucia polityków, którzy w końcu będą mogli przypiąć medal i
etykietki za punkty i wpływy? I będą mogli pokazać społeczeństwu puchar lub
dyplom za coś wymiernego w tej nudnej i niezrozumiałej nauce? Kto wie? Kto wie!
Brak komentarzy:
Prześlij komentarz