sobota, 18 sierpnia 2018

Ewaluacja 2017-2020 - po co?


            Ponieważ zapowiadana wielka zmiana w nauce i szkolnictwie wyższym jest już tuż tuż, warto przyjrzeć się bliżej szansom i zagrożeniom, które może ona rodzić. Nie warto krytykować ustawy - ona jest i lepiej myśleć o tym, jak ją wykorzystać. O tym chciałbym wkrótce napisać. Ale palącą sprawą jest lobbing w sprawie rozporządzeń powiązanych a znajdujących się - przynajmniej formalnie - w konsultacjach. Opinie powinny na ich temat ogłaszać stosowne gremia i chwała im, jeśli to robią. Ale mnie one nie zadowalają. A czasami przeciwnie, pokazują, jak dalece zabrnęliśmy w tok myślenia narzucany przez MNiSW.
            Analizę projektu rozporządzenia MNiSW „w sprawie ewaluacji jakości działalności naukowej” wypadało by rozpocząć od określenia celów, jakie chce osiągnąć MNiSW wdrażając ten projekt i przeprowadzić pod kątem racjonalności obecnych w projekcie sposobów ich osiągania. Tradycyjnie jednak dla MNiSW cele są sformułowane oględnie i PRowsko, krótko więc o nich na końcu wpisu. Więcej wagi chciałbym poświęcić środkom służącym osiągnięciu tych celów, bowiem to one będą kształtować Akademię.

1. Zacznijmy od banalnej konstatacji: w trakcie minionej oceny system informatyczny, a właściwie - programiści stojący za jego działaniem - był odpowiedzialny za różnorodne błędy: od tworzenia fikcyjnych pracowników jednostek i przypisywanie ich osiągnięć lub brak takowych jednostkom, po usuwanie z dorobku jednostek osiągnięć pracowników i osób deklarujących afiliację do jednostki wbrew zapisom stosownego rozporządzenia. Tylko w niektórych przypadkach oceniane jednostki mogły te błędy skorygować. Jeśli nie zdecydowały się na odwołanie od przyznanej kategorii, nie były nawet ich świadome. Ale także w przypadku odwołania nie wszystkie, czasami oczywiste, błędy systemu były uznawane za takie przez rozpatrujących odwołanie. Jednostki w porównaniu do oceniających znajdowały się w dużo gorszej sytuacji. Już chociażby dlatego, że decyzje oceniających traktowano jako wiążące mimo trwania odwołania, co jest sprzeczne z podstawowymi zasadami odwołań zapisanymi w KPA.
            Było - minęło. Tyle, że projekt przewiduje pełne zaufanie do mechanizmu oceny bazującego na danych zawartych w POLON-ie (par. 2.1). Tak, jakby programiści kiedykolwiek i gdziekolwiek, a zwłaszcza w Polsce, dali podstawy do wiary w nieomylność systemów cyfrowych. Owszem,  projekt zakłada, że oceniane grupy będą miały 21 dni na przyjrzenie się przekazanemu zestawowi zdarzeń ewaluacyjnych wybranych przez algorytm optymalizujący i w przypadku braku zgody na zaproponowanie własnych zdarzeń, jak rozumiem - w zamian za inne zdarzenia (par. 14.2-3) - kierownicy jednostek będą mogli zgłaszać swoje propozycje. Tyle, że jeśli oceniający nie uznają tych zdarzeń za możliwe do wzięcia pod uwagę, zostaną one usunięte i nie mogą być zastąpione przez nowe (par. 15.2). A oceniający mają ogromną moc - mogą usunąć zdarzenie z listy „w szczególności gdy nie budzi wątpliwości, że nie jest ono związane z badaniami naukowymi prowadzonymi w podmiocie w ramach danej dyscypliny naukowej” (par. 15.3). Ale - czyjej wątpliwości nie budzi? Bo skoro jednostka je podała, to w jej ocenie należy ona do badań prowadzonych w jednostce. Oceniający wiedzą lepiej, niż sama jednostka, co się u niej bada? A skoro jest ryzyko utraty cennych zdarzeń do oceny, może lepiej się nie wychylać, nie denerwować i zgodzić na sugestię automatu? Odwołana uczą, że oceniający nie są skorzy do uznawania swoich błędów, a już zwłaszcza błędów systemu.
            Chciałbym być dobrze zrozumiany - nie uważam, że należy odrzucić udział systemu POLON w ocenie. Że jednostki są święte i zawsze podają poprawnie dane, nie oszukują i generalnie są wzorem sprawiedliwości. Czarne owce muszą się zdarzyć. Ale to działa w obie strony. Skoro zdaniem MNiSW jednostki się mylą i mataczą, to skąd przekonanie, że nieomylni i w 100% uczciwi - wobec kogo? - będą programiści algorytmów i oceniający jednostki eksperci? Po doświadczeniach dwóch edycji ocen, w których rosła rola programów, ja tej wiary nie podzielam. Obawiam się, że dominacja algorytmów i ministerialnego ciała oceniającego utrudni jednostkom przedstawienie swoich osiągnięć. Wolałbym więc zachować mieszany system, w którym jednak jednostka decyduje na podstawie wprowadzanych danych, co zgłasza do oceny. A POLON powinien jedynie jej pomagać dostrzec wartość punktową danych w czasie rzeczywistym, bez oczekiwania na moment oceny. No, chyba że zakładamy, że kryteria oceny zmienią się tuż przed oceną...
2. Liczby - tu w projekcie panuje dziwna dowolność. Z jednej strony autorzy projektu kładą nacisk na jakość badań i publikacji. Z drugiej gubią się w kryteriach tej jakości. Bo jeśli wyznacznikiem jakości ma być miejsce publikacji - czasopismo lub wydawnictwo - to
            a) po co ograniczono liczbę monografii branych pod uwagę w ocenie w naukach humanistycznych i społecznych (teologia nie jest nauką mieszczącą się w paradygmacie prymatu racjonalności i empirycznej obserwacji, stąd konsekwentnie ją pomijam) do 20% z 3N (par. 7.13.1) i 5% w przypadku innych nauk (par. 7.13.2)? To limitowanie osiągnięć w ocenie dotyka nie tylko humanistów. Przy wyliczaniu wartości projektów naukowych realizowanych w jednostce będzie brana pod uwagę tylko ich liczba równa N (par. 12.5). Ale dlaczego? A dlaczego nie 3N analogicznie jak przy publikacjach? Albo 1,5N? Takie myślenie zmusza do tworzenia dużych projektów, ale to nie zawsze jest korzystne dla badań i zależy od specyfiki dyscypliny (dla jasności - choć humanista, prowadzę duże projekty, zdecydowanie większe niż przeciętna w mojej dyscyplinie);
            b) po co wprowadzać dodatkową ocenę ekspercką „co najwyżej pięciu” monografii wydanych poza wydawnictwami „koncesjonowanymi” przez MNiSW (czyli poza listą MNiSW punktowanych wydawnictw) na wniosek kierownika jednostki, w danej dyscyplinie dziedziny hum.-społ.? Bo dobre badania mogą się ukazać poza listą ministerialnych wydawnictw? Naprawdę? O żesz... Ale w takim razie dlaczego pięć monografii? Bo to ładna cyfra? I dlaczego bez korelacji z liczbą N konkretnej dyscypliny w danej jednostce? Przecież dodatkowe punkty za pięć monografii gdy N = 10 będzie miało inne znacznie w ogólnej ocenie, niż gdy N = 200. W pierwszym przypadku 3N=30, 20% = 6, czyli niemal wszystkie monografie brane pod uwagę w trakcie oceny będą oceniane ekspercko bez wysiłku wydawania ich w wydawnictwach „koncesjonowanych”;
            c) po co zwiększać o 50% liczbę punktów dla nauk humanistycznych i społecznych za osiągnięcia w innych dziedzinach punktowanych na X? (par. 8.4) Przecież ocena będzie w dyscyplinach, więc jeśli w ich obrębie będzie jednakowa zasada punktacji (a będzie),  to jaki to ma sens dla meritum??? Czy książka lub artykuł będą warte 200 czy 200 + 200 x 0,5 nie ma żadnego znaczenia!!! Jedyne, czemu takie różnicowanie może służyć, to budowaniu fałszywej rywalizacji całych dziedzin o... punkty przyznawane przez MNiSW!!! Czy to nie jest aby „punktoza”? Czy naprawdę humanistom zrobi się lepiej, że zdobywają XXX punktów, tyle samo - lub prawie tyle samo - co informatycy, biolodzy, chemicy... Nie rozumiem tego...
            d) z jakiego powodu lepiej punktowane mają być monografie wydawane w wydawnictwach spoza listy ministerialnej, jeśli są rezultatem projektów finansowanych w konkursach NPRH i NCN a ogłoszonych po 1 stycznia 2019 r. (par. 6.2.1)? I one podlegać mają specjalnej ocenie jakości - a wcześniej opublikowane w ramach tych konkursów w wydawnictwach niekoncesjonowanych są z definicji skazane na „gorszość” i nie będą nawet mogły podlegać ani owej wewnątrzkonkursowej ani wewnątrzewaluacyjnej ocenie eksperckiej (par. 6.2.2)? A przecież to właśnie kierownicy grantów przyznanych przed 1 stycznia 2019 r. nie mieli szansy znać listy koncesjonowanych wydawnictw - dokładnie odwrotnie, niż kierownicy grantów przyznanych po tej dacie. O co tu chodzi?
            e) ale przede wszystkim - jeśli już zgadzamy się, że wydawnictwo wyznacza jakość publikacji, to jaka logika kieruje tymi, którzy ograniczają liczbę monografii branych pod uwagę w ocenie? Skoro tworzy się listy i określa jakość - po co tworzyć kolejne sita „jakości jakości”? Wspominałem o tym wyżej (punkt a), a przecież jest kolejne - w 4 publikacjach danego autora branych maksymalnie pod uwagę w ocenie tylko 2 mogą być monografiami, pracami zbiorowymi / pod redakcją lub rozdziałami w pracach zbiorowych (par. 7.7.1). Dlaczego? Czyli można być jednym ze stu autorów czterech publikacji w „Nature” (ostatni centyl, nie dzieli się punktów między autorów), na przykład statystykiem liczącym korelacje z danych wypracowanych przez zespoły badawcze, ale nie można uznać za dorobek jednego pracownika czterech monografii wydanych w najwyższej lub średniej światowej rangi wydawnictwach naukowych? Bo co? Bo monografię można ot tak napisać i wydać? No to przecież dlatego wprowadza się listy wydawnictw, żeby wyeliminować drukujące wszystko, co jest na papierze.
A może te wszystkie obostrzenia to wynik zwykłej ludzkiej niechęci decydentów, w tym kolegów z innych dziedzin, wobec tych bezproduktywnych humanistów i społeczników? Bo spójrzmy na to tak - a gdyby w kolejnym ministerialnym rozdaniu powiedziano - nauki stosowane i ścisłe będą oceniane na podstawie publikacji, w których nie więcej niż 20% to artykuły, reszta - monografie w uznanych wydawnictwach. Ma to sens? Nie trzeba zresztą aż takiej wyobraźni by wskazać marną logikę tych przepisów. Informatycy lobbowali za uznaniem materiałów z konferencji indeksowanych w bazie SCOPUS za równie wartościowych, co artykuły w czasopismach. I otrzymali zadośćuczynienie i w minionej i w planowanej parametryzacji. Nie chodzi więc już nawet o typ publikacji, ale siłę lobbingu? Czy siłę właścicieli SCOPUS-a? A może bezradność w określaniu cech „jakości badań”?
            Znów - uważam, że szukanie wyznaczników jakości to ważna sprawa. To prawda, że powstają monografie bez większej wartości. Ale już Sokal pokazał, że identyczny problem dotyczy czasopism, także najlepszych. Jeśli godzimy się na kryterium A - listę miejsc publikacji decydujących o jakości / punktacji publikacji - co pcha decydentów do wprowadzania dodatkowego kryterium procentowego typu publikacji? Święty Graal artykułu w czasopiśmie? Przekonanie o najważniejszej roli pisania krótko, zwięźle, w głównym nurcie, bez zastanowienia się, co z tego wynika dla ogólnej narracji kierowanej do odbiorców? Jeśli już chcemy używać słowa „punktoza” to taka działalność jest jej przykładem - o wartości badań decyduje nie ich odkrywczość czy wpływ na narrację danej dziedziny, jakość powiązanych badań determinowana specyfiką dyscypliny, lecz odgórna decyzja o rozdzielaniu punktów według sztucznych kryteriów. Nie widzę w tym cienia logiki i troski o rozwój myślenia naukowego w tym szarganym emocjami kraju.
3. Typy publikacji podlegające ocenie - o części pisałem wyżej.
            a) Dodam, że autorzy poszli śmiało do przodu, bo ocenie chcą poddać jako artykuł: „artykuł w czasopiśmie naukowym lub w recenzowanych materiałach z międzynarodowej konferencji naukowej, opatrzony aparatem naukowym”  (par. 6.4). Czyli każdy artykuł w materiałach z międzynarodowej konferencji jest artykułem wartym znacznie więcej, niż rozdział w monografii? Ale ten sam artykuł w materiałach z konferencji krajowej sam przez się nie jest już tyle wart? Czyli czas organizować międzynarodowe konferencje??? Dopiero w uzasadnieniu zmian czytamy o materiałach konferencyjnych indeksowanych w bazie SCOPUS etc. A jednocześnie mamy kuriozalny krok w tył - artykułem nie będzie już żadna recenzja. Żadna! Ktoś z piszących zastanawiał się, dlaczego tyle upominano się o punktowanie recenzji? Dobrych, z aparatem naukowym, wnoszących nowe rozwiązania problemów na bazie recenzowanych prac?
            b) Autorzy rozporządzenia idą naprawdę śmiało do przodu. Otóż do czasopism przypisane zostaną na sztywno dyscypliny (par. 7.12.1). Jedna? Dwie? I one będą mówić, czy publikacja w tym czasopiśmie należy do dorobku ocenianej dyscypliny, mieści się w 20% ‘obcych’ ale branych pod uwagę, czy po przekroczeniu 20% powinna zostać usunięta z pola widzenia. Biada tym, którzy prowadzą badania interdyscyplinarne! Biada jednostkom, których pracownicy publikują nie wiedząc, do jakiej dyscypliny czasopismo zapisze MNiSW! Biada!
            c) Ale to nie koniec. Otóż komputer lub specjaliści - ewaluatorzy będą wiedzieli wszystko o specyfice badań danej jednostki. Bowiem w ocenie pod uwagę będą brane tylko ‘monografie naukowe, których tematyka jest merytorycznie związana z badaniami naukowymi prowadzonymi w podmiocie w ramach tej dyscypliny’ (par. 7.12.2). I ot zagwozdka - nowych badań się nie przewiduje? Tylko kontynuację dotychczasowych? Czy też MNiSW będzie śledziło ogół badań w czasie rzeczywistym w jednostkach? Przeglądając pliki na komputerach pracowników? Ten sam zapis pojawia się w ocenie projektów realizowanych w dyscyplinie w danej jednostce. Tu też będą brane pod uwagę tylko te, których „tematyka jest merytorycznie związana z badaniami naukowymi prowadzonymi w podmiocie w ramach danej dyscypliny naukowej” (par. 12.2.1.b);
4. Wpływ na funkcjonowanie społeczeństwa i gospodarki - ale o co chodzi? O tak zwaną trzecią misję uniwersytetów? Bynajmniej. O wpływ publikacji „w szczególności w formie artykułów naukowych, monografii naukowych, raportów i cytowań w innych dokumentach lub publikacjach, związek między wynikami badań naukowych lub prac rozwojowych albo działalności naukowej w zakresie twórczości artystycznej a gospodarką, ochroną zdrowia, kulturą i sztuką, ochroną środowiska przyrodniczego, bezpieczeństwem i obronnością państwa lub innymi czynnikami wpływającymi na rozwój cywilizacyjny społeczeństwa”(par. 13.1). Konia z rzędem temu, kto wie, jak te opisy przygotować, co spodoba się oceniającym. Zwłaszcza, że mogą oni określić wpływ jako żaden, znikomy, lokalny, regionalny i globalny. Ergo wpływ „krajowy” = „globalny”? I jak mierzyć ten wpływ - poza cytowaniami, ale jak to mielibyśmy uchwycić bez polskiej bazy cytowań, nie mam pojęcia. Zresztą, o jakie cytowania chodzi? W prasie codziennej? Specjalistycznej? Raportach - ale jakich? Gmin? Wojewodów? Rządu? Komisji Europejskiej??? O co tu chodzi? Tylko o PR, żeby móc powiedzieć, że docenia się rolę społeczną nauki? No, jeśli tak, to ok. Jeśli naprawdę komuś chodzi o coś więcej, to powinien się bardziej przyłożyć!
5. Progi - kluczowe zagadnienie. Ale tu wszystko jest płynne. Komisja ustali je porównując osiągnięcia ocenianych jednostek na podstawie danych z parametryzacji. Czyli gonimy króliczka nie znając żadnego celu i punktu odniesienia. Tak było i nic się nie zmieniło. Tylko sytuacja się jeszcze bardziej skomplikowała poprzez dodatkowe kategorie i mnożniki. A więc nie będziemy planować badań, a raczej maksymalizować liczbę publikacji wysokopunktowanych w dorobku każdego pracownika. Czy to aby nie jest „punktoza”? Ale co ja tam wiem...
6. Uzasadnienie do zmian liczy niemal tyle samo stron, co sam projekt (27:25). Całość to strasznie pompatyczny PR, chyba już znak rozpoznawczy naszego Ministerstwa, i szkoda mi na to swojego i Czytelników czasu. Kilka więc tylko słów o deklarowanych celach:
a) „Nowy model ewaluacji kładzie nacisk na jakość i służy wspieraniu doskonałości naukowej rozumianej jako uczestnictwo w globalnym dyskursie akademickim”  - świetnie! Ale jak się to ma do limitowania liczby monografii, prac pod redakcją, rozdziałów? Także tych wydawanych w najlepszych zagranicznych wydawnictwach? Jak chce się to połączyć z usunięciem recenzji z oceny? Przepraszam, ale globalny dyskurs to chyba także ocena prac innych osób w prestiżowych czasopismach? Tam się jednak nie wysyła odręcznie napisanych uwag na prośbę autora recenzowanej pracy... A co z projektami międzynarodowymi? Konferencjami organizowanymi wspólnie z podmiotami zagranicznymi? To są elementy dyskursu? Bo w ocenie ich nie ma...
b) „Skutecznie niweluje także zjawisko tzw. „punktozy””. Przepraszam, ze śmiechu nie mogę pisać;
c) „Zwiększa się znaczenie artykułów naukowych publikowanych w czasopismach naukowych indeksowanych w bazach bibliograficznych o największej renomie na świecie” - a co to za cel? Czasopisma o największej renomie w danej dyscyplinie, ale poza bazami o największej renomie, już się nie liczą? Jak się to ma „międzynarodowego dyskursu”? I po co karmić Baala wydawców czasopism nowymi dyscyplinami, które mają swoje kanały informacji od dekad i wieków inaczej ustawione? No po co??? Bo inni tak robią? No, to zaiste naukowe podejście...
d) „Ponadto nowy model ewaluacji będzie uwzględniał tylko najlepsze publikacje poszczególnych naukowców, co będzie zachęcało badaczy do wykorzystania swojego potencjału do prowadzenia badań naukowych na możliwie najwyższym poziomie i publikowania ich wyników w prestiżowych czasopismach naukowych lub w formie monografii naukowych wydawanych przez wydawnictwa przestrzegające najwyższych standardów etycznych i naukowych”. No tu mamy jedno kłamstwo i jeden sen o potędze. Kłamstwo - system będzie uwzględniał 4 publikacje najwyżej punktowane dla każdego naukowca, z tego tylko 2 monografie, prace pod redakcją lub rozdziały. Ale to nijak się ma do „najlepszych publikacji”, chociażby przez ograniczenie liczby monografii i rozdziałów. A przede wszystkim - i to się łączy z drugim, podkreślonym członem zdania - MNiSW nie ma wiedzy absolutnej i na szczęście nie decyduje też o etyce zawodu naukowca lub wydawcy. Może o tym śnić. Ale faktycznie może najwyżej wprowadzać własne hierarchie i zmuszać nas do ich obserwowania. I tylko tyle;
e) ale już zupełnie oniemiałem czytając, że zadaniem zasad nowej ewaluacji miało być „uwzględnienie rozwiązań zachęcających do prowadzenia badań interdyscyplinarnych na wysokim poziomie”. Że co proszę? Przecież cała nowa procedura ruguje skutecznie wszelką interdyscyplinarność i kładzie bezwzględny nacisk na dyscyplinarność. No, już nawet PR powinien znać granice...
d) wisienka na torcie: co to jest magiczna „punktoza”? Nie jest nią otóż ukierunkowywanie badań na zdobywanie punktów ministerialnych. Bynajmniej. Jest nią „presja na publikowanie i redagowanie w dużej liczbie nisko punktowanych kanałów publikacji”. Genialne! A Ministerstwo Wojny to Ministerstwo Miłości! No przecież!

A dalej jest już pustka. Powtarza się zapisy rozporządzenia dodając dużo wypełniacza. Żadna ze zgłoszonych wyżej wątpliwości nie została tu wyjaśniona. A szkoda. Bo moja krytyka nie oznacza, że nie widzę dobrych stron nowej procedury. Doceniam ograniczenie publikacji do maksymalnie 4 dla pracownika, co daje oddech na pisanie innych prac, niż te poddawane ocenie. Doceniam próbę różnicowania wartości publikacji książkowych. Tylko to wszystko jest robione bez myśli i związku z deklarowanymi celami. Znów będziemy oceniani post factum. Ba! Za publikacje w czasopiśmie przed ogłoszeniem nowej listy można będzie otrzymać 10 punktów, a już za publikację rok później - 50... lub 5. W przypadku monografii mamy kompletne wróżenie z fusów. Nie wiemy, które wydawnictwo dla MNiSW jest godne szacunku i etyczne, a które nie do końca bądź wcale. Nie zgadzam się, że to nie ma znaczenia, bo wszyscy powinniśmy najlepiej jak potrafimy prowadzić badania. To nie ma nic do rzeczy! MNiSW coraz głębiej i coraz mniej komplementarnie z poprzednimi latami modeluje nasze zachowania publikacyjne. I to nie jest do końca złe. Gorzej, że w tym działaniu tak skupiło się na genialności przyjętych rozwiązań, że umyka mu rozbieżność między wskaźnikiem a naturą badań. A tą nadal jest - mam nadzieje - poszukiwanie prawdy o naszym świecie i dzielenie się tą wiedzą. Niekoniecznie w czasopismach z bazy SCOPUS.
            Ale, może się mylę. Może już celem istnienia Akademii jest podnoszenie miejsc w rankingach i samopoczucia polityków, którzy w końcu będą mogli przypiąć medal i etykietki za punkty i wpływy? I będą mogli pokazać społeczeństwu puchar lub dyplom za coś wymiernego w tej nudnej i niezrozumiałej nauce? Kto wie? Kto wie!

Brak komentarzy:

Prześlij komentarz