piątek, 29 grudnia 2017

Co zostało ocenione? Co ma być oceniane? Obserwacje z przebiegu oceny jednostek naukowych

Cisza wokół wstępnych wyników kategoryzacji jednostek naukowych zza lata 2013-2016 powinna dać wszystkim do myślenia. Ale pewnie nie da, bo skala dezynwoltury w kulturze zarządczej na najwyższych szczeblach struktury naszej Akademii rosnąc generuje jednocześnie intensyfikację mechanizmów przystosowawczych - w tym głównie umiejętności cichego lobbowania i mimikry. I ja to rozumiem - zbyt wiele mają do stracenia i poszczególni badacze i całe ich zespoły. Tym niemniej warto choć kilka słów powiedzieć, bo pojawianie się liczniejszych artykułów w prasie i Internecie - bez przesady z ich szerokim zasięgiem - dotyczących reform nauki zwiastuje jednak pewną determinację w tym zakresie Ministerstwa. Tu wiele zależy przecież od czynników politycznych. Więc zamiast gdybać o niewiadomym - bo kto wie, jaki kształt nowej ustawy zaakceptuje Prezes? - spójrzmy na realizację wspomnianej oceny z odniesieniem do możliwej przyszłości tego mechanizmu. 

Problem do pewnego stopnia wywołał Emmanuel Kulczycki wpisem poświęconym 8 głównym wyzwaniom przyszłej ewaluacji. I choć w zasadzie abstrahuje on od zakończonej procedury i skupia się na możliwym kształcie przyszłych regulacji w kontekście ustawy, to w jednym punkcie mogę go tylko w pełni poprzeć: kluczowe znaczenie ma cel oceny. Mówiłem i pisałem o tym wielokrotnie - tak, jak zarządzanie nauką nie do końca ma jasno określony i perspektywicznie realizowany cel (poza trwaniem struktury), tak ostatnia procedura oceny zgubiła jakikolwiek głębszy, a nawet płytszy, ale jasno komunikowany sens wykraczający poza hierarchizację jednostek organizacyjnych według pewnych wskaźników. Zresztą, równie niejasne były średniookresowe cele poprzedniej procedury. Rozbrajające są w tym kontekście deklaracje decydentów, że Akademia nie potrzebuje znać wcześniej niż przed rozpoczęciem procesu założeń oceny, bo... trzeba po prostu prowadzić dobre badania i dobrze publikować. Tymczasem owe założenia kształtują i muszą kształtować polityki instytucji, skoro z wynikiem oceny są sprzężone inne mechanizmy - grantowe (część projektów jest adresowana tylko do jednostek z kategorią A i A+), finansowe (algorytm podziału dotacji bazowej), partycypacji w gremiach decyzyjnych (do wielu ciał prawo zgłaszania kandydatów, a w niektórych przypadkach także głosowania, mają tylko jednostki A i A+). Katalog tych zależności rozszerza jeszcze projekt Ustawy 2.0. I nie mam nic przeciwko temu - jeśli ustalimy, że najlepsi, dający świadectwo o Akademii, mają wyznaczać kierunki jej rozwoju, to tak powinno być. Bo nauka musi być arystokratyczna. Tylko pytanie brzmi - najlepsi w czym? Dlaczego w tym? W jakim celu chcemy takich najlepszych? Żeby się chwalić grantami, pucharami i miejscami na podium? Czy rozwojem gospodarki zaawansowanych technologii? A może wzrostem kapitału społecznego? Przemianami kultury? Ocalonymi przed uniformizacją i wspieranymi kulturami lokalnymi? Możliwości jest wiele, bo Akademia jako środowisko promujące racjonalne poznawanie świata i budowanie współżycia na tej podstawie jest kluczem do wielu dróg rozwoju. 

Trzeba to jasno i dobitnie powiedzieć - ani nowa ustawa, ani nowa ewaluacja nie przyniosą żadnego długofalowego skutku, jeśli nie zostaną ukształtowane poprzez odniesienie do konkretnych i powszechnie akceptowanych celów zakorzenionych w zmiennym kształcie obecnego świata i specyfice Akademii. Świata wykraczającego dalece poza kwestie gospodarcze i prestiżowe jednego państwa. 

Obecna procedura w ogóle nie podjęła tego problemu. Trudno. Skupiono się na arbitralnie określonych współczynnikach promujących publikowanie w czasopismach z listy ministerialnej i zgodność działań jednostek z oczekiwaniami ewaluatorów. Wyniki jednostek mówią więc wiele o umiejętności dostosowawczych do polityk zarządczych kolejnych rządów wobec nauki oraz zdolności wejścia w najżywszy i najszerszy obieg informacji naukowej. To niewiele, ale nie tak znów mało biorąc pod uwagę brak perspektywicznie ustalonego celu całej procedury. Odrzucam zarzut, że procedura była skażona jakąś 'punktozą'. Owszem, od lat lęk przed parametryzacją wymógł doskonalenie pragmatyk publikacyjnych pracowników, w tym zwłaszcza szukanie miejsc do publikacji w ramach czasopism z list ministerialnych. Ale nie przesadzajmy - przy dyskusyjnym, czasami bardzo, poziomie trafności punktów na tych listach sama zasada dała możliwość uczynienia bardziej klarownym obieg informacji, zlikwidowała nadmiar prac zbiorowych (a i tak jest ich wiele), w których wybitne prace kompletnie gubiły się w morzu publikacyjnego szumu. Wady systemu wszyscy znamy (skoncentrowanie na informacji naukowej pod kątem nauk stosowanych, o ziemi i człowieku, w konsekwencji naginanie obiegu innych nauk do tego wzorca; lobbing i sztuczne zawyżanie parametrów czasopism słabych i średnich; deprecjacja dłuższych badań w humanistyce, które kończą się monografią zawierającą opis dużego eksperymentu na rzecz form krótkich, cząstkowych; omijanie ryzykownych, nowych tematów na rzecz mód publikacyjnych gwarantujących miejsce w wysokopunktowanych czasopismach itd.), ale pamiętajmy, że stały wzrost liczby publikowanych artykułów w dobrych i bardzo dobrych czasopismach krajowych i zagranicznych ma istotne znaczenie dla poprawy obiegu informacji. Zawsze to coś.

I tyle o teorii minionej oceny. Niewiele, bo niewiele jej było (poza technicznymi kwestiami). Praktyka to sprawa odrębna i w zasadzie powinno się ją podzielić na trzy elementy: stronę techniczną; administracyjną i merytoryczną. Ta pierwsza odegrała nadspodziewanie istotną i negatywną rolę w przebiegu oceny. Jest jakiś genius specyficzny informatyzacji polskich instytucji publicznych. System cyfrowego transferu danych tradycyjnie nie był skończony w momencie rozpoczęcia wypełniania ankiet, ale tym razem zyskał niepotrzebnie rygorystyczny kształt - nie było możliwości ręcznego wprowadzania danych, trzeba było stosować transfery z lokalnych baz danych poprzez PBN i POLON do ankiety. Jaka z tego wynikła korzyść, jest dla mnie wielką niewiadomą. Skala problemów, pomyłek, braków, drobiazgów, które ważyły potem na całej ocenie całych jednostek - jest przygnębiająca. Wynik oceny w znacznej liczbie przypadków zamiast być miarą działalności publikacyjnej (głównie) jednostek stał się miarą umiejętnego wypełnienia ankiety i powiązanych systemów. Doceniając tę ostatnią umiejętność nie uważam, że taki powinien być cel tego specyficznego projektu zwanego oceną jednostek naukowych. 

I tu dochodzimy do strony administracyjnej oceny: daleko idący brak przejrzystości, o którym pisał wspomniany E. Kulczycki, to łagodne stwierdzenie stanu, którego drugą stroną był brak poszanowania dla praw stron postępowania administracyjnego. Źle się stało, że KEJN i jego zespoły nie komunikowały się w trakcie oceny z jednostkami, by wyjaśnić istotne wątpliwości. Wobec specyfiki systemu informatycznego pomogłoby to wiele kwestii rozstrzygnąć bez oczekiwania na odwołania. A tak - odwołania popłyną szeroką strugą. A odrzucane - skierują się do sądów administracyjnych, bo tym razem już nie tylko kwestie finansowe w skali jednostek i uczelni, ale też uprawnień mogą być istotne, jeśli - jak można sądzić z wypowiedzi niektórych urzędników ministerstwa - powiązanie kategorii z uprawnieniami jednostek do przyznawania stopni doktora i doktora habilitowanego nastąpi już w odniesieniu do tej edycji oceny. A wobec skali naruszeń podstawowych uregulowań przewidzianych w KPA tak wobec postępowania przygotowawczego, przebiegu procesu, jak kształtu decyzji związanych z oceną - jednostki mogą liczyć na podtrzymanie roszczeń stron - czyli ponowną ocenę uwzględniającą zastrzeżenia... A pamiętajmy o tym, o czym MNiSW nie zawsze chce pamiętać: proces odwoławczy wstrzymuje bieg uprawomocnienia decyzji administracyjnej. Innymi słowy: ogłoszone wyniki nie są obowiązującymi kategoriami jednostek. Dopóki będą trwały odwołania, dopóty jednostki będą posiadały dotychczasowe kategorie naukowe. Zarządzanie nauką, a zwłaszcza tak wrażliwym procesem, jakim jest ocena, powinno być maksymalnie transparentne i otwarte na współpracę jednostki realizującej proces z jednostką ocenianą. Kapitał zaufania do siebie mamy skromny, a obawiam się, że obecna ocena tylko go obniżyła. Jeśli przyszła ocena ma mieć inny niż autorytarno-administracyjny charakter, warto określając jej mechanizmy odwołać się do norm obowiązującego prawa i zadbać o poprawne funkcjonowanie kanałów przepływu informacji.

No i dochodzimy do strony merytorycznej. Doceniam zaangażowanie zdecydowanej większości ewaluatorów w pracę nad przejrzeniem dorobku publikacyjnego jednostek. Choć zdarzało im się nadużywać formułek - czasami bardzo stanowczych w brzmieniu - a niektórym po prostu kopiować zdanie kolegi, z którym pracowali w parze, to ich uwagi w dostępnych mi ankietach wskazują na zrozumienie problematyki, zainteresowanie dojściem do realnego stanu rzeczy i precyzyjnym wydaniem opinii. Tyle, że tam, gdzie zawiódł system informatyczny, na niewiele się to zdawało, bo często nie widzieli "zdarzeń ewaluacyjnych", które ocenić powinni. Natomiast uważam, że kompletnie zawiódł sposób oceny "eksperckiej" najważniejszych osiągnięć jednostek. Zawiódł, bo w zasadzie nie wiem, jaki był - nie pod względem mechanizmu (dwóch ekspertów i przewodniczący określający w przypadku niezgodności ocenę), ale sensu, przyjętych kryteriów i ich przestrzegania. Kompletnym lekceważeniem odbiorcy pracy ekspertów były ogólnikowe uzasadnienia przyznawanych ocen. W dodatku w niektórych przypadkach zdradzające brak wiedzy w przedmiocie, który przyszło ekspertom oceniać. I trudno się dziwić - zakres rzeczowy, który mieli oceniać, był niezmiernie szeroki, co przy braku kryteriów musiało prowadzić do hmmmm, specyficznej rozległości horyzontu ocen. Jeśli chcemy w przyszłości uniknąć tego problemu, ocena ekspercka musi być dużo bardziej przejrzysta, precyzyjna i -- tak, może węższa tematycznie, jeśli ma być ekspercka?

Co wynika według mnie z obecnej oceny jednostek naukowych dla przyszłości? 

Bezwzględnie przemyślenia wymaga dobór elementów ocenianych pod kątem celu istnienia Akademii, precyzyjnego określenia tego celu przez naszego głównego benefaktora. Czy mniej elementów ocenianych oznaczać będzie lepszą ocenę? To zależy tylko i wyłącznie od tego, czego będzie się od nas oczekiwać. Chciałoby się rzec - no zdecydujcie się wreszcie!!!! 

Niewątpliwie już dziś trzeba zadbać o procedury i informatyczne narzędzia wykorzystywane w gromadzeniu danych i ich ocenie. Nie wiem, czy trzeba tworzyć specjalne jednostki gromadzące dane naukometryczne, bo to usztywni system, choć z pewnością wygeneruje kilka dużych, lukratywnych grantów. Lepiej chyba pomyśleć o elastycznej sieci danych generowanych dobrowolnie przez użytkowników, niż strukturze wymuszającej raportowanie sztywno określonych kategorii danych. Ale znów - tu wiele zależy od celu, jaki się nam przypisze. Albo - co byłoby lepsze - jaki sami potrafimy zaoferować społeczeństwu... 

Warto lepiej, racjonalniej określić rolę ekspertów - kto, co i jak ma oceniać. I tu również trzeba wiedzieć - pod jakim kątem, w odniesieniu do jakiego celu? Żaden algorytm nie pomoże, jeśli nie wiemy, czego chcemy. Jeśli chcemy badać oddziaływanie społeczne, to żaden system cytowań (sic!) tu nie pomoże. Ani powołanie eksperta z zagranicy. Natomiast jeśli chcemy mierzyć udział polskich badaczy w obiegu naukowym i hierarchii prestiżu w międzynarodowym środowisku - wtedy i owszem, powołanie zagranicznych ekspertów i użycie algorytmów jest jak najbardziej wskazane. 

Wnioski? Mikre, bo cała ta ocena była dzieckiem chyba nie do końca chcianym i przemyślanym przez zamawiających. I chyba wolałbym, żeby trwała dłużej, rozpoczęła się później i dała wyniki jeszcze później, niż by wyglądała tak, jak miało to miejsce obecnie. Przyszłość jest nam nieznana, ale jedno dla mnie jest pewne - nie zmierzymy się z nią należycie, jeśli będziemy powielać błędy. Etap planowania i aplikacji rozwiązań związanych z oceną mamy za sobą, czas na ocenę i głębokie poprawki. Tak w jednostkach, które miały okazję się przejrzeć w jakimś narzędziu, ale przede wszystkim w MNiSW, które powinno wnikliwie ocenić efektywność tego narzędzia. I oby racjonalność i świadomość roli Akademii dla społeczeństwa zwyciężyła nad lobbingiem w mikro i makroskali. Każda ocena pomaga nam być lepszym - o ile wiemy w czym i chcemy do tego czegoś dążyć. A czas ucieka...