21 mai 2012 de Ministrul Educației și Științei Federația Rusă Este numit Dmitri Livanov. În primul său discurs public, el își exprimă intenția Ministerului Educației și Științei (MES RF) de a efectua un audit cuprinzător al sectorului de cercetare și dezvoltare, inclusiv institute ale Academiei Ruse de Științe, organizații științifice de stat și instituții de învățământ superior. institutii de invatamant. Această afirmație poate fi numită nașterea „hărții” stiinta ruseasca„Din păcate, din cauza evenimentelor din jurul reformei Academiei Ruse de Științe, acest proiect s-a pierdut cumva și, în opinia noastră, nu a primit atenția cuvenită din partea comunității IT. Vă oferim o scurtă retrospectivă: traseul proiectului de la concept la implementare.

Calea fără scop devine albastră înaintea mea,
Un drum lung, săpat de pâraie,
Și apoi - întuneric; și ascuns în acest întuneric,
Arbitrul destinului urcă.

Alexander Blok, octombrie 1899

Partea 1: competiție

Proiectul „Harta Științei Ruse” (http://mapofscience.ru/) a fost anunțat oficial în decembrie 2012. În ajunul Ministerului Educației și Științei al Federației Ruse, a avut loc un concurs pentru a efectua cercetări pe tema „Formarea unui sistem de evaluare și monitorizare a rezultatelor activităților de cercetare ale organizațiilor și oamenilor de știință pentru evaluarea regulată a statului. din domeniul științei.” Prețul inițial (prețul maxim) al contractului este de 100 de milioane de ruble. Finanțarea proiectului a fost oferită în cadrul programului țintă federal „Cercetare și dezvoltare în domenii prioritare de dezvoltare a complexului științific și tehnologic al Rusiei pentru 2007-2013” ​​​​(Concursul pentru 2012, Activitatea 2.1, Etapa 11, Lot 1).

Partea 5: motivele eșecului

După cum rezultă din poziția oficială a Ministerului Educației și Științei al Federației Ruse și a numeroaselor recenzii din partea comunității științifice experți, „Harta științei” s-a dovedit a fi nesatisfăcătoare. Nu vom discuta dacă corespunde obiectivelor contractului guvernamental finalizat din cauza lipsei de informații despre acesta. Un alt lucru este important - cum ar putea fi evitată o astfel de situație? În opinia noastră, punctul cheie în această poveste este că toate datele pe care a fost construit acest sistem de informare publică nu sunt deschise.

Și aici am dori să atingem problema foarte presantă a datelor deschise în știință. Pur și simplu nu există. Dar dacă ar fi deschise, poate că nu ar fi nevoie de un astfel de ordin guvernamental. Harta științei ar putea fi implementată de orice dezvoltator profesionist interesat de date deschise și știință. Mai mult, cu cererea adecvată din partea statului și a comunității științifice, ar exista mai multe astfel de „hărți”.

Să ne uităm la lista presupuselor surse rusești pentru „Harta științei”:

  1. articole în limba rusă și reviste străine(NEB);
  2. brevete rusești și străine (FIPS);
  3. granturi (Institutul de Cercetări Științifice FGBNU RINCCE, RFBR, RGNF);
  4. rapoarte privind cercetarea și dezvoltarea (CITS);
  5. disertații și rezumate (CITS);
  6. editura de carte (Camera Rusa de Carte);
  7. informații despre organizațiile științifice și departamentele acestora (inclusiv universități și facultățile acestora).

Marea majoritate a surselor de mai sus au fost generate de la bugetul de stat și nu este clar de ce aceste date nu sunt publice.

Partea 6: cum să remediați situația?

În ultimele două săptămâni, comunitatea științifică rusă a discutat activ despre avantajele și dezavantajele „Hărții științei ruse”. Cu toate acestea, aproape că nu s-a vorbit despre merite. Am rugat oamenii de știință care au participat la testarea Hărții să-și dea părerea despre acest produs.

Olga Moskaleva,
membru al grupului de lucru format de Ministerul Educației și Științei pentru rezolvarea problemelor metodologice ale proiectului:

Sistemul informatic „Harta Științei Ruse” (www.mapofscience.ru), lansat în funcțiune de probă la 12 noiembrie 2013, a provocat un număr mare de răspunsuri negative, în principal din cauza lipsei de informații oficiale despre proiect din partea Ministerului Educație și știință (vezi, de exemplu, -).

Săptămâna trecută, aproape simultan, au apărut declarații pe această temă din partea Consiliului ONR și a Comisiei de Monitorizare Publică a Progresului și Rezultatelor Reformelor în Domeniul Științei. Ei încep, se pare, cu o listă cu ceea ce este rău în „Harta științei”, ce este greșit acolo în ceea ce privește publicațiile, numărul de angajați din institute, posturile acestora etc. Recomandările bazate pe aceste comentarii sunt date către exact opusul. ONR încurajează „lucrătorii de cercetare să se înregistreze pe site-ul KRN pentru a participa activ la testarea proiectului și la elaborarea propunerilor de îmbunătățire a acestuia”. Comisia sfătuiește „să se abțină de la a contacta sistemul Map of Russian Science pentru a face orice modificări acolo”.

Deci, ce ar trebui să facă cercetătorii într-o astfel de situație dacă se află într-o situație de instrucțiuni direct opuse? După cum se menționează în bloguri, oamenii de știință sunt un popor independent și vor decide singuri ce să facă. Atunci de ce și pentru cine sunt acceptate aceste aplicații? Unde ar trebui să pun o virgulă în legătură cu Harta Științei - „execuția nu poate fi iertată”?

Emoția rezultată a fost în mare măsură provocată de declarațiile Ministerului Educației și Științei conform cărora „Harta” este aproape gata și este pe cale să fie folosită pentru evaluarea organizațiilor științifice. Între timp, chiar la începutul acestui proiect, „Harta” a fost poziționată deloc ca un instrument de evaluare, ci mai degrabă ca un instrument care să-i ajute pe oamenii de știință înșiși, reducând timpul petrecut pentru completarea cererilor de grant și a rapoartelor ulterioare despre acestea. S-a presupus că datorită acestui sistem va fi mai ușor să găsiți și să selectați experți în diverse domenii de cunoaștere, inclusiv pentru organizarea de concursuri de granturi, formarea consiliilor de disertație etc.

Care este istoria problemei și ce este de fapt în „Harta științei ruse” acum?

Crearea acestui proiect a fost anunțată pentru prima dată în vara anului 2012, la scurt timp după numirea lui Dmitri Livanov în funcția de ministru. La început nimic altceva decât idee generală, nu a fost anunțat și se putea presupune că ministerul urma să cumpere gata făcute sisteme analitice de la Elsevier sau Thomson Reuters. Aceasta este în primul rând o linie de instrumente SciVal care efectuează o analiză foarte complexă a publicațiilor prezentate în baza de date Scopus pe baza analizei co-citare. A fost creat de Elsevier și este utilizat pe scară largă în întreaga lume pentru a măsura productivitatea științifică a organizațiilor, țărilor și regiunilor. În InCites, dezvoltat de Thomson Reuters, este implementată o abordare complet diferită (folosind metrici de citare standardizate pentru a compara diferite domenii de cunoștințe și publicații din ani diferiți). Utilizează baza de date Web of Science (WoS).

Scurte descrieri ale acestor instrumente și capacitățile lor pot fi găsite pe sau pe site-urile web ale companiilor producătoare. SciVal a construit deja hărți ale științei atât pentru Rusia în ansamblu, cât și pentru destul de multe cantitate mare universități ruseștiși institute științifice ale Academiei Ruse de Științe și ale Academiei Ruse de Științe Medicale. InCites are, de asemenea, multe seturi de date bine dezvoltate pentru organizațiile ruse individuale și actualizează în mod regulat datele pentru Rusia în ansamblu.

Desigur, este dificil să tragem concluzii despre starea științei în Rusia pe baza datelor WoS sau Scopus, deoarece majoritatea publicațiilor științifice ale oamenilor de știință ruși nu sunt indexate în aceste baze de date, în special în domeniul social și umanitar. Cu toate acestea, Russian Science Citation Index, unde științele umaniste sunt destul de pe deplin reprezentate, este mai puțin potrivit pentru evaluarea publicațiilor oamenilor de știință naturală.

Apare gândul de a aduce publicații rusești și publicații din reviste internaționale într-o singură bază de date și de a le analiza împreună, dar aceasta este o sarcină foarte dificilă. În plus, să evalueze activitate științificăÎn mod clar, există puține informații doar despre publicațiile din reviste științifice - există cărți, brevete, discursuri la conferințe, granturi etc. Tocmai acesta este obiectivul ambițios stabilit de minister - de a pune toate aceste date într-un singur sistem informațional și de a desfășura un comun analiză, concomitent construind servicii de înregistrare a cererilor, rapoarte și selecție de experți.

În urma consultărilor Ministerului Educației și Științei cu reprezentanții organizațiilor științifice și universităților care au sisteme informaționale pentru sprijinirea cercetării, a fost formulată o specificație tehnică pentru realizarea unei „Hărți a științei ruse” și a fost anunțată un concurs pentru un contract în valoare de 90. milioane de ruble, care a fost câștigat de compania de consultanță PricewaterhouseCoopers.

În martie 2013, principalele detalii ale conceptului, precum și unele rezultate ale discuției pe o platformă de discuții special creată, au fost prezentate în cadrul unei ședințe a grupului de lucru. În cadrul întâlnirii a avut loc o prezentare a proiectului PricewaterhouseCoopers, în urma căreia membrilor grupului de lucru și membrilor grupurilor de experți în domeniile științei li s-a oferit posibilitatea de a accesa un prototip al interfeței de lucru „Science Maps” pentru a-și exprima comentarii și sugestii. În iunie, a început a doua etapă de testare a „Harții Științei”, deja cu date parțial descărcate de la WoS și RSCI.

În prezent, a început operarea de probă a versiunii industriale a „Hărții științei ruse”, în care fiecare om de știință poate obține date individuale de înregistrare și poate verifica și corecta datele despre publicațiile, subvențiile și brevetele sale.

Și aici, pe fundalul tensiunii asociate cu reorganizarea academiilor de științe, au început toate evenimentele descrise chiar la început.

Ce anume cauzează o atitudine atât de negativă a majorității față de un produs neterminat? Principalele plângeri sunt următoarele:

  • Discrepanța între informațiile despre numărul de publicații ale unui om de știință în WoS sau RSCI cu ceea ce este vizibil în „Harta științei”, precum și „legarea” incorectă a publicațiilor cu oamenii de știință
  • Informații incorecte despre organizații în general - număr de angajați, număr de academicieni, medici etc.
  • Apariția unor domenii științifice non-core în informațiile despre instituții.

Comparația Maps of Science cu WoS și Scopus, realizată adesea pe bloguri, este fundamental incorectă, deoarece acest proiect nu este un index de citare, iar Google Scholar nu caută după organizație.

Toate aceste greșeli sunt complet inevitabile și ușor de explicat. „Harta științei” este încărcată cu informații de la WoS, selectate pe baza afilierii cu Rusia și organizațiile ruse, și nu după numele oamenilor de știință. Prin urmare, pentru început, fiecare om de știință verificându-și datele în WoS și în „. Harta Științei” trebuie să rețină sau să verifice ce afiliere este indicată în articolele care lipsesc din Harta Științei.

Cel mai probabil se va dovedi că este indicată o organizație străină sau nu există deloc afiliere. Astfel de publicații nu au putut fi incluse, în principiu, în gama descărcată de publicații. Dacă publicațiile din WoS sunt atribuite altui om de știință sau omul de știință s-a „multiplicat” în mai multe profiluri diferite, atunci ar fi bine să vă puneți întrebarea: „Ce am făcut eu personal pentru a mă asigura că toate publicațiile mele în WoS sunt adunate într-unul singur. profil și nu a fost confundat cu publicațiile cu nume? La urma urmei, în acest scop, sistemul de înregistrare a autorului ReseracherlD a fost creat de mult timp, ceea ce ajută foarte mult la evitarea unor astfel de erori în baza de date.

Cu toate acestea, până în prezent, doar 11.472 de autori din Rusia sunt înregistrați în ResearcherlD, cu un număr total de oameni de știință de peste 300 de mii (și chiar mai mult de 600 de mii sunt indicați în „Hartă”, dar aceasta include studenți, absolvenți și străini). co-autori). Pentru comparație: în Italia există 11.245 de oameni de știință înregistrați, în Germania - 11.733, în Marea Britanie - peste 20 de mii și în China - peste 36 de mii.

În ceea ce privește atribuirea incorectă a articolelor către organizații, încercarea de a găsi publicații ale unei organizații în WoS se dovedește adesea a fi o sarcină aproape de netrecut din cauza unei abordări excesiv de creative atât pentru a indica afilierea, cât și datorită abundenței de opțiuni de nume pe engleză. Acest lucru este agravat și mai mult de reorganizările, fuziunile și achizițiile constante, care fac dificilă determinarea cărei organizații îi poate aparține o anumită publicație.

Acum, WoS a creat un număr destul de mare de profiluri de organizație combinate (Organization-Enhanced), îmbinând toate numele organizației într-o singură înregistrare. Doar FIAN, jignit de un articol despre legumicultură, are 72 de nume diferite în profilul său combinat și nu există nicio garanție că acest lucru lista completa. Institutul Kurchatov nu are deloc un astfel de profil unificat, iar Universitatea de Medicină de Stat din Sankt Petersburg poartă numele. Pavlova, care nu are un abonament la Web of Science, a fost inclusă complet în profilul Institutului de Fiziologie care poartă numele. Pavlova RAS...

O situație complet similară cu datele din RSCI: în sistemul Science Index - autor, destinat aceluiași lucru în raport cu RSCI ca și ResearcherlD în raport cu Web of Science, astăzi sunt înregistrați 180 de mii de oameni de știință, dar cei mai mulți dintre ei sunt s-au angajat activ în verificarea publicațiilor și a citărilor lor doar în 2013 Într-un sistem similar pentru organizații, sunt înregistrate 380 de organizații, iar legarea automată a publicațiilor cu oamenii de știință și organizații, chiar și fără factorul agravant al traducerii sau transliterației incorecte, nu este întotdeauna posibilă. și necesită verificare de către organizații.

În ceea ce privește discrepanța dintre datele din „Harta Științei” și numărul de publicații din RSCI, există un alt factor pe care practic nimeni nu-l ține cont - datele de la Scopus sunt încărcate și în RSCI, dar pentru „Harta de Science” au fost prezentate doar publicații în reviste științifice rusești.

Datele privind funcțiile, titlurile și afilierea la o anumită organizație din Harta Științei sunt preluate exclusiv din profilurile autorilor înscriși în sistemul Science Index. Înregistrarea în acest sistem se realizează pe baza înregistrării utilizatorului RSCI existent. Deci, dacă un om de știință a început să folosească RSCI în 2003 și și-a indicat poziția în acel moment și, atunci când a completat informații suplimentare atunci când a primit un cod SPIN, nu a actualizat datele privind gradele, titlurile și pozițiile modificate, atunci membrul corespondent de astăzi, conform la informațiile disponibile, a „Harții științei” poate fi considerat profesor asociat și candidat de știință.

O cunoaștere selectivă cu datele „Hărții științei” arată că informațiile prezentate în aceasta pentru organizațiile care verifică componența profilului organizației în Web of Science și sunt înregistrate în Indexul științei - sistem organizațional coincide cu un nivel destul de bun. și pentru organizațiile care nu au un profil în Organization-enhanced Web of Science, există un număr destul de mare de erori. În principiu, aceste erori nu pot fi corectate complet nici de dezvoltatori, nici de minister, aceasta necesită participarea oamenilor de știință și a reprezentanților organizațiilor înșiși.

Niciunul dintre critici nu a acordat atenție unor puncte mult mai semnificative - lipsa unei analize comune a datelor din RSCI și Web of Science (care este motivul pentru care a început toată această muncă), precum și lipsa completă de claritate cu soarta viitoare acest proiect. Nu este clar cum și pe ce bază vor fi actualizate datele și cu ce frecvență. Va fi necesară intervenția regulată a oamenilor de știință pentru a verifica datele? Sau aceasta ar putea fi organizată în mod ideal prin sincronizarea informațiilor din profilurile Science Index și ale autorilor ResearcherlD sau ORCID, domenii pentru care sunt furnizate la înregistrarea unui utilizator în Science Map?

Ceea ce s-a făcut din punct de vedere tehnic funcționează, se construiesc grafice, se analizează datele disponibile în limita capabilităților implementate până în prezent și chiar și în această stare, funcțiile serviciilor și un singur depozit de date despre publicații, brevete, granturi etc. va fi foarte util. Cu condiția ca datele să fie reconciliate și actualizate în mod regulat, sistemul poate fi un furnizor universal de date pentru diferite rapoarte, dar capacitățile pentru funcțiile analitice sunt încă insuficiente.

Deci, ce ar trebui să facem acum cu „Harta științei” - să o corectăm sau să o ignorăm? Pe care dintre recomandări ar trebui să urmați - ONR sau RasKoma? Erorile de date existente sunt inevitabile, trebuie corectate și nu ne putem lipsi de participarea oamenilor de știință și a organizațiilor. Cu toate acestea, toate acestea au sens numai dacă există un răspuns clar la întrebările despre actualizarea în continuare a datelor și rafinarea în continuare a capacităților analitice ale Hărții științifice.

Andrey Tsyganov, membru al ONR:

În opinia mea, lista principalelor plângeri cu privire la proiectul „Harta științei ruse” vorbește în mod specific despre succesul acestui proiect în stadiul actual. Într-adevăr, în acest proiect puteți găsi:

  • diverse informații despre numărul de publicații și citări ale unui om de știință în WoS, RSCI și „Harta Științei”;
  • înregistrarea versiunilor în rusă și traduse ale articolelor în cardul personal al omului de știință;
  • informații incorecte despre organizații în ansamblu, de exemplu, numărul și componența angajaților;
  • o listă a tuturor domeniilor științifice, inclusiv non-core, în informații despre institute etc., etc.

Toate acestea sunt o consecință a faptului că dezvoltatorii și-au stabilit obiectivul de a colecta automat informații și de a plasa toate datele colectate într-un singur loc. Aceștia, nefiind experți, nu își asumă responsabilitatea pentru corectarea, prelucrarea și interpretarea informațiilor primite oficial din trei baze de date: RSCI, Web of Science și, așa cum era planificat, Scopus. Faptul că dezvoltatorii tratează fiecare informație atât de atent și pur și simplu colectează totul într-un singur loc este principala realizare a acestui proiect în prezent.

Întrebarea principală este în ce anume are încredere comunitatea oamenilor de știință, relativ vorbind, în „oficialii” să facă și ce nu are încredere în ei să facă, adică ce ar trebui să facă oamenii de știință numai ei înșiși, fără a avea încredere în nimeni altcineva.

Dacă spunem că „oficialii” trebuie să corecteze în mod independent informațiile despre publicațiile noastre, despre citările noastre, înseamnă că „oficialii” au dreptul să facă acest lucru, fără a se baza nici pe opinia oamenilor de știință înșiși, nici pe opinia instituțiilor, sau la opinia experților. Ar trebui să li se acorde „oficialilor” un astfel de drept?

De exemplu, dacă cerem de la „oficiali” să elimine duplicatele, adică dăm dreptul „oficialilor” să decidă singuri ce versiune a articolului, rusă și engleză, ar trebui să fie pe site, atunci avem încredere în „oficial” să decidă singur care publicație este importantă și care nu este importantă, fără a ține cont atât de părerile autorului publicației, cât și ale reprezentanților institutului unde a fost realizată lucrarea.
Dacă cerem ca autorii „în plus” să fie scoși de pe lista autorilor publicațiilor institutului, înseamnă că acordăm „oficialilor”, și nu reprezentanților oficiali ai institutelor, dreptul de a decide singuri cine a lucrat, cine a fost invitat. să lucreze temporar, și care nu a lucrat deloc la institut. Dar atunci nu mă învinovăți dacă „oficialul” extinde instantaneu acest drept în viitor și decide singur cine va lucra în acest institut și cine nu.

De asemenea, dacă nu dorim ca „funcționarii” să aibă dreptul de a spune institutelor ce domenii științifice să urmărească, atunci nu le putem acorda dreptul de a decide în ce domenii științifice a fost implicat institutul în ultimii cinci ani. Să intre automat în toate direcțiile care erau indicate în publicațiile autorilor din acest institut, în ordine alfabetică și nimic mai mult! Doar reprezentanții institutului, și nu „funcționarii” sau experții anonimi, ar trebui să aibă chiar dreptul să prioritizeze aceste domenii, și nu în ordine alfabetică.

Deci, întrebarea principală pentru Harta științei nu este despre datele „curbe”, ci despre cine va procesa, actualiza și interpreta aceste date. În opinia mea, „funcționarilor” nu ar trebui să li se acorde drepturi suplimentare. Prelucrarea, analiza și interpretarea datelor deschise despre publicații este un instrument prea periculos pentru a fi predat în mod voluntar unor nespecialiști.

Iar punctul aici nu este în „Harta științei”, ei bine, în schimb ne vor „evalua” conform Web of Science, conform RSCI, conform Scopus, sau conform tuturor bazelor de date profesionale combinate. Ideea nu este în date, ci în regulile de prelucrare și evaluare a informațiilor din publicații și, cel mai important, în justificarea legitimității utilizării anumitor evaluări în diverse domenii ale cunoașterii.

De aceea, comunitatea oamenilor de știință, fără a fi distrasă de fleacuri, trebuie în primul rând să elaboreze recomandări stricte, detaliate, justificate nu numai prin referiri la marele trecut și de înțeles întregii societăți privind metodologia, prelucrarea și interpretarea datelor privind publicațiile în diverse domenii de cunoaștere, înainte ca alții să o facă. Nu mai este timp să lupți mori de vânt, a sosit momentul să răspund la aceeași întrebare eternă: cine are dreptul la ce și cum vor trebui să plătească pentru aceste drepturi?

Alexey Ivanov, membru al ONR:

Principala mea plângere nu se referă la deficiențele tehnice ale Hărții științifice, dintre care există un număr mare în acest moment, ci despre un lucru mai fundamental: întrebarea este cine ar trebui să aibă dreptul și posibilitatea de a corecta datele inițiale. Se remarcă pe bună dreptate faptul că numai instituțiile și oamenii de știință înșiși pot face acest lucru. De fapt, pentru prima dată termenul „Harta științei” a fost auzit într-unul dintre ordinele Societății Lucrătorilor Științifici (SSR) către ministrul nou numit de atunci Livanov. Acest ordin de la ONR a reținut că o astfel de hartă poate fi construită doar de jos, iar pentru a-i încuraja pe oamenii de știință să completeze singuri date, s-a propus anuntarea unui concurs pentru burse personale pentru oameni de știință, emis automat la o anumită valoare-prag. este depășită, ceea ce nu se cunoștea a priori, dar s-a estimat la 5-7 publicații pe parcursul a trei ani, ținând cont că au fost încurajate circa 10 mii de oameni (http://onr-russia.ru/content/grants-scholarships-). 3.072.012). În acest caz, a apărut o situație „câștig-câștig”. Oamenilor de știință li s-a prezentat un morcov, iar în schimb Ministerul Educației și Științei avea să primească o bază de date verificată, deși poate nu completă, cu publicații cu un link exact către persoana respectivă. Din păcate, ministerul a luat o altă cale. A început să facă o „Hartă științifică” deasupra. Drept urmare, am ajuns de unde am început - „Harta științifică” poate fi completată doar de jos. Cu toate acestea, oamenii de știință nu se mai așteaptă la morcovi, dar cred imediat și irevocabil că îi vor bate cu biciul.

În această situație, mă aflu personal într-o situație de disonanță cognitivă distinctă. Pe de o parte, am spus întotdeauna că reformele trebuie să înceapă cu o evaluare a stării reale a lucrurilor, iar „Harta științei” este un pas în această direcție. În consecință, în calitate de membru al Consiliului ONR, împărtășesc ideea că datele din „Harta Științei” trebuie aduse în concordanță cu realitatea și nimeni, în afară de oamenii de știință înșiși, nu poate face acest lucru. Pe de altă parte, reforma este deja în plină desfășurare, iar experiența de viață arată că autorităților nu le pasă de starea reală a lucrurilor. Principalul lucru pentru ei este să mențină o anumită formalitate pentru publicul extern. Ai o hartă? Mânca. Experții au discutat despre asta? Am discutat. Oamenii de știință au făcut corecții? L-au adus. Și care este calitatea „Hărții Științei” în sine este a zecea chestiune. Prin urmare, înțeleg pe deplin recomandarea Comisiei conform căreia nu avem nimic de-a face cu Harta Științei până când nu este clar cum se intenționează să fie utilizată.

La 21 mai 2012, Dmitri Livanov a fost numit ministru al Educației și Științei al Federației Ruse. În primul său discurs public, el își exprimă intenția Ministerului Educației și Științei (MES RF) de a efectua un audit cuprinzător al sectorului de cercetare și dezvoltare, inclusiv institute RAS, organizații științifice de stat și instituții de învățământ superior. Această afirmație poate fi numită nașterea „Hărții științei ruse”.

Din păcate, din cauza evenimentelor din jurul reformei Academiei Ruse de Științe, acest proiect s-a pierdut cumva și, în opinia noastră, nu a primit atenția cuvenită din partea comunității IT. Vă oferim o scurtă retrospectivă: traseul proiectului de la concept la implementare.

Calea fără scop devine albastră înaintea mea,
Un drum lung, săpat de pâraie,
Și apoi - întuneric; și ascuns în acest întuneric,
Arbitrul destinului urcă.

Alexander Blok, octombrie 1899

Partea 1: competiție

Proiectul „Harta Științei Ruse” (http://mapofscience.ru/) a fost anunțat oficial în decembrie 2012. În ajunul Ministerului Educației și Științei al Federației Ruse, a avut loc un concurs pentru a efectua cercetări pe tema „Formarea unui sistem de evaluare și monitorizare a rezultatelor activităților de cercetare ale organizațiilor și oamenilor de știință pentru evaluarea regulată a statului. din domeniul științei.” Prețul inițial (prețul maxim) al contractului este de 100 de milioane de ruble. Finanțarea proiectului a fost oferită în cadrul programului țintă federal „Cercetare și dezvoltare în domenii prioritare de dezvoltare a complexului științific și tehnologic al Rusiei pentru 2007-2013” ​​​​(Concursul pentru 2012, Activitatea 2.1, Etapa 11, Lot 1).

La concurs au participat următoarele organizații:

  1. Institutul pentru Analiza Sistemelor Academia Rusăștiințe;
  2. PricewaterhouseCoopers Russia B.V. (denumită în continuare PwC);
  3. Institutul de Cercetare a Echipamentelor Automate numit după. academicianul V. S. Semenikhin;
  4. Moscova universitate de stat instrumentație și informatică;
  5. Universitatea Tehnică de Stat din Moscova numită după N. E. Bauman;
  6. Universitatea de Stat din Moscova numită după M.V.
  7. INEC-Tehnologii informaţionale.
Baumanka nu a fost admis dintr-un motiv formal: un extras învechit din Ergul. Este puțin probabil să se știe dacă aceasta a fost neglijență în pregătirea documentelor sau dacă un alt factor a jucat un rol.

Compania privată de consultanță PricewaterhouseCoopers Russia B.V. a câștigat competiția, oferind o valoare a contractului de 90 de milioane de ruble. iar termenul de implementare a acestuia este de 90 de zile.

Trebuie remarcat faptul că Universitatea de Stat din Moscova sa oferit să dezvolte o „Hartă a științei” la aproximativ jumătate din preț - pentru 50 de milioane de ruble, dar a primit puncte mici de la comisia de concurență pentru calitate și calificări, ocupând locul al doilea. Acest lucru pare ciudat, având în vedere că Universitatea are evoluții utile în acest domeniu: recent a fost lansat sistemul informatic și analitic „Science-MSU”, cu ajutorul căruia se colectează și se analizează activitatea de publicare a angajaților.

În presa oficială, decizia de a alege PwC ca antreprenor a fost explicată prin dorința clientului, reprezentat de Ministerul Educației și Științei al Federației Ruse, de a efectua un „audit al științei ruse” de către o organizație externă care este nicidecum legat de comunitatea științifică.

PwC a cheltuit 40 de milioane pentru achiziționarea de date din baza de date Web of Science (denumită în continuare WoS) de la Thomson Reuters și 15 milioane pentru implementarea infrastructurii tehnice. În plus, sistemul necesită, conform estimărilor interpreților, 10-15 milioane de ruble. pe an pentru sprijin.

Din păcate, nu am putut găsi în domeniul public contractul guvernamental cu câștigătorul concursului, precum și caietul de sarcini. (Atenție, întrebare: asta nu contravine legislației în materie de concurență?) Aș dori foarte mult să mă uit la volumul de muncă care a fost anunțat pe hârtie. Deși din punct de vedere formal acest lucru nu mai este atât de important, întrucât proiectul este încadrat ca o muncă de cercetare: rezultatul său poate fi pur și simplu un raport, implementarea măcar a unui prototip nu este deloc necesară.

Partea 2: ce ai vrut sa faci?

„Scopul nostru este să identificăm după nume acei oameni de știință și acele echipe științifice mici (adică laboratoare, grupuri științifice) care lucrează deja în Rusia astăzi la un nivel internațional înalt. Vom face acest proiect cu un singur obiectiv - să înțelegem unde Rusia rămâne competitivă astăzi, ce domenii ale științei ne promit astăzi, unde avem șansa de a face o descoperire în viitor. Și, cel mai important, să sprijinim - vizați - exact acei oameni, acei oameni de știință, acele laboratoare care merită acest sprijin”, a spus Dmitri Livanov în interviul său pentru postul de televiziune Prosveshcheniye.

Într-un document elaborat de PwC, proiectul în sine este descris cu următoarea teză: „Harta științei ruse” ar trebui să devină baza pentru luarea deciziilor informate de management în domeniul activităților de cercetare ale oamenilor de știință și organizațiilor”; De asemenea, au fost stabilite obiective specifice:

  1. "inventar" starea actualăștiință rusă;
  2. acces rapid la cerere la indicatorii actuali și corecti ai științei ruse;
  3. instrumente analitice pentru luarea deciziilor informate de management;
  4. identificarea celor mai de autoritate experți și echipe științifice pentru sprijinul lor vizat;
  5. compararea nivelului de dezvoltare a științei în Rusia cu alte țări și identificarea punctelor de creștere;
  6. asigurarea transparenței deciziilor de management.
Același document precizează trei piloni principali ai proiectului: acoperirea datelor, calitatea datelorŞi funcţionalitate.

Acoperirea datelor a fost planificată să fie realizată prin:

  • surse internaţionale: publicaţii, rapoarte despre conferințe internaționale, brevete, publicații;
  • Surse rusești: publicații, brevete, granturi, cercetare și dezvoltare, publicații;
  • indicatori ai științei fundamentale și aplicate.
Rezultatul ar fi trebuit să fie „o bază de date unică, care să ofere cea mai completă acoperire posibilă a rezultatelor activităților de cercetare ale oamenilor de știință ruși”.

Calitatea datelor a însemnat:

  • curățarea datelor sursă pentru a elimina diferitele ortografii ale numelor proprii;
  • utilizarea unui mecanism de corectare a datelor de către oamenii de știință și organizațiile înșiși;
  • utilizarea identificatorilor unici ai oamenilor de știință și organizațiilor.
Drept urmare, se aștepta să atingă „un nivel fără precedent de acuratețe a datelor, care va contribui la asigurarea vizibilității științei ruse pentru comunitatea internațională”.

Și, în sfârșit, funcționalitatea a inclus:

  • instrumente pentru compararea și identificarea domeniilor de creștere în știință;
  • generarea de rapoarte privind parametrii specificați pentru oameni de știință, organizații, domenii științifice;
  • căutare flexibilă și filtrare a datelor;
  • identificarea echipelor informale de oameni de știință.
Acesta este „un set îmbunătățit de instrumente analitice și flexibilitatea acestora, oferind soluții la problemele de management”.

Și acum neprofesionisti, probabil, nu va fi foarte interesant, dar întrucât Habr este un blog de tehnologie, am considerat necesar să arătăm planul de lucru și arhitectura sistemului care se construiește. Doar trei diapozitive.

Butoaie și săgeți


Plan de lucru


Arhitectură!

Partea 3: ce s-a întâmplat?

În primul rând, invităm cititorii Habr să evalueze singuri dacă funcționalitatea declarată corespunde cu ceea ce a fost implementat. „Harta științei ruse” este disponibilă la acest link http://mapofscience.ru/. Poate fi considerat un model de urmat? Este acest proiect unic nu numai în Rusia, ci și în lume? Încercați să răspundeți singur la aceste întrebări.

Nu cu mult timp în urmă pagina de start„Hărți” a fost actualizată. A fost adăugat un bloc intermitent roșu care ne spune: „Atenție! Sistemul este în funcțiune de probă.” Acest lucru s-a întâmplat probabil din cauza numărului mare de recenzii negative despre proiect. Dacă te uiți la candidatura la concurs, vei observa că termenul limită pentru acest proiect este sfârșitul anului 2013. Astfel, ceva corectat radical în această versiune pentru „funcționare de probă” pare puțin probabil și putem trece la evaluarea întregului proiect.

Scopul proiectului (dacă cineva nu își amintește) a fost de a „identifica după nume oameni de știință si acelea mic echipe științifice (adică laboratoare, grupuri de cercetare) care lucrează deja în Rusia astăzi la un nivel internațional înalt.” În opinia noastră, este imposibil să faceți acest lucru folosind instrumentele propuse.

Acoperirea datelor
Nu a mers mai mult decât a mers. Cele două baze de date principale - Russian Science Citation Index (RSCI) și Web of Science (WoS) - sunt prezentate în intervalul 2007–2012, și chiar cu o rezervă în ceea ce privește WoS. Datele sunt pur și simplu irelevant(top al anului) și incorect(bara inferioară a anului) pentru obiectivul principal declarat. Și asta în ciuda faptului că accesul la baza de date WoS (partea sa legată de oamenii de știință ruși) a costat statul 40 de milioane de ruble (practic fără dreptul de a transfera date către Ministerul Educației și Științei).

Pentru celelalte surse de date menționate în proiect, există și, ca să spunem ușor, o oarecare incompletitudine. După o căutare îndelungată a oamenilor de știință ruși de top, nu am reușit să le găsim cărțile, monografiile sau informațiile despre participarea la cercetare și dezvoltare și granturi. Se poate presupune că aceste date fie pur și simplu nu au fost furnizate pe harta științifică, fie nu au putut fi pregătite.

Calitatea datelor
În opinia noastră, această sarcină a fost esențială în implementarea „Hărții științei ruse”; partea tehnologica, care era principala dificultate și trebuia să preia efortul și timpul principal. Mai simplu spus, sarcina întregii „hărți” a fost să consolideze, să curățeze și să conecteze corect datele. Sau, după cum reiese din transcrierea reuniunii de lansare a grupurilor de experți privind implementarea proiectului „Harta științei ruse”, blocul cheie de lucru a fost „curățarea și integrarea datelor din diverse surse" Și, din păcate, această parte nu a funcționat deloc. Datele nu au fost compilate deloc: ni se oferă fie RSCI, fie WoS. De fapt, ni se prezintă doar o interfață cu aceste două baze de date, cu funcționalitate nu foarte clară. Sa întâmplat că comunitatea științifică a avut cele mai multe plângeri cu privire la calitatea datelor. Am încercat să le punem împreună (dar probabil am omis ceva - există o mulțime de plângeri):
  1. utilizarea unui clasificator (rubricator) de domenii științifice care nu se aplică domeniilor actuale din știința rusă;
  2. selectarea aleatorie (gruparea) instituțiilor științifice după rubrici;
  3. lipsa controlului asupra nivelului de potriviri aleatorii;
  4. discrepanță între indicatorii numerici și valorile reale (după numărul de personal al instituțiilor științifice, după numărul de publicații în WoS și RSCI, după numărul de brevete, după indicele de citare), erori când operatorii transferă date dintr-o bază de date în alta ;
  5. selectarea incorectă a instituțiilor sau cercetătorilor „de frunte” (top 5), bazată pe utilizarea unor caracteristici arbitrare care nu au nicio legătură între ele (fie date de la WoS, fie RSCI, fie ordine alfabetică, fie un rubricator etc.);
  6. scrierea incorectă (incorectă) a numelui complet. cercetător în sistemele de scriere rusă și engleză;
  7. afilierea incorectă (incorectă) a cercetătorului;
  8. lipsa separării omonimilor și corelarea corectă a acestora cu direcție științificăși o instituție științifică;
  9. lipsa de informații despre departamentele organizațiilor (inclusiv facultățile unor universități mari, cum ar fi Universitatea de Stat din Moscova și Universitatea de Stat din Sankt Petersburg).
Funcţional
Nu totul este bine nici cu funcționalitatea. De exemplu, iată cum este implementat mecanismul de corectare a datelor: „Corectarea erorilor tehnice observate de utilizatori are loc prin furnizarea unei versiuni pe hârtie a comentariilor, certificată de sigiliul organizației în care lucrează utilizatorul”. Între timp, în transcrierea sus-menționată se spune: „Principiul principal al proiectului este de a minimiza eforturile din partea oamenilor de știință. Este de așteptat ca majoritatea informațiilor din conturile personale să fie completate automat.”

Până acum, nu a fost găsită o singură persoană care să poată explica clar ce informații conține așa-numita „hartă termică”. Singura caracteristică interesantă, în opinia noastră, este link-ul „colapse map” din dreapta jos, funcționalitatea sa este, cel puțin, extraordinară și conține partea leului de autoironie;

Am încercat să ne înregistrăm în sistem pentru a vedea cum arată din interior. Am avut norocul să ne creăm un cont cu aproximativ o lună înainte de a scrie această recenzie, deoarece în prezent înregistrarea de noi utilizatori din anumite motive nu mai funcționează (se pare că toți polimerii s-au pierdut).

Pentru a se înregistra, omul de știință trebuie să furnizeze numele complet, anul nașterii și e-mailul, apoi să treacă prin procedura de „verificare”. Acest lucru se poate face în două moduri: prin poștă sau prin așa-numitul cod SPIN.

Verificarea prin poștă se realizează printr-o „buclă manuală”. Pentru a evita acest lucru, am decis să dezvoltăm un cod SPIN inovator. Cel mai probabil, nu toți cititorii sunt familiarizați cu acest concept (au fost și unii printre noi), așa că haideți să-l descompunem.

Codul SPIN este codul personal de identificare al autorului în SCIENCE INDEX, un sistem informatic și analitic construit pe baza datelor din Russian Science Citation Index (RSCI).

Am depus o cerere pentru un cod SPIN completând un formular uriaș pe site-ul web RSCI cu câteva zeci de câmpuri și clasificatoare (în doar 20 de minute) și am primit cu succes codul după două săptămâni de așteptare. Bucurându-ne de realizările noastre, am introdus codul SPIN în profilul omului de știință, după care „Harta” ne-a informat că această informație necesită verificare (nu din nou!). Au trecut două săptămâni de la intrare, iar contul încă nu a fost verificat.

Dacă ai suficientă răbdare, atunci ai ajuns la contul tău personal.

Cont personal


Editați în cont personal nu este nimic special, deoarece conține doar datele pe care le-ați introdus în timpul înregistrării. Autorii sistemului spun că omul de știință va spune totul despre el însuși, completând un număr considerabil de câmpuri. Rețineți că în sisteme occidentale(ResearchGate, Academia.edu, Google Scholar) după înregistrare, utilizatorul primește un profil aproape gata făcut pe care sistemul l-a pregătit pentru el, culegând automat date din diverse surse. Tot ce trebuie să facă este să le confirme și, dacă este cazul, să le completeze.

Este îndoielnic că oamenii de știință vor folosi de bunăvoie un sistem care durează mai mult de 4 săptămâni doar pentru a se înregistra. Un lucru este evident - „minimizarea eforturilor din partea oamenilor de știință” nu a funcționat.

Evaluarea oficială a proiectului ca nesatisfăcător este, de asemenea, în concordanță cu constatările noastre. „Acesta este un model, nu este nici măcar un proiect pilot”, a remarcat ministrul adjunct al Educației și Științei al Federației Ruse Lyudmila Ogorodova (model pentru 90 de milioane).

Partea 4: reacția comunității științifice

Aceasta va fi cea mai concisă parte a poveștii noastre. Reacția comunității științifice a fost puternic negativă.

Partea 5: motivele eșecului

După cum rezultă din poziția oficială a Ministerului Educației și Științei al Federației Ruse și a numeroaselor recenzii din partea comunității științifice experți, „Harta științei” s-a dovedit a fi nesatisfăcătoare. Nu vom discuta dacă corespunde obiectivelor contractului guvernamental finalizat din cauza lipsei de informații despre acesta. Un alt lucru este important - cum ar putea fi evitată o astfel de situație? În opinia noastră, punctul cheie în această poveste este că toate datele pe care a fost construit acest sistem de informare publică nu sunt deschise.

Și aici am dori să atingem problema foarte presantă a datelor deschise în știință. Pur și simplu nu există. Dar dacă ar fi deschise, poate că nu ar fi nevoie de un astfel de ordin guvernamental. Harta științei ar putea fi implementată de orice dezvoltator profesionist interesat de date deschise și știință. Mai mult, cu cererea adecvată din partea statului și a comunității științifice, ar exista mai multe astfel de „hărți”.

Să ne uităm la lista presupuselor surse rusești pentru „Harta științei”:

  1. articole în reviste ruse și străine (NEB);
  2. brevete rusești și străine (FIPS);
  3. granturi (Institutul de Cercetări Științifice FGBNU RINCCE, RFBR, RGNF);
  4. rapoarte privind cercetarea și dezvoltarea (CITS);
  5. disertații și rezumate (CITS);
  6. editura de carte (Camera Rusa de Carte);
  7. informații despre organizațiile științifice și departamentele acestora (inclusiv universități și facultățile acestora).
Marea majoritate a surselor de mai sus au fost generate de la bugetul de stat și nu este clar de ce aceste date nu sunt publice.

Partea 6: cum să remediați situația?


La 21 mai 2012, Dmitri Livanov a fost numit ministru al Educației și Științei al Federației Ruse. În primul său discurs public, el își exprimă intenția Ministerului Educației și Științei (MES RF) de a efectua un audit cuprinzător al sectorului de cercetare și dezvoltare, inclusiv institute RAS, organizații științifice de stat și instituții de învățământ superior. Această afirmație poate fi numită nașterea „Hărții științei ruse”.

Din păcate, din cauza evenimentelor din jurul reformei Academiei Ruse de Științe, acest proiect s-a pierdut cumva și, în opinia noastră, nu a primit atenția cuvenită din partea comunității IT. Vă oferim o scurtă retrospectivă: traseul proiectului de la concept la implementare.

Calea fără scop devine albastră înaintea mea,
Un drum lung, săpat de pâraie,
Și apoi - întuneric; și ascuns în acest întuneric,
Arbitrul destinului urcă.

Alexander Blok, octombrie 1899

Partea 1: competiție

Proiectul „Harta Științei Ruse” (http://mapofscience.ru/) a fost anunțat oficial în decembrie 2012. În ajunul Ministerului Educației și Științei al Federației Ruse, a avut loc un concurs pentru a efectua cercetări pe tema „Formarea unui sistem de evaluare și monitorizare a rezultatelor activităților de cercetare ale organizațiilor și oamenilor de știință pentru evaluarea regulată a statului. din domeniul științei.” Prețul inițial (prețul maxim) al contractului este de 100 de milioane de ruble. Finanțarea proiectului a fost oferită în cadrul programului țintă federal „Cercetare și dezvoltare în domenii prioritare de dezvoltare a complexului științific și tehnologic al Rusiei pentru 2007-2013” ​​​​(Concursul pentru 2012, Activitatea 2.1, Etapa 11, Lot 1).

La concurs au participat următoarele organizații:

  1. Institutul de Analiză de Sistem al Academiei Ruse de Științe;
  2. PricewaterhouseCoopers Russia B.V. (denumită în continuare PwC);
  3. Institutul de Cercetare a Echipamentelor Automate numit după. academicianul V. S. Semenikhin;
  4. Universitatea de Stat de Inginerie și Informatică a Instrumentelor din Moscova;
  5. Universitatea Tehnică de Stat din Moscova numită după N. E. Bauman;
  6. Universitatea de Stat din Moscova numită după M.V.
  7. INEC-Tehnologii informaţionale.
Baumanka nu a fost admis dintr-un motiv formal: un extras învechit din Ergul. Este puțin probabil să se știe dacă aceasta a fost neglijență în pregătirea documentelor sau dacă un alt factor a jucat un rol.

Compania privată de consultanță PricewaterhouseCoopers Russia B.V. a câștigat competiția, oferind o valoare a contractului de 90 de milioane de ruble. iar termenul de implementare a acestuia este de 90 de zile.

Trebuie remarcat faptul că Universitatea de Stat din Moscova sa oferit să dezvolte o „Hartă a științei” la aproximativ jumătate din preț - pentru 50 de milioane de ruble, dar a primit puncte mici de la comisia de concurență pentru calitate și calificări, ocupând locul al doilea. Acest lucru pare ciudat, având în vedere că Universitatea are evoluții utile în acest domeniu: recent a fost lansat sistemul informatic și analitic „Science-MSU”, cu ajutorul căruia se colectează și se analizează activitatea de publicare a angajaților.

În presa oficială, decizia de a alege PwC ca antreprenor a fost explicată prin dorința clientului, reprezentat de Ministerul Educației și Științei al Federației Ruse, de a efectua un „audit al științei ruse” de către o organizație externă care este nicidecum legat de comunitatea științifică.

PwC a cheltuit 40 de milioane pentru achiziționarea de date din baza de date Web of Science (denumită în continuare WoS) de la Thomson Reuters și 15 milioane pentru implementarea infrastructurii tehnice. În plus, sistemul necesită, conform estimărilor interpreților, 10-15 milioane de ruble. pe an pentru sprijin.

Din păcate, nu am putut găsi în domeniul public contractul guvernamental cu câștigătorul concursului, precum și caietul de sarcini. (Atenție, întrebare: asta nu contravine legislației în materie de concurență?) Aș dori foarte mult să mă uit la volumul de muncă care a fost anunțat pe hârtie. Deși din punct de vedere formal acest lucru nu mai este atât de important, întrucât proiectul este încadrat ca o muncă de cercetare: rezultatul său poate fi pur și simplu un raport, implementarea măcar a unui prototip nu este deloc necesară.

Partea 2: ce ai vrut sa faci?

„Scopul nostru este să identificăm după nume acei oameni de știință și acele echipe științifice mici (adică laboratoare, grupuri științifice) care lucrează deja în Rusia astăzi la un nivel internațional înalt. Vom face acest proiect cu un singur obiectiv - să înțelegem unde Rusia rămâne competitivă astăzi, ce domenii ale științei ne promit astăzi, unde avem șansa de a face o descoperire în viitor. Și, cel mai important, să sprijinim - vizați - exact acei oameni, acei oameni de știință, acele laboratoare care merită acest sprijin”, a spus Dmitri Livanov în interviul său pentru postul de televiziune Prosveshcheniye.

Într-un document elaborat de PwC, proiectul în sine este descris cu următoarea teză: „Harta științei ruse” ar trebui să devină baza pentru luarea deciziilor informate de management în domeniul activităților de cercetare ale oamenilor de știință și organizațiilor”; De asemenea, au fost stabilite obiective specifice:

  1. „inventarul” stării actuale a științei ruse;
  2. acces rapid la cerere la indicatorii actuali și corecti ai științei ruse;
  3. instrumente analitice pentru luarea deciziilor informate de management;
  4. identificarea celor mai de autoritate experți și echipe științifice pentru sprijinul lor vizat;
  5. compararea nivelului de dezvoltare a științei în Rusia cu alte țări și identificarea punctelor de creștere;
  6. asigurarea transparenței deciziilor de management.
Același document precizează trei piloni principali ai proiectului: acoperirea datelor, calitatea datelorŞi funcţionalitate.

Acoperirea datelor a fost planificată să fie realizată prin:

  • surse internaționale: publicații, rapoarte la conferințe internaționale, brevete, publicații;
  • Surse rusești: publicații, brevete, granturi, cercetare și dezvoltare, publicații;
  • indicatori ai științei fundamentale și aplicate.
Rezultatul ar fi trebuit să fie „o bază de date unică, care să ofere cea mai completă acoperire posibilă a rezultatelor activităților de cercetare ale oamenilor de știință ruși”.

Calitatea datelor a însemnat:

  • curățarea datelor sursă pentru a elimina diferitele ortografii ale numelor proprii;
  • utilizarea unui mecanism de corectare a datelor de către oamenii de știință și organizațiile înșiși;
  • utilizarea identificatorilor unici ai oamenilor de știință și organizațiilor.
Drept urmare, se aștepta să atingă „un nivel fără precedent de acuratețe a datelor, care va contribui la asigurarea vizibilității științei ruse pentru comunitatea internațională”.

Și, în sfârșit, funcționalitatea a inclus:

  • instrumente pentru compararea și identificarea domeniilor de creștere în știință;
  • generarea de rapoarte privind parametrii specificați pentru oameni de știință, organizații, domenii științifice;
  • căutare flexibilă și filtrare a datelor;
  • identificarea echipelor informale de oameni de știință.
Acesta este „un set îmbunătățit de instrumente analitice și flexibilitatea acestora, oferind soluții la problemele de management”.

Și acum neprofesionisti, probabil, nu va fi foarte interesant, dar întrucât Habr este un blog de tehnologie, am considerat necesar să arătăm planul de lucru și arhitectura sistemului care se construiește. Doar trei diapozitive.

Butoaie și săgeți


Plan de lucru


Arhitectură!

Partea 3: ce s-a întâmplat?

În primul rând, invităm cititorii Habr să evalueze singuri dacă funcționalitatea declarată corespunde cu ceea ce a fost implementat. „Harta științei ruse” este disponibilă la acest link http://mapofscience.ru/. Poate fi considerat un model de urmat? Este acest proiect unic nu numai în Rusia, ci și în lume? Încercați să răspundeți singur la aceste întrebări.

Nu cu mult timp în urmă, pagina principală Hărți a fost actualizată. A fost adăugat un bloc intermitent roșu care ne spune: „Atenție! Sistemul este în funcțiune de probă.” Acest lucru s-a întâmplat probabil din cauza numărului mare de recenzii negative despre proiect. Dacă te uiți la candidatura la concurs, vei observa că termenul limită pentru acest proiect este sfârșitul anului 2013. Astfel, ceva corectat radical în această versiune pentru „funcționare de probă” pare puțin probabil și putem trece la evaluarea întregului proiect.

Scopul proiectului (dacă cineva nu își amintește) a fost de a „identifica după nume oameni de știință si acelea mic echipe științifice (adică laboratoare, grupuri de cercetare) care lucrează deja în Rusia astăzi la un nivel internațional înalt.” În opinia noastră, este imposibil să faceți acest lucru folosind instrumentele propuse.

Acoperirea datelor
Nu a mers mai mult decât a mers. Cele două baze de date principale - Russian Science Citation Index (RSCI) și Web of Science (WoS) - sunt prezentate în intervalul 2007–2012, și chiar cu o rezervă în ceea ce privește WoS. Datele sunt pur și simplu irelevant(top al anului) și incorect(bara inferioară a anului) pentru obiectivul principal declarat. Și asta în ciuda faptului că accesul la baza de date WoS (partea sa legată de oamenii de știință ruși) a costat statul 40 de milioane de ruble (practic fără dreptul de a transfera date către Ministerul Educației și Științei).

Pentru celelalte surse de date menționate în proiect, există și, ca să spunem ușor, o oarecare incompletitudine. După o căutare îndelungată a oamenilor de știință ruși de top, nu am reușit să le găsim cărțile, monografiile sau informațiile despre participarea la cercetare și dezvoltare și granturi. Se poate presupune că aceste date fie pur și simplu nu au fost furnizate pe harta științifică, fie nu au putut fi pregătite.

Calitatea datelor
În opinia noastră, această sarcină a fost esențială în implementarea „Hărții științei ruse”; partea tehnologica, care a fost principala dificultate și ar fi trebuit să preia efortul și timpul principal. Mai simplu spus, sarcina întregii „hărți” a fost să consolideze, să curățeze și să conecteze corect datele. Sau, după cum reiese din transcrierea reuniunii inaugurale a grupurilor de experți privind implementarea proiectului „Harta științei ruse”, blocul cheie de lucru a fost „curățarea și integrarea datelor din diverse surse”. Și, din păcate, această parte nu a funcționat deloc. Datele nu au fost compilate deloc: ni se oferă fie RSCI, fie WoS. De fapt, ni se prezintă doar o interfață cu aceste două baze de date, cu funcționalitate nu foarte clară. Sa întâmplat că comunitatea științifică a avut cele mai multe plângeri cu privire la calitatea datelor. Am încercat să le punem împreună (dar probabil am omis ceva - există o mulțime de plângeri):
  1. utilizarea unui clasificator (rubricator) de domenii științifice care nu se aplică domeniilor actuale din știința rusă;
  2. selectarea aleatorie (gruparea) instituțiilor științifice după rubrici;
  3. lipsa controlului asupra nivelului de potriviri aleatorii;
  4. discrepanță între indicatorii numerici și valorile reale (după numărul de personal al instituțiilor științifice, după numărul de publicații în WoS și RSCI, după numărul de brevete, după indicele de citare), erori când operatorii transferă date dintr-o bază de date în alta ;
  5. selectarea incorectă a instituțiilor sau cercetătorilor „de frunte” (top 5), bazată pe utilizarea unor caracteristici arbitrare care nu au nicio legătură între ele (fie date de la WoS, fie RSCI, fie ordine alfabetică, fie un rubricator etc.);
  6. scrierea incorectă (incorectă) a numelui complet. cercetător în sistemele de scriere rusă și engleză;
  7. afilierea incorectă (incorectă) a cercetătorului;
  8. lipsa separării omonimilor și corelarea corectă a acestora cu direcția științifică și instituția științifică;
  9. lipsa de informații despre departamentele organizațiilor (inclusiv facultățile unor universități mari, cum ar fi Universitatea de Stat din Moscova și Universitatea de Stat din Sankt Petersburg).
Funcţional
Nu totul este bine nici cu funcționalitatea. De exemplu, iată cum este implementat mecanismul de corectare a datelor: „Corectarea erorilor tehnice observate de utilizatori are loc prin furnizarea unei versiuni pe hârtie a comentariilor, certificată de sigiliul organizației în care lucrează utilizatorul”. Între timp, în transcrierea sus-menționată se spune: „Principiul principal al proiectului este de a minimiza eforturile din partea oamenilor de știință. Este de așteptat ca majoritatea informațiilor din conturile personale să fie completate automat.”

Până acum, nu a fost găsită o singură persoană care să poată explica clar ce informații conține așa-numita „hartă termică”. Singura caracteristică interesantă, în opinia noastră, este link-ul „colapse map” din dreapta jos, funcționalitatea sa este, cel puțin, extraordinară și conține partea leului de autoironie;

Am încercat să ne înregistrăm în sistem pentru a vedea cum arată din interior. Am avut norocul să ne creăm un cont cu aproximativ o lună înainte de a scrie această recenzie, deoarece în prezent înregistrarea de noi utilizatori din anumite motive nu mai funcționează (se pare că toți polimerii s-au pierdut).

Pentru a se înregistra, omul de știință trebuie să furnizeze numele complet, anul nașterii și e-mailul, apoi să treacă prin procedura de „verificare”. Acest lucru se poate face în două moduri: prin poștă sau prin așa-numitul cod SPIN.

Verificarea prin poștă se realizează printr-o „buclă manuală”. Pentru a evita acest lucru, am decis să dezvoltăm un cod SPIN inovator. Cel mai probabil, nu toți cititorii sunt familiarizați cu acest concept (au fost și unii printre noi), așa că haideți să-l descompunem.

Codul SPIN este codul personal de identificare al autorului în SCIENCE INDEX, un sistem informatic și analitic construit pe baza datelor din Russian Science Citation Index (RSCI).

Am depus o cerere pentru un cod SPIN completând un formular uriaș pe site-ul web RSCI cu câteva zeci de câmpuri și clasificatoare (în doar 20 de minute) și am primit cu succes codul după două săptămâni de așteptare. Bucurându-ne de realizările noastre, am introdus codul SPIN în profilul omului de știință, după care „Harta” ne-a informat că această informație necesită verificare (nu din nou!). Au trecut două săptămâni de la intrare, iar contul încă nu a fost verificat.

Dacă ai suficientă răbdare, atunci ai ajuns la contul tău personal.

Cont personal


Nu există nimic special de editat în contul tău personal, deoarece conține doar datele pe care le-ai introdus în timpul înregistrării. Autorii sistemului spun că omul de știință va spune totul despre el însuși, completând un număr considerabil de câmpuri. Rețineți că în sistemele occidentale (ResearchGate, Academia.edu, Google Scholar), după înregistrare, utilizatorul primește un profil aproape gata făcut pe care sistemul l-a pregătit pentru el, culegând automat date din diverse surse. Tot ce trebuie să facă este să le confirme și, dacă este cazul, să le completeze.

Este îndoielnic că oamenii de știință vor folosi de bunăvoie un sistem care durează mai mult de 4 săptămâni doar pentru a se înregistra. Un lucru este evident - „minimizarea eforturilor din partea oamenilor de știință” nu a funcționat.

Evaluarea oficială a proiectului ca nesatisfăcător este, de asemenea, în concordanță cu constatările noastre. „Acesta este un model, nu este nici măcar un proiect pilot”, a remarcat ministrul adjunct al Educației și Științei al Federației Ruse Lyudmila Ogorodova (model pentru 90 de milioane).

Partea 4: reacția comunității științifice

Aceasta va fi cea mai concisă parte a poveștii noastre. Reacția comunității științifice a fost puternic negativă.

Partea 5: motivele eșecului

După cum rezultă din poziția oficială a Ministerului Educației și Științei al Federației Ruse și a numeroaselor recenzii din partea comunității științifice experți, „Harta științei” s-a dovedit a fi nesatisfăcătoare. Nu vom discuta dacă corespunde obiectivelor contractului guvernamental finalizat din cauza lipsei de informații despre acesta. Un alt lucru este important - cum ar putea fi evitată o astfel de situație? În opinia noastră, punctul cheie în această poveste este că toate datele pe care a fost construit acest sistem de informare publică nu sunt deschise.

Și aici am dori să atingem problema foarte presantă a datelor deschise în știință. Pur și simplu nu există. Dar dacă ar fi deschise, poate că nu ar fi nevoie de un astfel de ordin guvernamental. Harta științei ar putea fi implementată de orice dezvoltator profesionist interesat de date deschise și știință. Mai mult, cu cererea adecvată din partea statului și a comunității științifice, ar exista mai multe astfel de „hărți”.

Să ne uităm la lista presupuselor surse rusești pentru „Harta științei”:

  1. articole în reviste ruse și străine (NEB);
  2. brevete rusești și străine (FIPS);
  3. granturi (Institutul de Cercetări Științifice FGBNU RINCCE, RFBR, RGNF);
  4. rapoarte privind cercetarea și dezvoltarea (CITS);
  5. disertații și rezumate (CITS);
  6. editura de carte (Camera Rusa de Carte);
  7. informații despre organizațiile științifice și departamentele acestora (inclusiv universități și facultățile acestora).
Marea majoritate a surselor de mai sus au fost generate de la bugetul de stat și nu este clar de ce aceste date nu sunt publice.

Partea 6: cum să remediați situația?


Ea a promis că „Harta” „va fi principalul instrument sistematic pentru luarea deciziilor în diferite domenii”.

În urmă cu câteva zile, „Harta științei ruse” a intrat în direct pe internet, iar oamenii de știință au început să se caute în acest „ghid” și să găsească lucruri uimitoare.

„Această „hartă” este o rușine absolută. „Harta” oferă informații care sunt complet neadevărate. Știți unde lucrează cei mai buni astronomi ai noștri conform Hărții? La Institutul de Fizică Nucleară din Novosibirsk, care nu a studiat niciodată astronomie în viața sa.

Și la Institutul de Fizică Teoretică Landau studiază totul în lume - chiar și biologia.

Versiunea sistemului pe care academicienii au criticat-o atât de mult este o versiune de test - aceasta este scrisă în roșu și alb pe site-ul web Maps of Russian Science. În prezent, dezvoltatorul oficial al sistemului este PricewaterhouseCoopers, care, la atribuire, achiziționează date pentru Hartă în principal din două surse - Thomson Reuters (baza de date Web of Science a articolelor științifice) și Russian Science Citation Index. Aceste două companii private, în baza unor acorduri oficiale, furnizează date despre oamenii de știință ruși.

Ceea ce s-a făcut până acum este prelucrarea automată inițială a datelor, o încercare de a facilita verificarea manuală ulterioară a acestora.

Reclamațiile făcute împotriva sistemului sunt legate de dificultăți plan tehnic. „Multe plângeri sunt făcute de oameni care nu și-au dat seama și cred că sistemul ar trebui să indice toate publicațiile lor pentru întreaga perioadă a vieții lor. Acest lucru nu este deloc adevărat, acum vorbim de 2007-2012. În plus, acuratețea datelor pentru 2007, din cauza limitărilor tehnice ale WoS, de multe ori nu permite să se compare corect autorii cu organizațiile în care lucrează”, a declarat pentru Gazeta.Ru o sursă apropiată Ministerului Educației și Științei.

În plus, datele din aceste baze de date în sine se bazează pe informații provenite din reviste științifice, inclusiv din cele rusești, dintre care multe nu își formatează întotdeauna publicațiile corect.

Sursa a explicat și de unde provine „grădinăritul” lui Fianov.

Faptul este că Web of Science și RSCI atribuie subiecte revistelor, nu publicațiilor individuale. Prin urmare, fiecare publicație primește un subiect alocat unei reviste separate. În „Hartă”, subiectele sunt atribuite organizațiilor pe baza subiectelor publicațiilor, astfel încât munca unui om de știință, publicată, să zicem, într-un jurnal cu subiecte agricole, este suficientă pentru ca întregului FIAN să i se atribuie un focus corespunzător.

Cele mai multe dintre cele alocate 90 de milioane de ruble. merge să cumpere date de la WoS și RSCI, în plus, datele sunt furnizate de Camera de carte din Rusia și FIPS la. Cei care se tem că datele „Hartă” vor fi folosite în viitorul apropiat în evaluarea organizațiilor științifice, dezvoltatorii sistemului îi asigură: „Când organizațiile raportează, nu vor trebui să trimită datele „Harta științei”, care nu sunt încă gata, dar date direct de pe Web of Science și Scopus”.

Potrivit sursei, funcționarea corectă a „Hărții” va depinde și de oamenii de știință înșiși, pentru care există o opțiune care le permite să-și corecteze propriile profiluri în acest sistem și să raporteze discrepanțe sau lacune observate. „Succesul acestui proces va depinde de ce stimulente au oamenii de știință pentru a utiliza Harta.” De exemplu, profilurile oamenilor de știință din sistem pot fi folosite atunci când se aplică pentru granturi pentru a simplifica pregătirea cererilor”, a spus sursa.

Adevărat, astfel de explicații nu se potrivesc cu adevărat oamenilor de știință jigniți. „Oamenii nu ar trebui tratați așa. De ce trebuie să le greblăm... Nu voi spune ce? Vedeți cum funcționează? Funcționează pentru că a fost creat de oameni excepționali care au rezolvat cea mai dificilă problemă. Aceasta este o sarcină pentru matematicieni, oamenii de știință aplicați, cei care analizează bazele de date și nu cei care s-au reunit și au decis să facă cumva totul”, spune Parshin.