In 2001–2002 the Swedish Environmental Protection Agency (SEPA) initiated an investment in larger research programs, funded over periods of six years. This report evaluates, with emphasis on bibliometric methods, seven of the programs established in the final phase of this initiative. The programs started around 2003–2004, in one case a bit later, and ended around and after 2010.Initially, it can be stated that one of the program’s primary effect has been to allow for more than 30 young scientists to contribute to the expansive research area with their dissertations. A number of these PhDs will in due time move to other activities in companies and government agencies and at the same time society’s absorptive capacity for new knowledge in the environmental field will be expanded and transformed.This main message of this report concerns the publication production and citation performance of researchers within the above mentioned seven research programs. Papers published by more than 100 researchers are compared with papers published by their international colleagues during the same time period and in the same areas of science. The analysis primarily focuses on those scientific papers the researchers themselves have reported as a result of program-related activities. In addition, analyses have been carried out based on (1) all publications from all program members in the Web of Science database, and (2) on all team member publications similarly indexed in Google Scholar. These latter two studies provide results which basically indicate lower performances than the analysis based on self-reported publications.It is worth noting that remarkably few of the publications specifically mentioned the SEPA as financier in the respective “funding acknowledgements” in the articles.Concerning publication productivity, i.e. production of papers in relation to Nordic reference values, the SEPA funded programs exhibit an activity at levels that would be expected by researchers in these areas. This implicates that the Swedish Environmental Protection Agency is likely to have received results in parity with the resources invested.With respect to the relative citation performance, the outcome was even better, about 50 per cent above international reference levels. Therefore, the impression is generally very good but the evaluation points out that three out of seven programs have weak impact.Concerning the grading of each programme based on self-reported publications: One of the research programs achieved levels equivalent to the highest rating, i.e. Outstanding. Another program reached the level of Excellent. Two programs had a citation score that corresponds to the grade Very Goodand two programs were rated as Good. Finally, one program with low level of activity, did not achieve satisfactory levels, i.e. Insufficient.
Naturvårdsverket inledde 2001–2002 en satsning på större forskningsprogram, vilka finansierades över en femårsperiod. I denna rapport utvärderas, med tonvikt på bibliometriska metoder, sju av de program som startades i slutfasen av denna programsatsning.Inledningsvis kan konstateras att en huvudsaklig effekt har varit att ge förutsättningar för ett 30-tal nya forskare att med sina avhandlingar bidra till forskningsområdets expansion. I takt med att ett antal av dessa flyttar till andra verksamheter i företag och myndigheter kommer samhällets absorptionsförmåga av ny kunskap inom området att förbättras. Publiceringar i vetenskapliga tidskrifter utgör navet för utvärderingen och de specifika metoder som tillämpas bygger på idén att normalisera antalet artiklar och antalet erhållna citeringar till jämförbara områden. Analysen har i första hand inriktats på de artiklar som forskarna själva, enligt sina slutrapporter (eller motsvarande), redovisat som resultat av programrelaterade aktiviteter. Utöver detta har analyser utförts dels på publiceringar som hänför sig till programandeltagarnas samtliga publiceringar under programperioden dels på de publiceringar som på motsvarande sätt indexerats i Google Scholar. Dessa båda senare undersökningar ger i huvudsak resultat som är något svagare än analysen på basis av egenrapporterade publiceringar.Noterbart är att påfallande få av de publiceringar som programmen uppger vara relaterade till Naturvårdsverkets finansiering har uppgett finansiären i sina tack och tillkännagivanden, dvs. funding acknowledgements. Vad gäller produktivitet, dvs. antalet producerade artiklar i relation till nordiska referensvärden, uppvisar programmen en nivå som ligger i paritet med eller högre än vad som kunde förväntas av forskare inom dessa områden. I klara verba betyder det att Naturvårdsverket fått förhållandevis god utväxling på insatta resurser. Med avseende på citeringsgrad – påverkan på internationella kolleger inom de vetenskapliga nätverken – har utfallet varit likaledes gott om vi ser till den generella nivån. Med en citeringsgrad som uppgår till närmare 50 procent över världsgenomsnittet har Naturvårdsverket finansierat starka forskargrupper även om intrycket dras ned av att tre av sju program har förhållandevis svaga prestationer. Tar vi forskningsprogrammen inrapporterade publikationer till utgångspunkt erhåller vi följande: Ett program uppnår en nivå som motsvarar högsta betyg, dvs. Outstanding. Ett annat program uppnår nivån Excellent och ytterligare två program får betyget Very Good. Vidare har två program en citeringsgrad som motsvarar betyget Good. Slutligen ges ett program, som till följd av låg aktivitet inte når tillfredsställande nivåer, betyget. Insufficient. Betygssättningen bygger på drygt trehundra svenska forskargrupper som varit inbegripna i olika finansieringsprogram för excellens och starka forskningsmiljöer (se nedan sid. 66–67).