Översyn av Expertgruppen för biståndsanalys

Sammanfattning

Statskontoret har på regeringens uppdrag gjort en översyn av Expertgruppen för biståndsanalys (EBA).

EBA är en kommitté som Utrikesdepartementet (UD) inrättade 2013. Kommittén ska utvärdera och analysera Sveriges internationella bistånd. EBA förmedlar också erfarenheter från andra aktörers forskning och analyser. Därigenom ska EBA bidra till att ta fram kunskap som regeringen kan använda för att styra och utveckla biståndet.

EBA ska löpande analysera och utvärdera biståndet

Kommittén består av en expertgrupp med tio ledamöter och ett kansli med sju anställda. EBA har en budget på närmare 18 miljoner kronor 2018. Expertgruppen väljer självständigt vad de ska analysera och utvärdera och hur de ska genomföra sina studier inom ramen för regeringens direktiv. EBA anlitar i huvudsak forskare och andra experter för att utföra studierna, men expertgruppen ansvarar för studiernas kvalitet och beslutar om när de ska publiceras. EBA publicerar rapporter i egna rapportserier och inte i betänkanden som kommittéer normalt gör. Sedan 2016 anger regeringen i tilläggsdirektiven till EBA att verksamheten ska vara långsiktig.

Regeringen vill att EBA ska använda sin ställning och sitt mandat som fristående analys- och utvärderingsfunktion för att studera strategiskt viktiga frågor för det svenska biståndet. De ska också Ni skulle kunna skriva detta i två meningar och lyfta fram att detta är nackdelar som ofta följer å komplettera de utvärderingar som bland andra Styrelsen för internationellt utvecklingssamarbete (Sida) gör. Genom tilläggsdirektiven har regeringen uttryckt förväntningar om att EBA ska göra mer utvärderingar.

EBA har börjat hitta formerna för sin verksamhet

Vår översyn visar att EBA har svarat mot regeringens direktiv och intentioner när det gäller att kontinuerligt producera olika typer av studier om det svenska biståndet. EBA gör också kunskap från både egna studier och forskning tillgänglig för regeringen och för andra relevanta målgrupper, vilket ligger i linje med regeringens intentioner.

Det har tagit några år för EBA att hitta formerna för verksamheten. Efter en trög start har produktionen stadigt ökat. Vi bedömer att EBA:s produktion är relativt hög i förhållande till kommitténs ekonomiska och personella resurser. Sedan 2016 har de producerat drygt tio rapporter per år i sin ordinarie rapportserie. EBA sprider rapporternas resultat vid egna seminarier och bidrar även till att förmedla forskningsresultat från nydisputerade forskare.

Många av EBA:s intressenter anser att rapporterna ofta är intressanta och att seminarierna är välarrangerade. Vi kan inte se att det finns några påtagliga överlappningar mellan EBA och Sida eller mellan EBA och några andra analys- eller utvärderingsmyndigheter.

Rapporterna behöver bli mer relevanta och användbara

Vår analys visar att EBA:s rapporter inte har påverkat regeringens politik direkt och inte heller påverkat Sidas sätt att arbeta på något avgörande sätt. Det beror oftast på att målgrupperna inte uppfattar att rapporten bidrar med ny kunskap eller på att den inte kommer i rätt tid för att kunna användas i någon aktuell beslutsprocess. Det kan också bero på att studien inte är relevant för det svenska biståndet, eller att författaren inte är tillräckligt insatt i hur det svenska biståndet styrs och genomförs. EBA har hittills i relativt liten utsträckning använt sitt mandat som extern utvärderare och granskare av biståndet. Men antalet utvärderingar har ökat efter att regeringen ändrade kommitténs direktiv 2016.

Vi bedömer att EBA:s största utmaning är att få rapporterna mer relevanta och användbara. EBA riskerar att tappa sin legitimitet om de inte lyckas med detta. Vi uppfattar också att EBA vill vara relevanta för regeringen och att de därför planerar förändringar eller redan har genomfört vissa förändringar i sitt sätt att arbeta. EBA försöker till exempel att få de tänkta mottagarna att delta tidigt i processen genom att de är med i referensgrupper kopplade till rapporterna. EBA har också fått bättre överblick över regeringens styrdokument för biståndet och när de löper ut. Det ökar förutsättningarna för att kommande studier kan publiceras i rätt tid för att regeringen ska kunna använda dem för att styra biståndet. EBA vill också genomföra fler utvärderingar, stärka kansliets kompetens inom kommunikation och ha en mer systematisk uppföljning av verksamheten.

Vi har också uppmärksammat några ytterligare åtgärder som EBA kan vidta för att stärka förutsättningarna för att rapporterna ska bli relevanta och användbara. Exempelvis kan EBA ta fram kriterier för hur expertgruppen och referensgrupperna ska bedöma rapporternas kvalitet och relevans för den tilltänkta målgruppen. Vi har också uppmärksammat att EBA saknar en tydlig strategi för hur de ska använda sitt mandat och resurser för att nå regeringens mål på ett effektivt sätt. EBA bör även överväga att följa upp resultatet av de utvecklingsinitiativ som redan har påbörjats. Men EBA är en liten organisation vilket sätter gränser för vad som är möjligt och rimligt att utveckla. Valet av utvecklingsinsatser bör därför grundas i väl avvägda prioriteringar som EBA själva måste ta ansvar för.

EBA bör fortsätta sin verksamhet i samma organisationsform

Statskontoret föreslår att regeringen låter EBA fortsätta att bedriva sin verksamhet i sin nuvarande organisationsform, det vill säga som en kommitté med en kontinuerlig verksamhet. Organisationsformen har inte på något avgörande sätt hindrat EBA från att rekrytera och behålla kompetent personal. EBA har kunnat agera självständigt och med integritet samtidigt som de har producerat kunskapsunderlag på ett kostnadseffektivt sätt.

Myndighetsformen bör normalt vara förstahandsalternativet för statlig verksamhet och vi bedömer att både styrelsemyndighet och enrådighetsmyndighet skulle kunna passa för verksamheten. Men vi bedömer också att en förändring av organisationen skulle medföra omställningskostnader och att verksamheten får starta om på nytt. Det skulle riskera att minska produktionen, att stoppa förändringsarbetet och att öka resurserna för administration. Det är inte heller säkert att en förändrad organisationsform skulle ge EBA bättre förutsättningar att uppfylla regeringens mål. Tidigare erfarenheter tyder på att det är svårt att hitta en idealisk form för verksamheten och att den också är svår att bedriva på ett sätt som tillfredsställer alla behov och förväntningar. EBA:s största utmaning kommer oavsett organisationsform vara att väga självständigheten i valet av studier mot att vara relevant för regeringens politik.

Statskontorets översyn av EBA

Regeringen vill ha en effektiv och ändamålsenlig fristående funktion som utvärderar och analyserar Sveriges internationella bistånd. Sedan 2013 ska kommittén Expertgruppen för biståndsanalys fylla denna funktion. Statskontoret har fått i uppdrag av regeringen att se över kommitténs verksamhet och organisationsform.

Expertgruppen för biståndsanalys ersatte SADEV

Expertgruppen för biståndsanalys (EBA) inrättades av regeringen den 31 januari 2013 för att kontinuerligt utvärdera och analysera Sveriges internationella bistånd.^[1] Kommittén ersatte myndigheten Institutet för utvärdering av internationellt utvecklingssamarbete (SADEV) som verkade 2006–2012.^[2] Regeringen har haft tillgång till liknande analysfunktioner innan dess, både i form av en kommitté och en expertgrupp i Utrikesdepartementet.^[3] Ingen av de tidigare funktionerna har varit långvarig.

Expertgruppen inrättades på kort tid för att undvika glapp

Regeringen förberedde att inrätta EBA på kort tid. Målet var att så fort som möjligt inrätta en ny utvärderingsfunktion efter beslutet om att avveckla SADEV den 31 december 2012. När riksdagen behandlade regeringens förslag om budget för avvecklingen betonade utrikesutskottet att det inte fick uppstå något glapp i utvärderingsverksamheten.^[4]

Regeringen tog beslutet om att avveckla SADEV cirka ett halvår efter det att Statskontoret i en rapport hade rekommenderat regeringen att skapa förutsättningar för en omstart av verksamheten. Statskontoret konstaterade att regeringens förväntningar på SADEV inte hade infriats och att myndigheten inte hade fått tillräckligt bra förutsättningar för verksamheten. SADEV hade bland annat inte producerat relevanta utvärderingar av hög kvalitet. Myndigheten hade inte heller utvärderat biståndets effekter, vilket var en av huvuduppgifterna.^[5]

En kommitté var ett sätt att snabbt komma igång

Regeringen tillsatte ingen organisationsutredning i samband med att SADEV skulle ersättas med en ny analysfunktion. Utrikesdepartementet (UD) utredde i stället internt under hösten 2012 den nya funktionens uppdrag och organisationsform.^[6]

UD bedömde att en kommitté skulle vara den lämpligaste organisationsformen för att funktionen snabbt skulle komma igång och börja producera. UD bedömde också att kommittéformen var flexibel. Funktionen skulle inledningsvis behöva hitta sin roll och sina arbetsformer, men regeringen skulle relativt snabbt kunna justera verksamhetens inriktning och omfattning om det skulle behövas. Andra fördelar med att ha funktionen som en kommitté var att den skulle kunna använda Regeringskansliets kommittélokaler och kommittéservice och att regeringen senare skulle kunna följa upp om den valda organisationen var lämplig.^[7]

Den 31 januari 2013 beslutade regeringen om direktiven till kommittén. Ledamöterna var då utsedda. Tjänstemän på UD som var involverade i arbetet har beskrivit för oss att processen var mycket tidspressad.

Kommittéförordningens betydelse för EBA utreddes inte

En kommitté är en grupp som har tillkallats av regeringen och som har ett utredningsuppdrag. Den har bildats tillfälligt för att skaffa underlag för ett politiskt ställningstagande. Kommittén ingår i Regeringskansliet, men ansvarar för sin egen verksamhet på samma sätt som en myndighet. En del av departementens anslag går till kommittéverksamheten.^[8]

Kommittéer ska följa kommittéförordningen (1998:1474). Förordningen reglerar kommitténs organisation, planering och budgetering, redovisning av utredningsarbetet, förordnanden och arvoden med mera. Inför starten av EBA utredde inte UD hur kommitténs verksamhet skulle förhålla sig till bestämmelserna i kommittéförordningen.

EBA har fått andra förutsättningar än kommittéer normalt har, på flera sätt. Det gäller även vissa andra kommittéer som Expertgruppen för studier i offentlig ekonomi (ESO) och Delegationen för migrationsstudier (Delmi). Dessa tre kommittéer bedriver en löpande analysverksamhet och publicerar sina rapporter i egna rapportserier, inte som betänkanden i serien Statens offentliga utredningar (SOU). Kommittéerna bestämmer också i hög grad själva över sina arbetsformer och vad de ska studera.

ESO stod som förebild för EBA

ESO stod som förebild för hur EBA skulle organiseras och arbeta. I de första direktiven angav regeringen att EBA:s arbetsformer borde bygga på bland annat erfarenheter från ESO.^[9] Därför utsåg regeringen Lars Heikensten till ordförande i kommittén. Han hade då varit ordförande i ESO sedan 2007. Likt ESO kom EBA att bestå av en expertgrupp med ledamöter som har tillgång till ett kansli för det löpande arbetet. Kansliet motsvarar sekretariatet hos andra kommittéer.

EBA består av tio ledamöter och ett kansli med sju personer

EBA består av en expertgrupp med tio ledamöter och ett kansli med för närvarande sju förordnade tjänstemän, varav en är kanslichef. Det har varit en viss personalomsättning både i expertgruppen och i kansliet sedan starten. Under 2017 förordnade regeringen både en ny ordförande och en ny kanslichef till EBA. Av expertgruppens nuvarande ledamöter har fyra varit förordnade sedan starten i januari 2013. Den nuvarande kanslichefen var tidigare utredningssekreterare och är den av kanslipersonalen som har arbetat längst på EBA, ända sedan december 2013. Förordnandena för både ledamöter och kanslipersonal löper ut den 31 december 2018.

En budget på närmare 18 miljoner kronor 2018

EBA:s budget har ökat successivt sedan starten. Det första verksamhetsåret fick EBA 13 miljoner kronor. För 2018 har EBA fått närmare 18 miljoner kronor. EBA:s verksamhet finansieras med medel från ett särskilt anslag inom utgiftsområde 7 Internationellt bistånd.^[10] Medlen disponeras av Regeringskansliet (UD) och får användas för expertgruppens verksamhet och förvaltningskostnader. EBA får spara högst 3 procent av de tilldelade medlen till nästkommande år.^[11]

Utrikesdepartementet ansvarar för kommittén

Utrikesdepartementets enhet för internationellt utvecklingssamarbete (UD IU) ansvarar för att bereda kommitténs direktiv samt förordnanden av ledamöter och kanslipersonal. Chefen för enheten beslutar om delegering av medel till EBA utifrån EBA:s förslag på budgetposter. Enheten ansvarar också för att föra en löpande dialog med expertgruppen och dess kansli. Den tjänsteman som är handläggare för EBA är även förordnad som expert i kommittén och deltar vid expertgruppens sammanträden.

Utöver UD IU är UD:s personalenhet (UD P) involverad i administrationen av EBA och vissa beslut tas av det ansvariga statsrådet. Expertgruppen och kanslichefen rekryterar själva till kansliet i dialog med UD:s personalenhet. Statsrådet beslutar om alla anställningar efter föredragning av UD IU.

Regeringen har tidigare aviserat en översyn

I de första direktiven till EBA uppgav regeringen att den löpande skulle följa expertgruppens arbete och senast under våren 2016 ta ställning till om organisationsformen var ändamålsenlig. Hösten 2015 genomförde UD på egen hand en mindre översyn av verksamheten. Den ledde till att regeringen i juli 2016 fattade beslut om tilläggsdirektiv till EBA som ersatte de tidigare direktiven.^[12]

De nya direktiven förtydligar kommitténs uppdrag. Bland annat har regeringen förtydligat att EBA:s utvärderingar och analyser ska bidra till kunskap som grund för hur regeringen styr och utvecklar biståndet. I direktiven anger regeringen också att verksamheten bör vara långsiktig, men att både verksamheten och organiseringen ska ses över under 2018 som grund för regeringens beslut om hur kommittén ska fortsätta sitt arbete. Det är denna översyn som Statskontoret nu har fått i uppdrag att genomföra.^[13]

Regeringens uppdrag till Statskontoret

Statskontoret ska enligt uppdraget analysera om Expertgruppen för biståndsanalys genom sin verksamhet har svarat mot regeringens behov och intentioner samt om verksamheten är ändamålsenligt organiserad. Regeringen konkretiserar detta i följande sex frågor:

1. Har EBA:s verksamhet bidragit till det övergripande målet för verksamheten enligt direktiven?
2. Har EBA genom sitt unika mandat kompletterat annan analys- och utvärderingsverksamhet och på så sätt stärkt den sammantagna analys- och utvärderingsverksamheten inom området?
3. Hur har de tilltänkta målgrupperna uppfattat kvaliteten (inklusive relevans, användbarhet och trovärdighet) i rapporter och seminarier?
4. Har kommittén och kansliet effektiva och ändamålsenliga arbetssätt för att säkerställa relevans och kvalitet i verksamheten?
5. Är formerna för dialog mellan EBA och UD samt andra aktörer ändamålsenliga, med hänsyn till att EBA ska ha en hög grad av oberoende och samtidigt leverera relevanta studier?
6. Är kommittéformen ändamålsenlig för verksamheten och vilka är dess för- och nackdelar?

Översynen ska ligga till grund för regeringens beslut om hur verksamheten ska bedrivas fortsättningsvis. Om Statskontoret bedömer att verksamheten bör fortsätta i kommittéform kan vi lämna förslag till EBA om hur verksamheten kan utvecklas. Uppdraget finns i bilaga 1.

Så har vi tolkat och avgränsat uppdraget

Regeringen har inte gett Statskontoret detta uppdrag på grund av några uttalade problem i verksamheten eller med organisationsformen. Vi tolkar att vi därför ska följa upp och bedöma EBA:s verksamhet i förhållande till direktiven och regeringens intentioner, men inte ompröva verksamheten. Regeringens utgångspunkt är att verksamheten ska fortsätta. Däremot ska vi kunna ompröva EBA:s organisationsform. Vi tolkar att vi i prövningen ändå ska utgå från regeringens och riksdagens tidigare beslut om att det behövs en fristående utvärderingsfunktion på biståndsområdet.

Enligt uppdraget ska vi i första hand utgå från direktiven till EBA som gäller sedan den 21 juli 2016. Men behöver vi även ta hänsyn till EBA:s första direktiv, eftersom de var styrande för verksamheten under de första åren. Annars kan vi inte ge en rättvisande bild av verksamheten och av förändringarna i den.

Vi har utgått från hur EBA tolkar sitt uppdrag och säkerställer att de inte överlappar annan verksamhet för att kunna bedöma om EBA kompletterar annan analys- och utvärderingsverksamhet. Vi har också utgått från hur kommitténs främsta målgrupper uppfattar att EBA uppfyller dessa förväntningar. Även när det gäller kvaliteten i EBA:s rapporter och seminarier har vi utgått från hur målgrupperna uppfattar kvaliteten. Vi har avgränsat oss till främst UD och Styrelsen för internationellt utvecklingssamarbete (Sida) som vi har bedömt är de främsta målgrupperna. Det har alltså inte ingått i vårt uppdrag att kartlägga produktionen hos andra tänkbara analys- och utvärderingsfunktioner för att identifiera eventuella överlappningar, eller att själva bedöma kvaliteten i EBA:s rapporter och seminarier.

Enligt uppdraget ska vi använda ett jämställdhetsperspektiv i analysen. Vi har avgränsat det till att redovisa hur EBA bedömer att de har anlagt ett jämställdhetsperspektiv i sina studier och redovisa könsfördelningen bland de författare som EBA har anlitat.

Så har vi genomfört översynen

Vi har genomfört uppdraget under perioden januari–maj 2018 och samlade in underlaget huvudsakligen under februari–april. Underlaget består av olika typer av offentliga och interna dokument, bland annat propositioner, direktiv, rapporter, protokoll, avtal, interna styrdokument, uppföljningar samt budget och ekonomiskt utfall. Intervjuer samt kompletterande muntliga och skriftliga upplysningar är andra viktiga underlag. EBA, UD och Sida har varit de främsta uppgiftslämnarna.

Vi har även hämta in upplysningar från rättschefens kansli och granskningskansliet i Statsrådsberedningen om kommittéförordningen (1998:1474) och vad som gäller för kommittéer med ett mer varaktigt uppdrag. Vi har också samrått med sekretariatet i Utredningen om regeringens analys- och utvärderingsresurser (dir. 2017:79). Utredningen ska redovisa sitt betänkande senast den 31 augusti 2018.

Direktiven och EBA:s produktionsprocess som utgångspunkt

• I analysen av EBA:s uppdrag och förutsättningar för verksamheten har vi främst utgått från direktiven och kommittéförordningen. EBA behöver bland annat väl fungerande arbetsformer och rutiner i hela produktionsprocessen för att de ska kunna fullgöra uppdraget och producera relevanta studier av hög kvalitet. Vi har utifrån denna process studerat hur EBA har tolkat sitt uppdrag och inriktat sin verksamhet samt hur de går till väga när de väljer vad de ska studera och vem som ska utföra studien. Vi har också studerat EBA:s rutiner för att säkra kvaliteten i rapporterna innan de publiceras, EBA:s dialog med framför allt UD och Sida för att kunna göra relevanta studier samt hur EBA följer upp sin verksamhet.

Kartläggning av verksamheten och rapportproduktionen

Vi har kartlagt EBA:s verksamhet och rapportproduktion för att analysera verksamhetens inriktning och utveckling. EBA:s kansli har därför tagit fram och sammanställt information om de 37 rapporter som EBA till och med 2017 har publicerat i serien EBA-rapporter samt information om de 15 studier i serien som pågick i mars 2018. Vissa uppgifter har vi själva sammanställt utifrån information på EBA:s webbplats. För varje studie har vi efterfrågat information om bland annat typ av studie, hur studien initierades, studiens syfte, tänkt målgrupp och mottagare, valet av författare, studiens tidsåtgång, författarens ersättning för arbetet och om studien har haft ett jämställdhetsperspektiv. Vi har också efterfrågat information om bland annat hur studien är kopplad till regeringens biståndspolitik och till EBA:s verksamhetsstrategi.

Utifrån kartläggningen har vi valt ut tio studier som vi har begärt att få mer information om. Vi har främst studerat de promemorior som har utgjort underlag för expertgruppens beslut om studierna, eventuella anbudsunderlag eller motsvarande inför att EBA har valt studie och författare samt kontrakten med författarna. Syftet med urvalet var att få mer underlag för att analysera EBA:s arbetssätt och att ställa frågor till de tänkta mottagarna om studien och processen runt den.

Valet av rapporter är inte slumpmässigt och därmed inte heller representativt för EBA:s samlade produktion. Vår utgångspunkt har varit att täcka in olika typer av studier och ämnen sedan 2016 och med olika mottagande enheter i UD. Vi har valt fyra rapporter publicerade 2016, tre rapporter publicerade 2017 och tre studier som pågick i mars 2018. En av de studier som pågick i mars publicerades i en rapport i maj 2018. Bilaga 2 sammanställer EBA:s publicerade rapporter och pågående studier samt dem vi har valt ut för en närmare analys.

Intervjuer med UD och Sida med flera

Sammantaget har vi personligen träffat eller per telefon intervjuat drygt 50 personer. I EBA har vi i samtalsliknande form intervjuat samtliga ledamöter och den kanslipersonal som var förordnad våren 2018. Under dessa samtal har vi orienterat oss om verksamheten och fått en djupare inblick i arbetsformerna samt verksamhetens utveckling och utmaningar. Vi har också intervjuat EBA:s förra ordförande och kanslichef samt en tidigare anställd på kansliet för att informera oss om hur verksamheten fungerade i uppstarten och under de första åren. Under projekttiden har vi besökt två av EBA:s rapportseminarier.

På UD har vi samtalat med statssekreteraren som företrädare för den politiska ledningen och tjänstemän på enheten för internationellt utvecklingssamarbete. Vi har också haft samtal med några tjänstemän som var delaktiga i processen när EBA bildades. Därutöver har vi per telefon intervjuat tjänstemän på de enheter som har varit mottagare av eller är tänkta mottagare av de rapporter som vi har valt ut att närmare analysera. Totalt har vi talat med 18 personer. På Sida har vi samtalat med 10 personer, varav drygt hälften har varit direkt berörda av en rapport från EBA. Vi har också intervjuat en person i Swedfund. Några av de som vi har intervjuat har också deltagit i någon av EBA:s referensgrupper.

Vi har också intervjuat företrädare för Delmis och ESO:s kanslier och gjort vissa övergripande jämförelser mellan de tre kommittéerna som ett underlag för vår analys av EBA:s organisationsform och kommittéformens för- och nackdelar. Både EBA och Delmi har inrättats med ESO som förebild. De tre kommittéerna har i flera likheter, bland annat genom sina långsiktiga uppdrag. Men det är bara ESO som inte har tidsbegränsade direktiv.^[14]

Projektgrupp och kvalitetssäkring av rapporten

Utredarna Annika Gustafsson (projektledare) och Jesper Östling Palme samt praktikanten Linnea Sandell har genomfört uppdraget. Rapporten har kvalitetssäkrats enligt Statskontorets interna rutiner. Vi har gett EBA och UD möjlighet att kontrollera fakta i ett utkast till rapporten. Sida och Swedfund har kontrollerat fakta i de delar som rör deras verksamhet.

Så har vi disponerat rapporten

I kapitel 2 strukturerar och analyserar vi EBA:s uppdrag. Kapitlet beskriver också några av de förutsättningar som EBA i övrigt har för verksamheten, bland annat genom att vara organiserad som en kommitté.

I kapitel 3 beskriver och analyserar vi EBA:s verksamhetsinriktning och produktion i förhållande till uppdraget och regeringens intentioner. Vi behandlar bland annat hur EBA har tolkat och operationaliserat sitt uppdrag, hur de använder sina resurser och hur verksamheten i grova drag har utvecklats sedan starten. EBA:s verksamhetsstrategi, vår kartläggning av rapportproduktionen och våra intervjuer med EBA ligger till grund för analysen.

I kapitel 4 redovisar vi de synpunkter UD, Sida och Swedfund har framfört på EBA:s seminarier, rapporternas relevans och kvalitet samt synpunkter på EBA:s sätt att arbeta. Samtliga intervjuer med målgrupperna ligger till grund för de omdömen vi redovisar.

I kapitel 5 går vi närmare in på EBA:s arbetssätt och hur de arbetar för att säkerställa rapporternas kvalitet och att de blir relevanta för främst regeringen. Vi behandlar också hur EBA:s dialog med UD och Sida fungerar och hur EBA följer upp sin verksamhet.

I kapitel 6 analyserar vi vad den valda organisationsformen har för konsekvenser för EBA:s verksamhet och kommitténs möjligheter att fullgöra uppdraget.

I kapitel 7 redovisar vi våra slutsatser om verksamheten och organisationsformen samt lämnar rekommendationer till regeringen och EBA.

Expertgruppens uppdrag och förutsättningar

I detta kapitel beskriver och analyserar vi regeringens uppdrag till Expertgruppen för biståndsanalys (EBA) samt andra förutsättningar för kommittén och dess verksamhet. Statskontoret gör sammanfattningsvis följande iakttagelser:

• Regeringen och riksdagen har beslutat att den svenska förvaltningen ska inrymma en fristående funktion som ska utvärdera det svenska biståndet. EBA har därför fått stor självständighet. Expertgruppen beslutar om vad de ska studera och om riktlinjer för verksamheten inom direktivens ramar. Expertgruppen ansvarar för rapporternas kvalitet, men det är de anlitade författarna som svarar för innehåll, slutsatser och rekommendationer.
• De första direktiven till EBA var otydliga på flera punkter. En förklaring kan vara att regeringen inte tillsatte någon organisationsutredning för att precisera den nya funktionens syfte, uppgifter och målgrupp. EBA fick därmed inga förarbeten som stöd för att tolka sitt uppdrag.
• Regeringens nya direktiv förtydligar verksamhetens syfte, inriktning och huvudsakliga målgrupp. EBA ska genom egna utvärderingar och analyser främst bidra med kunskap som grund för hur regeringen styr och utvecklar biståndet. EBA ska ägna sig åt frågor som är strategiskt viktiga för biståndet och svensk biståndspolitik och komplettera de utvärderingar och analyser som Sida och andra aktörer utför.
• Uppdraget till SADEV var avgränsat till att utvärdera biståndet. Uppdraget till EBA är vidare. Utöver utvärderingar ska EBA utföra andra typer av analyser och studier samt förmedla kunskap från forskning och analyser som andra aktörer har genomfört. Regeringens önskemål om att EBA ska göra mer utvärderingar uttrycks underförstått i direktiven främst som att EBA ska bedöma biståndet ur flera aspekter.
• Regeringen har relativt höga förväntningar på vad EBA ska utföra med sin personalstyrka och budget. De flesta uppgifter formuleras som ska-krav samtidigt som EBA har mandat att själva välja vilka studier de ska göra. Kraven på expertgruppens och kansliets kompetens och förmåga är relativt detaljerade. UD har också stora möjligheter att genom förordnandena påverka kompetenssammansättningen. Nuvarande ledamöter och kanslipersonal har hög kompetens och täcker tillsammans in många ämnes- och kompetensområden.

Sverige behöver en fristående utvärderingsfunktion

Regeringen behöver kunskap som grund för att utveckla och styra biståndet. Regeringens beslut ska bygga på kunskap om hur biståndet genomförs, vilka effekter det får och vad som bidrar till att förbättra levnadsvillkoren för människor som lever i fattigdom och förtryck.^[15] Även riksdagens utrikesutskott har framfört att det behövs gedigen kunskap om biståndets resultat och effekter och att det därför behövs en väl fungerande utvärderingsverksamhet.^[16] Regeringen och riksdagen slog redan 2003 fast att Sverige behöver en fristående utvärderingsfunktion.

EBA har sin bakgrund i ett politiskt beslut från 2003

EBA har sin bakgrund i regeringens proposition 2002/03:122 Gemensamt ansvar: Sveriges politik för global utveckling. Regeringen och riksdagen beslutade då om att inrätta en utvärderingsfunktion för biståndsområdet, tydligt skild från den verksamhet som den ska analysera och bedöma. Syftet var att stärka utvärderingsverksamheten och att öka dess trovärdighet. Den självständiga utvärderingsfunktionen skulle från ett externt perspektiv granska och strategiskt analysera utvecklingssamarbetet och på så sätt komplettera den utvärdering som Sida och andra gör av sin egen verksamhet.^[17] Beslutet blev utgångspunkt för en närmare utredning som resulterade i att myndigheten SADEV bildades 2006. SADEV ersattes av EBA 2013.

Olika begrepp för funktionens ställning och mandat

Staten har ett antal analys- eller utvärderingsmyndigheter inom olika samhällssektorer som är organisatoriskt fristående från den eller de organisationer som ska genomföra regeringens politik. Begrepp som självständighet och oberoende används ofta för att beskriva den fristående utvärderingsfunktionens ställning, mandat eller handlingsutrymme.

Ingen statlig organisation är helt självständig eller oberoende i förhållande till sin huvudman. Regeringen och ibland även riksdagen sätter ramarna för verksamheten genom de tilldelade uppgifterna och den årliga budgeten. Huvudmannen har ett inflytande över verksamheten även genom sin utnämningsmakt, det vill säga uppgiften att utse vem eller vilka som ska leda verksamheten.

En organisatorisk åtskillnad syftar till att bland annat minska risken för intressekonflikter och för att utvärderingsfunktionen utsätts för påtryckningar från de som svarar för verksamheten. Detta stärker funktionens trovärdighet. En fristående organisation blir också mer transparent. Transparensen gör det tydligt hur stor budget regeringen avsätter för analys och utvärdering samt ökar förutsättningarna att följa upp hur resurserna används. Inom det biståndspolitiska området har regeringen och riksdagen organisatoriskt velat skilja utvärderingsfunktionen från biståndsorganisationen och då särskilt från Sida och Regeringskansliet. Det beror främst på att Sida och Regeringskansliet hanterar och betalar ut merparten av Sveriges biståndsmedel och därför har en central funktion för att genomföra regeringens politik.

Utvärderingsfunktionens självständighet är främst ett uttryck för att de ansvariga i organisationen har stor frihet att välja till exempel studieobjekt, frågor, perspektiv och metoder inom de ramar som regeringen har angett. Samtidigt måste funktionen kunna balansera denna valfrihet mot relationen till de som är tänkta att ta emot resultaten. Funktionen behöver bli respekterad för att resultaten ska tas om hand och leda till förändring. Då behöver också utvärderingarna och analyserna uppfattas som tillförlitliga, men också relevanta och användbara för mottagarna. Det visar tidigare rapporter från Statskontoret, bland annat Statskontorets rapport om SADEV.^[18]

Funktionen och de som eventuellt anlitas som utförare behöver ha nödvändig kompetens för sin uppgift för att kunna uppfylla mottagarnas förväntningar på relevans och kvalitet. Utföraren ska också uppfattas vara oberoende, det vill säga saklig och opartisk, genom att själv inte ha varit involverad i den verksamhet som ska bedömas.

Självständigt val av studier och riktlinjer för verksamheten

EBA ska kontinuerligt utvärdera och analysera verksamheten inom utgiftsområde 7 Internationellt bistånd. Regeringen har gett expertgruppen möjlighet att själva välja vad de ska studera och hur de ska genomföra sina studier inom ramen för direktivens övriga villkor. Det uttrycks i direktiven som att expertgruppen ska

• självständigt prioritera studieområden och teman, svara för vilka utvärderingar, analyser och studier som ska genomföras samt besluta om publicering
• självständigt ange riktlinjer och metoder för verksamheten och säkerställa kvaliteten i analys- och utvärderingsverksamheten.

Analys är ett bredare begrepp än utvärdering och därför överlappar dessa begrepp varandra. Begreppet studier används av både regeringen och EBA som ett samlingsnamn för projekt som ska utmynna i en rapport av något slag. Enligt EBA kan det vara utvärderingar, analyser, synteser, kartläggningar och andra typer av kunskapsunderlag.^[19]

Mandaten för ESO och Delmi är utformade på liknande sätt. De ska själva välja vad de ska studera och prioritera. De ansvarar också för att ange riktlinjer för verksamheten. I likhet med EBA kan de göra olika typer av studier inom sina respektive samhällsområden, men de har en mer uttalad inriktning mot forskning och forskningsresultat.

EBA är oberoende endast i förhållande till det som granskas

EBA har stor självständighet när det gäller att välja studier, riktlinjer och metoder. Direktiven kompletterar denna självständighet med några skrivningar om oberoende och ansvar:

• Både expertgruppen och personer som anlitas för att genomföra studier ska ha en oberoende ställning i relation till det som granskas.
• Det bör normalt vara rapportförfattarna som svarar för rapporternas innehåll, slutsatser och rekommendationer.
• Expertgruppen kan även framföra egna slutsatser och rekommendationer.

Genom dessa villkor gör regeringen det möjligt för expertgruppen att inte behöva hålla med författaren om slutsatser och rekommendationer i den publicerade rapporten, så länge studien är väl genomförd i övrigt. Expertgruppen får också själv avgöra om de vill uttala sig eller till exempel föreslå för regeringen hur inriktningen på politiken kan förändras.

EBA säger ofta att de omfattas av ett så kallat dubbelt oberoende, ett begrepp som kommer från ESO. Med det menar EBA att kommittén är oberoende i förhållande till regeringen och att skribenterna är oberoende i förhållande till EBA. Men begreppet överensstämmer inte med direktiven. Oberoendet för expertgruppen och författaren gäller enbart i relation till det som granskas.

EBA har ett vidare uppdrag och lägre budget än SADEV

Förutom organisationsformen skiljer sig regeringens uppdrag till EBA något från uppdraget till SADEV. SADEV skulle i huvudsak utvärdera Sveriges internationella utvecklingssamarbete och sprida information om resultaten. Utvärderingarna skulle gälla resultat och effekter samt effektiviteten i hur biståndsmedlen användes.^[20] Myndigheten förväntades genomföra utvärderingarna med främst sin egen personal.

EBA har ett något vidare uppdrag än SADEV. EBA ska

• beställa eller genomföra utvärderingar, analyser och studier som gäller biståndets resultat och effektivitet och hur det genomförs
• aktivt sprida lärdomar, slutsatser och rekommendationer från genomförda studier.

EBA har möjlighet att göra fler typer av studier än utvärderingar och har ett mer uttalat uppdrag än SADEV hade när det gäller att sprida kunskap och resultat (se vidare avsnitt 2.2.6 och 2.3.). En tydlig ambition från regeringen har också varit att EBA främst ska anlita extern kompetens för att genomföra studierna. EBA:s budget för 2018 på närmare 18 miljoner kronor är mindre än den som SADEV hade under sitt sista verksamhetsår. Anslaget till SADEV var nära 23 miljoner kronor för 2012.^[21]

EBA ska producera kunskap som ger ett mervärde

EBA ska bidra med kunskapsunderlag, men det är inte tänkt att kommittén ensam ska fylla regeringens behov av kunskap. EBA ska använda sitt mandat för att komplettera den verksamhet som andra analys- och utvärderingsfunktioner bedriver, bland andra Sida. Regeringen förväntar sig också sedan direktivförändringen 2016 att EBA ska producera fler utvärderingar än tidigare.

Politikområdet är komplext och omfattar mycket pengar

Regeringens och riksdagens behov av kunskap om biståndspolitikens resultat motiveras bland annat av att internationellt bistånd är en stor del av statens budget. För 2018 uppgår biståndsramen till 1 procent av bruttonationalinkomsten (BNI). Statens utgifter för utgiftsområde 7 är budgeterade till nära 43 miljarder kronor för 2018. Det är nästan lika mycket som statens budget för rättsväsendet eller försvaret.

Kunskapsbehovet motiveras också av att politikområdet är komplext. Det spänner över flera samhällssektorer och tematiska områden. Det omfattar också ett stort antal länder och organisationer.

Biståndet skiljer sig från annan statlig verksamhet

Biståndet har vissa särdrag jämfört med annan statligt finansierad verksamhet. Verksamheten bedrivs huvudsakligen utomlands och där insatserna ska ge nytta för andra än svenska medborgare och skattebetalare. Sverige är sällan den enda givaren till ett land, en region eller en organisation. En stor del av det svenska biståndet betalas ut som kärnstöd till multilaterala organisationer. Ofta är också många aktörer involverade i att genomföra den verksamhet som Sverige bidrar till. Sammantaget finns det flera särskilda förutsättningar som innebär att det kan vara en utmaning att härleda och utvärdera effekter av just de svenska biståndsinsatserna eller bidragen.^[22]

Det demokratiska perspektivet motiverar också att riksdagen värnar en fristående utvärderingsfunktion. De svenska skattebetalarna har rätt till insyn i om biståndet ger den nytta som det är tänkt för människor som lever i fattigdom och förtryck.

EBA ska komplettera andra kunskapsproducenter

Regeringen skriver i budgetpropositionen för 2018 att EBA har en viktig roll för att ta fram kunskap som kan ligga till grund för hur biståndet ska utformas. Men regeringen menar inte att EBA ska fylla det samlade kunskapsbehovet. EBA förväntas enligt UD skapa ett mervärde genom använda sitt mandat på bästa sätt när de väljer frågor och områden att studera.

I 2016 års direktiv betonade regeringen att EBA ska använda sin ställning som fristående utvärderingsfunktion för att komplettera den verksamhet som andra analys- och utvärderingsfunktioner bedriver. Det innebär att de ska komplettera bland annat utvärderingar från Sida och andra svenska statliga biståndsorganisationer som underlag för eget lärande och för att förbättra verksamheten. EBA ska därför ha dialog med Sida, Utrikesdepartementet, Riksrevisionen, Statskontoret och andra relevanta aktörer för att säkerställa att statens utvärderingsresurser används på bästa sätt.

Sida utvärderar biståndet inom sitt ansvarsområde

Sida producerar varje år ett stort antal utvärderingar av den biståndsverksamhet som myndigheten finansierar. Det är främst så kallade decentraliserade utvärderingar, men även ett mindre antal så kallade strategiska utvärderingar. De decentraliserade utvärderingarna gäller främst projekt och program i samarbetsländerna. Utvärderingarna upphandlas av Sidas operativa enheter och utförs av konsulter. De ska ligga till grund för Sidas lärande och utveckling av insatserna, men ska även vara till nytta för myndighetens samarbetsparter.^[23]

Sidas strategiska utvärderingar behandlar frågor som är av intresse för hela myndigheten. Därför är det generaldirektören som beslutar om planen för de strategiska utvärderingarna. Utvärderingarna kan handla om tvärgående frågor, exempelvis hur Sida använder garantier i utvecklingssamarbetet eller hur samspelet ser ut mellan humanitärt arbete och långsiktigt utvecklingssamarbete. Resultaten ska framför allt ligga till grund för Sidas ledning att styra verksamheten och för internt lärande. Flera av de strategiska utvärderingarna är därför inriktade på interna arbetssätt.

Sida återinrättar en utvärderingsenhet

Under flera år gjorde Sida relativt få strategiska utvärderingar, bland annat som en konsekvens av att SADEV fanns. Men produktionen var fortsatt låg efter att SADEV upphörde. Åren 2014–2017 publicerade Sida mellan en och två strategiska utvärderingar per år. Antalet kommer att öka framöver. Under 2017 påbörjade Sida sju strategiska utvärderingar varav sex kommer att avslutas under 2018.^[24] Antalet strategiska utvärderingar ökar eftersom regeringen i regleringsbrevet för 2015 framförde att Sida skulle prioritera att utveckla sitt arbete med utvärderingar.

Den 1 juni 2018 inrättar Sida en ny utvärderingsenhet med liknande uppgifter som den tidigare enheten Sida-UTV. Enheten ska ingå i avdelningen för verksamhetsstöd och inledningsvis bemannas med fem personer som också får administrativt stöd. Utvärderingsenheten ska ta fram Sidas strategiska utvärderingsplan och genomföra den i samarbete med myndighetens operativa enheter och med ambassaderna. Utvärderingsenheten ska också ge råd till dessa enheter när det gäller deras ansvar för decentraliserade utvärderingar av projekt och program. Andra uppgifter är att bland annat ansvara för och utveckla Sidas metodstöd för utvärderingar.

Önskemål om mer utvärderingar i EBA:s portfölj av studier

Inför förändringen av direktiven till EBA bedömde UD att de tidigare direktiven var för allmänt hållna på flera sätt och att detta gav kommittén ett för stort tolkningsutrymme. UD konstaterade bland annat att EBA inte i någon större utsträckning hade utvärderat biståndet.^[25] Enligt våra intervjuer med representanter för UD ville regeringen därför se mer utvärderingar, men att EBA:s portfölj fortfarande ska innehålla en mix av studier.

Önskemålet om mer utvärdering uttrycks underförstått i direktiven som att EBA ska bedöma (värdera) biståndet ur flera aspekter:

• Expertgruppen ska bedöma det svenska biståndets relevans, måluppfyllelse, effekter, hållbarhet, kostnadseffektivitet och andra kvaliteter.
• Bedömningarna kan bygga på såväl befintlig kunskap från forskning och utvärdering som datainsamling och analys initierad av expertgruppen.

Direktiven gör det alltså möjligt för EBA att inte bara genomföra olika typer av studier, utan även olika typer av utvärderingar. EBA ska också utvärdera biståndets resultat, effektivitet och genomförande, utöver det som nämns i första punkten ovan (se även avsnitt 2.1.5). Det innebär att EBA har två lager av styrsignaler att förhålla sig till när det gäller vad de ska utvärdera eller bedöma. Vi tolkar att regeringen överlåter åt EBA att bestämma hur balansen mellan olika typer av utvärderingar och studier ska se ut.

EBA ska studera strategiskt viktiga frågor för biståndet

EBA:s utvärderingar och analyser ska enligt regeringen gälla strategiskt viktiga frågor för biståndet och biståndspolitiken. I direktivens bakgrundstext nämner regeringen att den behöver utvärderingar eller analyser av bredare policykaraktär. Det kan bland annat handla om underlag för att ompröva eller förändra politikens inriktning, eller att förändra styrningen av en myndighet för att säkerställa att politiken genomförs på ett effektivt sätt. Företrädare för den politiska ledningen har i samtal med oss betonat att EBA:s studier därför måste vara tydligt kopplade till Sveriges biståndspolitik.

I våra samtal med både UD och Sida pekar flera på att Sida inte har mandat att utvärdera regeringens biståndspolitik och inte heller det multilaterala bistånd som Regeringskansliet hanterar. Om Sida ska granska sin egen styrning och sitt eget agerande i något avseende kan det bli problem med trovärdigheten. EBA har däremot ett sådant mandat. UD anser därför att EBA:s utvärderingar och analyser bör ligga på en högre policynivå och ha en annan inriktning än de utvärderingar som Sida eller övriga biståndsmyndigheter genomför. Enligt UD är det också i den bedömande rollen som EBA har ett mervärde som fristående och oberoende granskare. Det krävs inget sådant mandat för att exempelvis sammanställa och sprida forskningsresultat och annan kunskap. Företrädare för Sida säger också att EBA kan komplettera Sida med utvärderingar på land- eller sektornivå, men också med studier av biståndets effekter och hållbarhet.

Göra kunskap från studier tillgänglig

I de första direktiven till EBA såg regeringen ett värde i att kommittén skulle vara ett forum för möten mellan forskning och politik. Forumet skulle då kunna förena en hög grad av oberoende med närheten till beslutsfattandet. Regeringen hänvisade till erfarenheter från andra politikområden. Samma formulering finns i direktiven till ESO och Delmi. Men till skillnad från Delmi har EBA inget uttryckligt uppdrag att bidra till samhällsdebatten.

Mer konkret handlar denna del av uppdraget om att EBA ska göra kunskap från både egna och andras studier mer tillgänglig, bland annat som stöd för regeringen att styra och utveckla biståndet. Detta uttrycks i de nuvarande direktiven som att expertgruppen ska

• aktivt sprida (kommunicera) lärdomar, slutsatser och rekommendationer från genomförda utvärderingar, analyser och studier till relevanta målgrupper på lämpligt sätt
• göra resultat av andra aktörers forskning och analyser mer tillgängliga så att regeringen kan använda dem för att styra och utveckla biståndet.

Regeringen hänvisar till att det både i Sverige och utomlands bedrivs mycket forskning, utvärdering och annan analysverksamhet inom biståndsområdet som kan bli mer tillgänglig. Producenterna är bland andra universitet och högskolor, forskningsinstitut, tankesmedjor, bilaterala och multilaterala biståndsorganisationer och organisationer i samarbetsländerna.

Med de nya direktiven har EBA fått större möjlighet att själva avgöra hur de ska sprida resultat och lärdomar. Tidigare angav regeringen att EBA skulle arrangera öppna seminarier och konferenser.

Tydligare målgrupper sedan 2016 men öppna former för rapportering

I de nya direktiven från 2016 har regeringen tydligare uttryckt syftet med EBA:s verksamhet och den främsta målgruppen för den. Regeringen ser sig själv som den primära användaren, men direktiven säger inte om EBA formellt ska rapportera resultaten från sina studier till någon mottagare.

Inledningsvis var syftet att bygga upp en kunskapsbas för en bred målgrupp

I de första direktiven till EBA angav regeringen att syftet med EBA:s verksamhet var att bygga upp en långsiktig kunskapsbas av hög kvalitet. Genom sitt arbete skulle EBA bidra till att bredda och fördjupa underlaget för att kontinuerligt utveckla biståndspolitiken. Samtidigt var den utpekade målgruppen både vid och vag. Regeringen ansåg att de som behöver information om biståndet var beslutsfattare, svensk allmänhet samt aktörer och enskilda individer i Sveriges samarbetsländer.

Nu är syftet att bidra till kunskap som underlag för främst regeringens behov

Direktivändringen 2016 innebar att EBA ska behandla frågor som är strategiskt viktiga för biståndet och biståndspolitiken och bidra till kunskap som regeringen kan använda för att styra och utveckla biståndet. Regeringen ser sig själv som primär målgrupp för EBA:s verksamhet, men ser positivt på att EBA även når en bredare publik. Enligt direktiven kan verksamheten vara intressant för andra biståndsaktörer i Sverige eller för riksdagen, medierna och allmänheten. Den kan vara intressant även för internationella biståndsaktörer och för samarbetsländerna. I Sverige finns det biståndsaktörer inom allt från de statliga biståndsorganisationerna till civilsamhällets organisationer. Enligt våra intervjuer med UD är Sida en viktig målgrupp i staten, men även andra statliga organisationer som kan omfattas eller beröras av EBA:s studier är målgrupper.

Ingen är angiven som formell mottagare av resultaten

Regeringen har i EBA:s direktiv inte angett vem som formellt ska ta emot EBA:s resultat, om det ens är tänkt att någon ska göra det. Enligt kommittéförordningen (1998:1474) ska en kommitté redovisa sitt uppdrag i ett eller flera betänkanden. Då är det normalt det ansvariga statsrådet i det departement som har tillsatt kommittén som tar emot betänkandet och svarar för att det remissbehandlas och bereds politiskt. Men EBA redovisar inte sina studier i betänkanden, utan i rapporter som de själva ansvarar för att publicera och sprida. Om EBA vore en vanlig kommitté skulle biståndsministern ta emot resultaten och svara för den fortsatta beredningen.

EBA publicerar rapporterna på sin webbplats. De sänder också tryckta rapporter till ett riktat urval av personer i målgruppen, bland andra berörda tjänstemän på UD IU som är den enhet inom UD som ansvarar för kommittén. Enheten svarar för att de enheter inom UD som är berörda av sakfrågan får rapporten. Men eftersom rapporten inte är beställd av regeringen har den inget följebrev (missiv) och registreras därför inte som en inkommen handling i ett ärende. EBA svarar för diarieföring, registrering och arkivering. UD har däremot interna riktlinjer som säger att den enhet som är mest berörd av rapporten ska skriva en så kallad åtgärdspromemoria.^[26]

ESO och Delmi har också breda målgrupper och har inte heller någon angiven formell mottagare av de studier de publicerar. Delmi ska ge underlag för migrationspolitiska avgöranden, vilket borde innebära att regeringen är en viktig målgrupp. Delmi ska också sprida information till allmänheten, icke-statliga organisationer och journalister som en del i uppdraget att bidra till samhällsdebatten. ESO ska mer allmänt sprida information om finanspolitiska och samhällsekonomiska frågor för bland annat framtida politiska avgöranden. ESO är tvärsektoriellt inriktade och verkar inte inom ett enskilt politikområde som EBA och Delmi.

En årsrapport och en planeringsrapport till UD

Senast den 31 mars varje år ska EBA lämna en rapport som sammanfattar innehåll och slutsatser av de utvärderingar, analyser och studier som de har publicerat under föregående år. EBA kallar denna årsrapport för Biståndsanalys. Statssekreteraren tar emot rapporten och den diarieförs av UD.

EBA ska också löpande informera Regeringskansliet om hur arbetet fortlöper. Det gör de genom muntliga kontakter på olika nivåer och genom en återkommande skriftlig rapportering. EBA ska två gånger per år redovisa pågående och planerad verksamhet för att få återkoppling från regeringen. På våren ingår denna rapportering i årsrapporten och på hösten lämnar EBA en separat rapport. UD uppger att EBA vid sina möten med statssekreteraren har fått viss muntlig återkoppling på de redovisade planerna.

EBA har mer omfattande redovisningskrav än ESO och Delmi. Delmi sammanställer en gång per år den genomförda verksamheten och rapporterar till Regeringskansliet (Justitiedepartementet). Men enligt direktiven får de också lämna fler redovisningar. ESO har i sina direktiv inga motsvarande redovisningskrav.

EBA ska vara öppna och göra rapporterna tillgängliga

EBA:s arbete ska enligt direktiven präglas av största möjliga öppenhet. De rapporter som expertgruppen publicerar ska vara tillgängliga på EBA:s webbplats och på www.openaid.se. EBA ska också sprida lärdomar, slutsatser och rekommendationer till relevanta målgrupper på andra lämpliga sätt (se avsnitt 2.3).

Direktiven anger att expertgruppen, utöver på svenska, bör publicera rapporter på engelska för att skapa förutsättningar för dialog och samarbeten med aktörer i andra länder. Med hjälp av Språkrådet har vi tolkat detta som att EBA ska publicera sina rapporter på svenska, men att det är en fördel om de publicerar rapporterna även på engelska. Denna tolkning ligger i linje med språklagen (2009:600) och Språkrådets tolkning av lagen.^[27] Regeringen har varken i någon annan lag eller i någon förordning angett att kommittéerna inte behöver följa språklagen. I kommittéförordningen har regeringen snarare tryckt på vikten av klarspråk.^[28] Alla betänkanden skrivs på svenska, men sammanfattningen skrivs även på engelska.

Av språklagen framgår bland annat att myndigheter och andra offentliga organisationer har ett särskilt ansvar för att svenskan används och utvecklas. Språket ska vara vårdat, enkelt och begripligt (klarspråk).^[29] Texter som är översatta till ett annat språk ska följa samma regler. Grundtanken med språklagens krav är att värna medborgarnas insyn i det offentliga.

Höga krav på kvalitet och kompetens

• Regeringen ställer relativt höga och detaljerade krav på kompetensen hos expertgruppen och dess kansli för att de ska kunna leverera studier av hög kvalitet. Det innebär att regeringen förväntar sig att studierna är relevanta och användbara.

Expertgruppen ska garantera studiernas kvalitet

Expertgruppen ansvarar för verksamhetens och studiernas kvalitet. De ska avgöra när en rapport håller tillräcklig kvalitet för att publiceras. Expertgruppen ska normalt knyta referensgrupper till studierna för att kvalitetssäkra dem. Personerna i referensgruppen ska ha relevant sak- eller metodkunskap.

Sedan 2016 hänvisar regeringen i direktiven till de principer och kvalitetsstandarder för biståndsutvärdering som OECD:s biståndskommitté DAC (Development Assistance Committee) har utfärdat.^[30] Dessa principer och standarder omfattar både processen och produkten. Enligt direktiven bör EBA följa dem när det är lämpligt. Det innebär att EBA behöver ta ställning till när de ska användas.

Höga kompetenskrav på expertgruppen och kansliet

Kvalitetskraven förenas med höga krav på expertgruppens och kansliets kompetens, förmåga och kapacitet. Direktiven anger flera krav som är gemensamma för expertgruppen och kansliet. Vi tolkar detta som att kraven gäller EBA som samlad organisation. Kraven uttrycktes på ett likartat sätt i de första direktiven och gäller alltså sedan 2013.

• EBA ska ha en utvecklad förmåga att göra omvärldsanalyser och egna analyser.
• EBA ska ha hög kapacitet att analysera och föra samman kunskap som produceras av olika aktörer, göra synteser, dra slutsatser och presentera rekommendationer.
• EBA ska ha en utpräglad beställarkompetens och snabbt kunna ta till vara externt producerad kunskap, bedöma kvaliteten i denna och omsätta den i underlag som är relevanta för beslutsfattare i deras ställningstaganden.
• Beställarkompetensen bör omfatta att EBA förstår vad regeringen behöver, att de har förmåga att formulera relevanta frågor, samt att de har kunskap om var rätt kompetens finns tillgänglig och kapacitet att kontraktera och upphandla denna kompetens.
• EBA ska etablera kontakter med forskningsutförare och biståndsintressenter såväl i Sverige som i andra länder, inklusive OECD-DAC.

Regeringen ställer mer detaljerade kvalitets- och kompetenskrav på EBA än vad de gör på både ESO och Delmi. Direktiven till Delmi ställer inga liknande krav, mer än att delegationen ska svara för att studierna är väl underbyggda och policyrelevanta. Delmi får använda referensgrupper om de behöver. För ESO är kraven på referensgrupper tydligt uttalade. Till referensgrupperna för studierna ska ESO knyta bland annat tjänstemän med relevant sakkunskap från Regeringskansliet.

Kompetens och arbetsformer i kommittén

UD tillsätter både ledamöter och kanslichef och kan på så sätt påverka att kommittén sammantaget får en kompetens som svarar mot kraven i direktiven. De nuvarande ledamöterna har därför olika bakgrund och kompetens, men alla arbetar eller har tidigare arbetat med bistånds- eller utvecklingsfrågor. EBA ansvarar för att utforma riktlinjer för sin verksamhet och har som ett led i detta tagit fram ett antal interna styr- och stöddokument.

Ledamöterna täcker tillsammans in olika kompetenser

UD ansvarar för att ta fram lämpliga kandidater till expertgruppen inför statsrådets beslut. Processen för valet är omsorgsfull. Ambitionen är att få en grupp av personer som tillsammans täcker in olika kompetenser inom och perspektiv på utvecklingssamarbetet, exempelvis forskning, utvärdering, politik och praktik.

Men detta skiljer sig från hur det var från början. Då hade både ordföranden och vice ordföranden erfarenhet från främst andra politikområden. UD försöker i viss mån också täcka olika relevanta kunskapsområden som exempelvis mänskliga rättigheter, konflikt, miljö och klimat. Därutöver eftersträvar departementet både köns- och åldersbalans i expertgruppen. För närvarande är könsfördelningen 50/50. Samtliga ledamöterna har lång yrkeserfarenhet och några har disputerat eller är verksamma som forskare. Många har erfarenhet av att arbeta internationellt.

Intresset för verksamheten är ledamöternas drivkraft

Ledamöterna uppger för oss att det arvode de får för sin insats i kommittén inte är ett skäl till varför de har tackat ja till att ingå i expertgruppen. Det är snarast intresset och engagemanget för EBA:s verksamhet som är deras drivkraft. De flesta har ett heltidsarbete vid sidan av uppdraget i kommittén och är inte beroende av förordnandet för sin försörjning eller karriär.

Ledamöterna har ofta mycket att läsa inför varje sammanträde. Ett åtagande som ordförande i referensgruppen för en studie innebär extra arbete. Ordföranden och vice ordföranden får för sin insats ett arvode på 8 000 kronor per månad. Övriga ledamöter har ett arvode på 350 kronor per sammanträde. Den som är ordförande i en referensgrupp får normalt ett arvode på 12 000 kronor. Ledamöterna kan också få en ersättning på cirka 2 000 kronor för att förbereda inlägg vid ett seminarium.

Expertgruppen sammanträder regelbundet

Expertgruppen sammanträder tio gånger per år. Vid mötena beslutar de bland annat om vilka studier EBA ska genomföra och godkänner de rapporter som håller tillräcklig kvalitet för att kunna publiceras. Förutom beslutsärenden innehåller dagordningen informationspunkter, exempelvis om administrativa frågor och personalfrågor samt genomförda eller kommande möten och seminarier.

UD har förordnat en tjänsteman som expert i kommittén som deltar vid expertgruppens sammanträden (se avsnitt 1.1.7). Uppgiften som expert hänger ihop med uppgiften som ansvarig handläggare för EBA och denna person får inget mötesarvode för insatsen. Vi återkommer i avsnitt 5.5 till expertens funktion som länk mellan departementet och expertgruppen.

Expertgruppen eftersträvar samsyn i sina beslut

Av kommittéförordningen framgår att ledamöter får foga reservationer och särskilda yttranden till kommitténs betänkanden. Men förordningen reglerar däremot inte hur många ledamöter som måste vara närvarande för att en kommitté ska vara behörig att fatta beslut.^[31]

Expertgruppen har inte formellt tagit ställning till sina beslutsformer och de har inte dokumenterat dem i interna riktlinjer. Enligt våra intervjuer eftersträvar expertgruppen samsyn. Ordföranden låter alla ledamöter och UD:s expert komma till tals och sammanfattar därefter diskussionen i ett förslag till beslut. Expertgruppen röstar inte och ledamöterna har hittills aldrig fogat en reservation eller ett särskilt yttrande till ett beslut. Vissa ledamöter beskriver beslutsprocessen som ett givande och ett tagande.

Ledamöternas närvaro vid sammanträdena är generellt sett hög. Av protokollen framgår att närvaron sedan 2016 har varit något högre än tidigare. Vid varje mötestillfälle är oftast en eller två ledamöter frånvarande, i enstaka fall tre. Om det behövs fattar expertgruppen beslut mellan sammanträdena (per capsulam). Det kan tillämpas när närvaron har varit låg, en rapport behöver en mindre justering innan den kan publiceras eller en ledamot ska utses som ordförande för en referensgrupp. Expertgruppens ordförande har löpande kontakt med kansliet. Enligt kansliet är även övriga ledamöter lätt tillgängliga för avstämningar.

Kansliet svarar för det löpande arbetet

Expertgruppens kansli svarar för det löpande arbetet i kommittén. Enligt direktiven handlar det om att bistå expertgruppen med att ta fram och konkretisera förslag till studier, anlita rapportförfattare, samordna arbetet när studierna genomförs, medverka till att kommunicera genomförda studier och även utföra andra uppgifter som krävs för att fullgöra uppdraget. Kanslichefen har ingen arbetsbeskrivning, men förväntas ansvara för både kansliets verksamhet och personal.

Samtliga på kansliet har akademisk utbildning och flera har disputerat. Några har sedan tidigare erfarenhet inom biståndsområdet. EBA:s kanslichef uppger att personalen ända sedan starten har kompetenser som kompletterar varandra. Utredningssekreterarna deltar normalt i samtliga arbetsmoment genom att de har fördelat projektansvaret för pågående studier mellan sig. Det finns visst utrymme för utredningssekreterarna att själva skriva rapporter, men i huvudsak anlitar EBA forskare och experter utifrån. En biträdande utredningssekreterare ansvarar för administrativa uppgifter och stöd till kanslichefen och utredningssekreterarna.

Expertgruppens ledamöter uppger i samtalen med oss att de är mycket nöjda med kanslipersonalen och framhåller att de tar ett stort ansvar för verksamheten och utför sina uppgifter väl. Flera lyfter särskilt fram kansliets goda förmåga att tolka och väga samman ledamöternas olika synpunkter.

Det finns krav på att ta fram egna riktlinjer för verksamheten

Ledningen för en myndighet ska enligt myndighetsförordningen (2007:515) säkerställa att verksamheten bedrivs effektivt och att den interna styrningen och kontrollen fungerar på ett betryggande sätt.^[32] De ska också bland annat ha en arbetsordning, delegationsordning och verksamhetsplan. Myndighetsförordningen gäller inte för kommittéer, utan EBA ska enligt direktiven självständigt ansvara för att ta fram riktlinjer för verksamheten. Det tolkar vi som att EBA avgör vilka riktlinjer som behövs och hur de ska dokumenteras.

EBA har tagit fram flera interna styr- och stöddokument för verksamheten som vi till en del återkommer till i kapitel 3 och 5 (tabell 1). Dokumenten som kallas för EBA:s arbetsformer och Beslutsordning ekonomiska beslut har vissa likheter med arbetsordningen och delegationsordningen i en myndighet, men säger till exempel ingenting om expertgruppens beslutsformer eller hur EBA hanterar jäv och intressekonflikter.

Tabell 1 EBA:s interna styr- och stöddokument

Källa: EBA

Verksamhetens inriktning och utveckling

I detta kapitel beskriver och analyserar vi hur EBA har tolkat sitt uppdrag och inriktat verksamheten samt hur verksamheten och produktionen har utvecklats sedan starten. Statskontoret gör sammanfattningsvis följande iakttagelser:

• Det har tagit några år för EBA att hitta formerna för verksamheten. Efter en trög start har produktionen stadigt ökat i volym. Sedan 2016 har EBA producerat drygt tio rapporter per år i sin ordinarie rapportserie. EBA sprider rapporternas resultat vid egna seminarier och bidrar även till att förmedla forskningsresultat från nydisputerade forskare.
• Expertgruppen ser fördelar med de möjligheter som direktiven ger att producera olika typer av studier. Portföljen av studier har därför blivit variationsrik. Men besluten om vilka studier som EBA ska genomföra har i liten grad utgått från en tydlig strategi för hur kommittén ska utnyttja sitt mandat och sina resurser.
• Drygt hälften av de publicerade rapporterna i serien EBA-rapporter har varit kunskapsöversikter och syntesstudier där författarna har sammanställt och analyserat tidigare kunskap och forskningsresultat. Den typen av rapporter kompletterar det som Sida gör och bidrar också till att göra bland annat forskningsresultat mer tillgängliga för regeringen. Däremot finns en risk för att de inte bidrar med ny kunskap för regeringen eller Sida.
• Hittills har EBA gjort relativt få utvärderingar, men antalet ökar. EBA utvärderar inte enskilda biståndsprojekt utan kompletterar därmed Sida. Regeringens uttalande om att verksamheten bör vara långsiktig har också bidragit till att EBA har börjat göra några större utvärderingar och analyser än tidigare och som även gäller biståndets effekter. Inledningsvis utsåg EBA författare enbart genom direktval, men har börjat upphandla i konkurrens.
• EBA vill vara relevanta för regeringen och den svenska biståndspolitiken, men även för andra aktörer inom biståndet. De studier som pågick i mars 2018 är i de flesta fall tydligt knutna till en central aktör inom det svenska biståndet, till ett mål i regeringens policyramverk eller till en biståndsstrategi.
• Samtliga rapporter i de tre rapportserierna publiceras på EBA:s webbplats med EBA:s logotyp. Men expertgruppen kvalitetssäkrar och beslutar endast om de studier som ingår i serien EBA-rapporter. Därför kan det vara oklart vilken status rapporten har för den som läser eventuella rekommendationer från författaren till en så kallad underlagsrapport.

Verksamheten hade en trög start

Regeringen förväntade sig att Expertgruppen för biståndsanalys (EBA) snabbt skulle börja producera för att minimera glappet i verksamheten efter att SADEV avvecklades. Men det tog över ett år innan EBA publicerade den första rapporten och det har tagit ännu längre tid för kommittén att hitta sina former.

Första rapporten publicerades efter cirka 15 månader

Det tar ofta tid att starta och bygga upp en ny verksamhet. Kommitténs förra ordförande och kanslichef samt de ledamöter och den kanslipersonal som har varit med sedan starten uppger för oss att det också tog längre tid än väntat att komma igång med verksamheten och rapportproduktionen. Samtliga ledamöter i expertgruppen var förordnade från den 31 januari 2013, samma datum som direktiven började gälla. Men kansliet var inte fullt bemannat förrän i slutet av året.

I oktober 2013 beslutade expertgruppen om att inleda den första studien. Rapporten presenterades vid ett seminarium i maj 2014, det vill säga cirka 15 månader efter att kommittén började arbeta. Som jämförelse kan vi nämna att det tog Delmi knappt ett år innan de publicerade sin första rapport.

Uppbyggnadsfasen har övergått i en konsolideringsfas

De flesta som vi har talat med på EBA bedömer att kommittén har övergått från en uppbyggnadsfas till en konsolideringsfas. Det första verksamhetsåret ägnade expertgruppen sina möten åt att tolka och strukturera sitt uppdrag samt att diskutera och fastställa sina arbetsformer.^[33] Flera uppger för oss att expertgruppen inledningsvis hade svårt att enas om vilka studier EBA skulle göra. Samtidigt fanns det ett externt tryck på EBA att börja producera. Detta bidrog till att EBA till en början i hög grad arbetade utifrån att hitta lämpliga forskare som kunde skriva om ett ämne. EBA var på så sätt inspirerade av ESO:s sätt att arbeta.

Diskussionerna om uppdraget och arbetsformerna har fortsatt. EBA har övergett den initiala tanken om att bli ett bistånds-ESO och börjar hitta sina egna former för verksamheten. När regeringen ändrade EBA:s direktiv 2016 tog de också bort hänvisningen till ESO som det tidigare direktivet innehöll.

Den strategiska inriktningen på verksamheten

Expertgruppen ska enligt direktiven självständigt prioritera studieområden och teman och svara för vilka utvärderingar, analyser och studier som de ska genomföra. Med denna frihet följer att de också ansvarar för att tolka uppdraget, ange inriktning på verksamheten och använda de tilldelade resurserna på bästa sätt. Statssekreteraren har också vid möten med expertgruppen framfört att EBA bör använda sitt mandat effektivt och har pekat på vikten av att de kompletterar andra kunskapsproducenter.^[34]

EBA ser fördelar med ett brett uppdrag med många verktyg

De flesta av EBA:s ledamöter och kanslipersonal anser att kommitténs uppdrag är brett och att direktiven kan tolkas på olika sätt. Ett par av ledamöterna pekar på att expertgruppen måste utgå från de direktiv regeringen har beslutat om när de tolkar uppdraget. De anser att detta är särskilt viktigt eftersom det finns många uppfattningar bland målgrupperna om vad kommittén borde vara och göra. Däremot anser de att EBA måste vara lyhörda för UD:s synpunkter på verksamheten.

De flesta inom EBA ser inga problem med det breda uppdraget, utan anser snarare att det är bra att de har en stor ”verktygslåda” för att analysera och förmedla kunskap om det komplexa biståndsområdet. Bredden gör det möjligt att göra olika typer av studier för att svara på frågor av olika karaktär och tillgodose olika behov av kunskap. Enligt vissa innebär den valda organisationsformen också att regeringen bör lita på att de ledamöter som de har tillsatt har kompetens att bedöma vilka frågor som är relevanta att studera och hur verksamheten ska inriktas.

Långsiktig verksamhetsstrategi men ingen årsplanering

Verksamhetsstrategin är EBA:s huvudsakliga styrdokument för hur verksamheten ska inriktas. Det är där som expertgruppen samlat uttrycker hur de tolkar sina direktiv och anger riktlinjer för verksamheten och hur de ska välja ut studier. Dokumentet togs fram första gången hösten 2013. EBA räknar strategin som långsiktig men de ser också över den varje år på hösten. I verksamhetsstrategin beskriver EBA sitt uppdrag och hur de tolkar uppdraget, men bara i grova drag. Vi kan inte utläsa hur EBA mer konkret vill utforma och styra verksamheten för att nå regeringens mål.

EBA anser inte att de behöver fastställa en verksamhetsplan för det kommande året. I stället arbetar EBA utifrån en plan som uppdateras och diskuteras allt eftersom expertgruppen fattar beslut om vilka studier som de ska inleda. I två rapporter varje år ska EBA redovisa sin pågående och planerade verksamhet till regeringen. Båda rapporterna redogör för den pågående verksamheten, men blickar i övrigt främst bakåt på det senaste årets verksamhet och produktion. Höstrapporten behandlar nästan inget om EBA:s verksamhet framöver. Vårrapporten (Biståndsanalys) avslutar med ett kort avsnitt om ambitionerna framöver där EBA redogör för några tankar om inom vilka områden de kommer att vilja starta studier.

EBA vill skapa mervärde men har inte uttalat vad det består i

EBA vill att deras arbete ska ha ett tydligt mervärde för biståndets aktörer. Utgångspunkten är att inte dubblera existerande kunskap, men att de kan bidra till att sprida den. EBA:s seminarier ska ha ett kompletterande och konkurrerande perspektiv.^[35] Dessa ambitioner ligger i linje med direktiven och regeringens förväntningar om att EBA ska skapa mervärde och komplettera andra aktörer. Däremot svarar inte EBA i verksamhetsstrategin på vad de mer konkret vill att mervärdet ska bestå i. De svarar heller inte tydligt på hur de ska inrikta och avgränsa verksamheten för att uppnå sin ambition.

Prioriteringskriterier och övergripande frågor ska vägleda vid valet av studier

Flera beskriver för oss att beslutet om vilka studier EBA ska genomföra växer fram i en process (se avsnitt 5.2). Avsikten är att EBA ska förhålla sig till den beslutade verksamhetsstrategin när de väljer ut sina studier. I strategin tar EBA ställning till vilka kriterier de ska använda för att kunna prioritera mellan olika förslag till studier. De har också angett några övergripande kategorier av områden eller frågor som är viktiga för biståndet som studierna kan omfatta.

EBA har inte ändrat prioriteringskriterierna nämnvärt sedan 2014. För 2018 är de

• kunskapsuppbyggnad
• policyrelevans
• aktualitet
• betydande andel av biståndsbudgeten eller betydande effekter för biståndet
• frågor av principiell betydelse för biståndet (exempelvis etiska frågor).

Av de tio promemorior som vi har studerat och som har legat till grund för valet av en studie framgår att varje kriterium värderas på en skala 0–5 (se avsnitt 5.3.4).

Sedan 2014 ska tre övergripande frågor eller kategorier kunna vara utgångspunkt för EBA:s val av studier. Kategorierna har formulerats på lite olika sätt sedan starten. I strategin för 2018 är kategorierna

• biståndets motiv och långsiktiga inriktning
• biståndets genomförande
• biståndets prioriteringar och styrning.

Biståndets resultat ska enligt EBA integreras i de tre ovanstående kategorierna.

I strategin har EBA varje år gett exempel på några frågor som var och en av kategorierna kan inrymma och som kan vägleda när kommittén väljer ut studier. EBA uppger att frågorna är ett sätt att lyfta fram kunskapsluckor och problem i biståndet. Vi bedömer att frågorna ofta är breda och öppna, men att EBA uppfattar dem som tillräckligt preciserade. Några exempel på frågor är: Nås uppställda mål? Bidrar biståndets inriktning, prioriteringar, styrning och genomförande till önskade och avsedda resultat? Tillåter strategierna nödvändig flexibilitet för ett väl fungerande bistånd? Går det att begränsa svängningarna i det långsiktiga utvecklingsbiståndet som skapas av så kallade avräkningar från biståndsramen?

EBA har inte velat låsa sig till fasta teman

EBA har hittills inte velat låsa sina resurser till fasta teman för studierna, men har prioriterat vissa bevakningsområden och genomfört seminarier på olika teman. I sina två senaste årsrapporter redovisar EBA resultat från en del av årets studier utifrån några teman. Flera uppger i samtalen med oss att tematiken har kommit till i efterhand och att den inte har varit en medveten inriktning när de har valt studier. Kansliet ser att möjligheterna till en tematisk redovisning ökar med antalet producerade rapporter. Nya studier kan på så sätt komplettera resultat från tidigare studier.

2016 års direktiv påverkar verksamhetsstrategin först 2018

EBA:s ledamöter och kanslipersonal är i stort överens om att kommitténs tilläggsdirektiv innebär att regeringen vill att verksamheten ska ha en något snävare inriktning än vad den hade inledningsvis. Men när EBA fick sina nya direktiv i juli 2016 ansåg delar av expertgruppen att de inte innebar någon större förändring för verksamheten. Det uppger flera i våra intervjuer.

Vi bedömer att de nya direktiven inte påverkade verksamhetsstrategin på något synbart sätt förrän hösten 2017. Då beslutade expertgruppen under ledning av den nya ordföranden om inriktningen för verksamheten för 2018 och framåt. EBA ändrade skrivningarna om det övergripande målet och den primära målgruppen för verksamheten så att de bättre svarar mot direktiven.

EBA vill vara relevanta för regeringen men även för andra

Både ledamöter och kanslipersonal framhåller att de vill vara relevanta för regeringen och biståndspolitiken genom att bidra med innehållsrika analyser som förbättrar och utvecklar biståndet. De vill också vara relevanta för biståndets aktörer i bred bemärkelse. På så sätt har EBA en högre ambitionsnivå än vad direktiven kräver. Regeringen säger att EBA:s studier kan vara intressanta och relevanta för andra biståndsaktörer, men EBA säger i sin verksamhetsstrategi att de bör vara det. Expertgruppen har därför en utmaning i att ha hög vetenskaplig kvalitet i rapporterna, samtidigt som de ska vara relevanta för både regeringen och biståndsfältet i stort.

En annan förändring i verksamhetstrategin inför 2018 jämfört med tidigare är att EBA formulerar hur deras studier ska förhålla sig till regeringens styrdokument för biståndspolitiken och på vilken sikt. I verksamhetsstrategin framgår följande:

• EBA:s analyser av biståndets långsiktiga inriktning ska utgå från regeringens policyramverk för svenskt utvecklingssamarbete och humanitärt bistånd (skrivelse 2016/17:60). EBA ska samtidigt kunna ifrågasätta denna inriktning genom kritiska studier och kompletterande perspektiv.
• EBA:s analyser av biståndet på medellång och kort sikt ska utgå från regeringens strategier för biståndet och regeringens prioriteringar i budgetpropositionen.

Bland ledamöterna och kanslipersonalen framhåller flera att EBA inte är organiserade för att producera beredningsunderlag till UD:s tjänstemän. De anser att det snarare behövs en intern funktion inom Regeringskansliet för detta. Det har heller inte varit regeringens och riksdagens avsikt att EBA ska ha denna roll.

Ambition om fler utvärderingar i främst lärande syfte

Både ledamöter och kanslipersonal uppger att de vill ge utvärderingar en något större plats i portföljen, men har inte bestämt hur stor plats och vilken typ av utvärderingar EBA är bäst lämpade att utföra. Några framhåller att regeringen genom sammansättningen av expertgruppen ger signaler om att EBA fortsättningsvis ska ha en bred portfölj av studier. I expertgruppen har nämligen ledamöterna olika kompetenser. I verksamhetsstrategin för 2018 berör EBA inte alls hur de ska förhålla sig till önskemålen om mer utvärderingar och regeringens anvisningar i direktiven om ur vilka aspekter de ska bedöma biståndet (avsnitt 2.2.6).

I våra samtal med EBA framför flera att de genom sina utvärderingar och övriga studier hellre vill verka för lärande än att kräva ut ansvar. De utgår då bland annat från direktiven som säger att EBA ska bidra till utveckling. EBA anser att en lärande ansats underlättar detta. Denna ansats har även underlättat EBA:s relationer med Sida.

Kunskapsförsörjning och kunskapsförmedling

I sin senaste verksamhetsstrategi delar EBA in verksamheten i kunskapsförsörjning och kunskapsförmedling. Båda knyter an till de två huvuduppgifterna i direktiven som säger att EBA ska

• producera kunskap om biståndet genom egna studier
• göra kunskap från egna och andras studier samt forskning mer tillgänglig.

Inom ramen för de två verksamhetsgrenarna publicerar EBA rapporter i tre rapportserier samt förmedlar kunskap på olika sätt, bland annat genom seminarier. Figur 1 visar hur verksamheten förhåller sig till de två huvuduppgifterna i direktiven.

Figur 1 Huvudsakligt innehåll i EBA:s två verksamhetsgrenar och deras koppling till direktivenTabell 2 Antal EBA-rapporter, underlagsrapporter och DDB-rapporter per år 2013–2018

Källa: EBA

EBA-rapporterna utgör stommen i kunskapsförsörjningen

Kunskapsförsörjning är den största verksamhetsgrenen. Stommen i kunskapsförsörjningen är de studier som EBA låter forskare eller andra experter utföra mot ersättning och som publiceras i rapportserien EBA-rapporter. Kansliets personal har också skrivit en mindre del av rapporterna. Till och med april 2018 har EBA publicerat 39 rapporter i serien (tabell 2). EBA har därmed publicerat fler rapporter på drygt 5 år med ett lägre anslag än vad SADEV gjorde under sin verksamma tid på drygt 6 år. SADEV publicerade cirka 30 rapporter.

EBA har som mål att kunskapen genom dessa rapporter ska bidra till att utveckla Sveriges internationella bistånd när det gäller dess inriktning, styrning och genomförande. I detta ingår frågor om hur relevant biståndet är på kort, medellång och lång sikt.^[36] Kansliet uppger att studierna kan leda till förändring bland annat genom att resultaten kan användas för debatt och samtal. Vi återkommer till EBA-rapporterna och inriktningen på dem i avsnitt 3.6–3.8.

Underlagsrapporter med olika syften i en egen serie

I verksamhetsgrenen kunskapsförsörjning ingår också underlagsrapporter som EBA publicerar i en separat rapportserie. EBA har till och med april 2018 publicerat 13 underlagsrapporter (tabell 2). Kansliets personal har skrivit sådana rapporter vid några tillfällen, men främst har EBA anlitat externa författare mot ersättning. Underlagsrapporterna har formen av en promemoria eller ett arbetspapper och har olika syften.

I vissa fall är syftet att inom ramen för kansliets omvärldsbevakning kartlägga ämnen och frågor för framtida studier. Rapporterna kan också vara masteruppsatser, skrivna av studenter vid Stockholms universitet som har haft personal vid EBA:s kansli som bihandledare. Syftet kan också vara att sätta en EBA-rapport i ett svenskt sammanhang eller att sammanställa erfarenheter från ett område som underlag för en pågående diskussion. En av de senaste handlar om svenska erfarenheter av bistånd inom skatteområdet och fokuserar på Skatteverkets så kallade kapacitetsstärkande insatser. Enligt EBA var rapporten tänkt att vara ett underlag för regeringen, Sida och Skatteverket inför en skattekonferens i maj 2018. Den kan enligt EBA också vara ett underlag för Sida i myndighetens uppdrag att fördubbla stödet till kapacitetsutveckling inom skatteområdet fram till 2020.

I två fall har underlagsrapporterna varit delrapporteringar av en studie om Sidas arbete med jämställdhetsintegrering. Studien ska slutredovisas med en rapport i den ordinarie rapportserien.

EBA förmedlar sammanfattningar av nya avhandlingar

EBA vill fånga upp intressant ny forskning och göra den tillgänglig för beslutsfattare och därigenom skapa en brygga mellan akademin och politiken. I verksamhetsgrenen kunskapsförmedling ingår därför sedan 2015 en publikationsserie för nya avhandlingar om biståndsrelevanta frågor (Development Dissertation Brief, DDB). EBA har mellan 2015 och april 2018 publicerat 29 avhandlingar i serien (tabell 2).

I DDB-serien får nyligen disputerade forskare sammanfatta sina avhandlingar. Avhandlingarna behandlar ämnen som rör utvecklingssamarbete i vid mening, exempelvis korruption, medlarstilar i fredsmäkling samt hur kvinnor och barn drabbas i väpnade konflikter. EBA bedömer att så gott som samtliga av dessa avhandlingar har haft en tydlig anknytning till Sveriges utvecklingssamarbete.

Författarna är svenska eller är verksamma vid ett svenskt universitet. Kansliet identifierar relevanta avhandlingar främst genom att söka upp forskarna. DDB-serien har blivit mer känd på universiteten, vilket gör att forskare själva anmäler sitt intresse för att bli publicerade. EBA bekostar tryck, seminarier och eventuella resor, men författarna får ingen ersättning för sin insats.

Förmedling av kunskap på seminarier och på webbplatsen

EBA lägger stor vikt vid att sprida och kommunicera resultaten från studierna i serien EBA-rapporter både brett och till rätt målgrupper. Varje rapport lanseras och diskuteras på ett öppet seminarium som EBA arrangerar. Oftast presenterar de varje rapport för sig, men ibland för de samman två eller flera rapporter under ett tema. EBA har till och med april 2018 arrangerat 32 rapportseminarier.

Kansliets ambition är att EBA inte ska vara en passiv förläggare, utan aktivt bidra till att rapporten ”hålls levande” efter publicering och att sätta in resultaten i ett större sammanhang. EBA arrangerar öppna seminarier även för avhandlingarna i DDB-serien för att diskutera akademiska resultat i en icke-akademisk miljö. Oftast presenterar de avhandlingar med liknande tema tillsammans. EBA har arrangerat 9 sådana seminarier till och med april 2018.

EBA:s webbplats är en annan kanal för att sprida information. EBA vill använda webbplatsen för att synas och för att nå relevanta målgrupper, både de som vill ta del av rapporterna samt forskare och experter som skulle kunna anlitas för att skriva rapporter. En del seminarier filmas och läggs upp som podcaster eller ”rAIDio”. EBA ger också ut ett nyhetsbrev, twittrar och bloggar. Rapportförfattarna skriver ibland debattartiklar utifrån sin EBA-rapport. Expertgruppen skriver inga debattartiklar, men det förekommer att enskilda ledamöter och kansliets personal gör det. I maj 2018 skrev en ledamot och kanslichefen en debattartikel tillsammans med en författare till en rapport.^[37]

Rapporternas status och språk

Expertgruppen ska säkerställa kvaliteten i analys- och utvärderingsverksamheten och besluta om att godkänna rapporterna för publicering (avsnitt 2.5.1). Vi konstaterar att expertgruppen inte beslutar om rapporter i två rapportserier som EBA publicerar i kommitténs namn. De rapporter som EBA publicerar är oftast skrivna på engelska, ibland utan sammanfattning på svenska. Detta ligger varken i linje med direktiven eller språklagens intentioner.

Expertgruppen beslutar endast om EBA-rapporterna

Alla rapporter i de tre serierna ges ut i kommitténs namn och med EBA:s logotyp på omslaget. Men expertgruppen kvalitetssäkrar endast studierna i serien EBA-rapporter och det är bara dem som expertgruppen beslutar om de ska publiceras eller inte. Det är kanslichefen som beslutar om publicering av underlagsrapporterna och DDB-rapporterna.

Denna beslutsordning är inte reglerad i EBA:s interna styrdokument, men förklaras av att ordföranden har delegerat beslutsrätt till kanslichefen om kostnader upp till 50 000 kronor.^[38] De externa kostnaderna för rapporterna i båda serierna understiger oftast detta belopp. Det innebär också att kanslichefen ansvarar för kvaliteten i underlagsrapporterna innan de publiceras på webbplatsen.

Oklarheter kan uppstå om vad expertgruppen beslutat om

Våra samtal med ledamöterna visar att de inte närmare har diskuterat vad delegationen av beslutsrätten kan innebära för hur mottagaren uppfattar underlagsrapporternas status. Ett par ledamöter anser att läsarna kan uppfatta att alla rapporter som har EBA som avsändare har kvalitetssäkrats och beslutats av expertgruppen, vilket inte är fallet.

I två rapporter från april 2018 lämnar författaren rekommendationer till Skatteverket och Sida respektive till UD, Sida och Folke Bernadotteakademin.^[39] För mottagaren kan det vara viktigt att veta om underlaget som rekommendationerna grundar sig på har prövats av expertgruppen. EBA har under försommaren 2018 börjat lägga in en text i underlagsrapporterna om att rapporten inte har beslutats av expertgruppen och att författaren själv står för innehåll, slutsatser och rekommendationer.

De två delrapporterna vi nämnde i avsnitt 3.3.2 om Sidas arbete med jämställdhetsintegrering har getts ut i serien underlagsrapporter, men följer den kvalitetssäkringsprocess som alla rapporter i den ordinarie rapportserien omfattas av (se avsnitt 5.4). Expertgruppen har enligt mötesprotokollen blivit informerad om resultaten, men har formellt inte beslutat om publiceringen. Tjänstemän på Sida uppger i våra intervjuer att de är osäkra på vilken status som delrapporterna har.

De flesta av EBA:s rapporter är skrivna på engelska

Drygt 90 procent av de publicerade rapporterna i de tre serierna är skrivna på engelska. Det förekommer också att beskrivningen av rapporterna på EBA:s webbplats enbart är på engelska. Som jämförelse är de allra flesta rapporter från ESO och Delmi skrivna på svenska, med en sammanfattning på både svenska och engelska.

Kansliet uppger att kommittén har tolkat direktiven som att de ska skriva det mesta på engelska, med undantag för den årliga rapporteringen till regeringen och UD. EBA gör därmed en annan tolkning än den vi och Språkrådet gör av direktiven (avsnitt 2.4.5). Kansliet uppger att EBA använder svenska endast om det finns särskilda skäl som talar för att begränsa samtalet om resultaten till en svensk publik eller säkerställa att alla svenska intressenter ska kunna ta del av hela innehållet.

Av de hittills 39 studierna i serien EBA-rapporter är 5 skrivna på svenska. 38 har en sammanfattning av innehållet på både svenska och engelska. Rapporten utan svensk sammanfattning är en studie som EBA har låtit genomföra tillsammans med den tyska utvärderingsmyndigheten DEval.^[40] Det kan förklara att den inte har en svensk sammanfattning.

Av de 13 underlagsrapporterna är 11 skrivna på engelska. De på engelska innehåller ingen sammanfattning på svenska, trots att rapporterna i flera fall är skrivna av svenska författare och även riktar sig till svenska myndigheter. Av 29 DDB-rapporter är 27 skrivna på engelska och de saknar en sammanfattning på svenska. Även i detta fall är de flesta svenska författare. I de här fallen når EBA inte upp till de minimikrav om utförliga sammanfattningar på svenska som Språkrådet hänvisar till när det gäller hur akademiska avhandlingar ska följa språklagen.^[41]

EBA hänvisar till att de för kvaliteten i sin verksamhet behöver kunna anlita författare, deltagare till referensgrupper och paneldiskussioner vid seminarierna från andra länder. De behöver också ha ett utbyte med bland annat andra givarländer och deras utvärderingsorganisationer. EBA:s verksamhet skulle därför blir svårare att genomföra om kommittén inte kunde ge ut sina rapporter på engelska och använda engelska i sin övriga kommunikation.

De som är verksamma inom bistånd har ofta engelska som arbetsspråk. För dem är språkvalet oftast inget problem om innehållet i övrigt är begripligt. Däremot kan språkvalet vara ett hinder för utomstående att få insyn i verksamheten.

Hur EBA använder sina resurser

EBA ska utvärdera och analysera ett stort och komplext politikområde. Statssekreteraren framför i samtal med oss att det därför är viktigt att EBA använder sina resurser effektivt. Men vi konstaterar att formen för EBA:s ekonomiska redovisning och att de inte redovisar sina resultat begränsar möjligheterna att analysera hur kommittén använder sina resurser.

Bättre förutsättningar framöver att använda hela budgeten

Anslaget till EBA för 2018 är 17,7 miljoner kronor. Med sparade medel från föregående år har de en budget på 18,2 miljoner kronor. Varje år sedan starten har EBA använt mindre pengar än vad regeringen har tilldelat kommittén. Detta förklarar EBA med att de bland annat har varit försiktiga med att binda upp sig vid längre och större projekt eftersom det har varit oklart hur långsiktig verksamheten kommer att vara.

Tabell 3 Expertgruppens tilldelade och använda medel 2013–2018, tusen kronor

Källa: EBA och regleringsbrev för budgetåren 2013–2018 avseende anslag 1:6 (anslag 99:1 år 2013).

Men sedan hösten 2016 har EBA bättre förutsättningar att planera långsiktigt och utnyttja hela budgeten, efter regeringens uttalande om att verksamheten bör ses som långsiktig. I budgetpropositionen för 2018 motiverar regeringen att anslaget höjs med 1 miljon kronor för 2018 med att EBA ska kunna öka sin kapacitet att göra analyser och utvärderingar.

Verksamhetsstrategin har ingen koppling till budgeten

EBA har inte kopplat verksamhetens inriktning till de tilldelade resurserna i sin verksamhetsstrategi. Det innebär att EBA inte har konkretiserat hur resurserna ska fördelas exempelvis per verksamhetsgren och olika typer av studier eller rapportserier. De har inte heller konkretiserat hur mycket kansliresurser som ska avsättas för att exempelvis skriva egna rapporter i förhållande till andra insatser. Strategin beskriver inte heller hur de vill använda sina samlade ekonomiska och personella resurser för att uppnå bästa möjliga resultat.

Studierna tar stor del av resurserna men oklart hur mycket

Enligt EBA:s kansli tar studierna i serien EBA-rapporter en stor del av kommitténs ekonomiska och personella resurser i anspråk. Dessa studier kräver mest tid av både kansliet och expertgruppen och har även de största externa kostnaderna i form av bland annat ersättning till författarna. Men den ekonomiska redovisningen visar inte hur stor del av resurserna som EBA använder för dessa studier, varken totalt eller var för sig.

Regeringen ställer inte samma krav på den ekonomiska redovisningen för kommittéer som den gör för förvaltningsmyndigheter. EBA:s budget sätts i dialog med UD och utfallet redovisas per budget- eller kostnadspost. EBA:s årsrapport Biståndsanalys behöver inte ha en resultatredovisning som kan jämföras med årsredovisningen för en myndighet, där kostnader fördelas och redovisas för prestationer.

Löner och ersättningar till författare är de största kostnadsposterna

När EBA gör sin budget för verksamheten utgår de från ett antal kostnadsposter. De redovisar också det ekonomiska utfallet för dessa poster. De största kostnadsposterna 2017 var löner och sociala avgifter för kanslipersonalen (5,7 miljoner kronor), ersättningar till externa författare och uppdragstagare (3,7 miljoner kronor) och kostnader för arbetsplatserna i kommittélokalerna (2,1 miljoner kronor). Andra större poster var seminarier (592 000 kronor) och arvoden till ledamöter och referenspersoner (534 000 kronor).

Kostnadsredovisningen behöver vara mer utförlig för att det ska vara möjligt att beräkna hur kommitténs totala kostnader fördelar sig på olika verksamheter, rapportserier eller projekt. Detta skulle i sin tur kräva att kanslipersonalen redovisar hur de använder sin tid, eftersom löner är den största kostnaden.

Olika karaktär på studierna i serien EBA-rapporter

EBA:s portfölj av studier är variationsrik. Många studier är kartläggningar, kunskapsöversikter och syntesstudier gjorda av externa forskare som främst har sammanställt och analyserat tidigare forskning och utvärderingar. EBA har hittills gjort få utvärderingar, men antalet ökar. Detta framgår av vår översiktliga kartläggning av de 37 rapporter som EBA till och med 2017 har publicerat i serien EBA-rapporter samt de 15 studier i serien som pågick i mars 2018.

En variation av studier i EBA:s portfölj

EBA har sedan starten producerat olika typer av studier och som behandlar många ämnen inom biståndet. Kommitténs portfölj innehåller exempelvis en kartläggning av Sveriges finansiering av FN:s fonder och program, en analys av hur djurhälsan påverkar fattigdomsreducering, en systemanalys av politiken för global utveckling, en utvärdering av biståndsprocesser i Uganda och en syntesstudie av effekter av statliga antidiskrimineringsåtgärder. I portföljen finns också några metodstudier och en kritisk essä om biståndets enprocentsmål. Det finns med andra ord inte något typiskt kännetecken för en EBA-studie.

Produktionen speglar att biståndsområdet är omfattande och kan analyseras på många sätt. Den speglar också att forskningsfälten är breda med olika teoretiska utgångspunkter och metodologiska angreppssätt. Den variationsrika produktionen är också ett resultat av att EBA:s uppdrag ger utrymme för olika typer av studier och att expertgruppen har velat utnyttja hela verktygslådan. I sin verksamhetsstrategi för 2018 förhåller sig EBA också öppna till vilken typ av studier de ska göra. EBA vill att frågornas innehåll ska avgöra om det blir en utvärdering, analys, syntesstudie, kartläggning, kunskapsöversikt eller någon annan typ av studie.

Främst kunskapsöversikter och syntesstudier

Baserat på kansliets underlag är mer än hälften (20) av de 37 publicerade rapporterna kunskapsöversikter, kunskapssammanställningar, kartläggningar eller syntesstudier. Det innebär att författaren har sammanställt tidigare kunskap och ofta kompletterat med en analys som i vissa fall utmynnar i rekommendationer. Av de pågående studierna i mars 2018 är ungefär en tredjedel av liknande slag, alltså en något mindre andel. Men många studier har flera etiketter. En studie kan exempelvis vara en kombination av en kartläggning och kunskapsöversikt eller en forskningsstudie med utvärderande och granskande drag.

Några ledamöter bedömer att EBA genom kunskapsöversikter och syntesstudier lyfter blicken och belyser biståndet på systemnivå. De menar att EBA har haft en kompletterande funktion eftersom Sida inte genomför den här typen av studier.

Ett fåtal studier är av typen metodguider som riktar sig till utvärderare eller beställare av utvärderingar. Andra typer av studier kan vara teoretiska tillämpningar av modeller, analyser ur ett längre historiskt perspektiv och följeforskning.

Relativt få utvärderingar har genomförts hittills

Kansliet räknar 7 av de 37 publicerade rapporterna som utvärderingar. Av de 7 beskriver kansliet ett par rapporter som landutvärderingar. Övriga har drag av utvärdering eller är sammanställningar av tidigare utvärderingar.

Enligt kansliet väckte expertgruppen tidigt tanken om att göra landstudier eller landutvärderingar, eftersom svenskt bistånd i hög grad karaktäriseras av långvarigt stöd till enskilda länder. År 2016 publicerade EBA två landutvärderingar som ett resultat av en utlysning. Utlysningen specificerade att studien skulle vara en utvärdering av Sveriges långsiktiga utvecklingssamarbete med ett land. EBA lät författarna föreslå land samt modell och metod för utvärderingen. De båda studierna är därför utformade och angriper problemet på olika sätt.^[42] Exempelvis beskrivs landutvärderingen av Uganda som en övning i modellbyggande kombinerad med en studie av hur interna faktorer har påverkat biståndseffektiviteten.^[43] Landutvärderingen av Tanzania tar ett femtioårigt perspektiv på det svenska utvecklingssamarbetet med landet för att svara på frågan om de svenska biståndsmedlen har bidragit till att minska fattigdomen.^[44]

Antalet utvärderingar kommer att öka något

Ledamöter som har suttit i expertgruppen en längre tid uppger att det fanns små förutsättningar att göra utvärderingar så länge ESO stod som förebild för hur expertgruppen skulle arbeta. Sedan direktivet förändrades arbetar EBA för att få in mer utvärdering i verksamheten, även om det inte är en uttalad ambition i kommitténs verksamhetsstrategi.

Av de femton studier som pågick i mars 2018 har kansliet betecknat fem som utvärderingar. Av dessa har kansliet betecknat tre som effektutvärderingar och en som lärandeutvärdering. Två av dessa studier betecknas också som landutvärderingar och omfattar Sveriges långsiktiga utvecklingssamarbete med Kambodja och Bosnien-Hercegovina. Kansliet kallar den om Kambodja för lärandeutvärdering medan den om Bosnien-Hercegovina kallas för effektutvärdering. Studien om Swedfunds investeringar i hållbart företagande kallas också för effektutvärdering, liksom en studie om de långsiktiga ekonomiska utvecklingseffekterna i Kambodja av ett program inom infrastruktur och lokal demokrati.

De tre utvärderingar som har inletts efter att regeringen förändrade EBA:s direktiv fokuserar enligt kansliet på det svenska biståndets effekter och kostnadseffektivitet.

Författarna är oftast externa och har forskarbakgrund

EBA anlitar i huvudsak externa författare till rapporterna i serien EBA-rapporter, oftast forskare vid ett universitet. EBA anlitar i viss mån också andra experter från bland annat tankesmedjor, konsultbolag, forskningsinstitut och civilsamhällets organisationer.^[45] Några rapporter har skrivits av kansliets personal. För närvarande genomför även en av expertgruppens ledamöter en studie.

Vår kartläggning visar att ungefär hälften av rapporterna har skrivits av en ensam författare och att övriga rapporter har skrivits av team med mellan två och sju författare. Nästan alla av författarna (96 procent) är från Västeuropa, USA eller Australien. En tredjedel av författarna är från Sverige. Vissa expertgruppsledamöter ser gärna att EBA framöver ska försöka anlita författare även från samarbetsländerna.

En allt jämnare könsfördelning bland författarna

EBA strävar efter att få en jämn könsfördelning bland både författare och deltagare i referensgrupper och paneldiskussioner. Deras kartläggning från hösten 2017 visar att det var en större andel män än kvinnor bland både författare till EBA-rapporter och deltagare i referensgrupper. I referensgrupperna var könsfördelningen jämnare än bland författarna. Bland författarna dominerade männen stort både 2014 och 2015 (89 procent respektive 70 procent). Skillnaderna har därefter utjämnats och låg 2016 och 2017 inom det så kallade jämställdhetsintervallet (60/40).^[46]

Könsfördelningen bland författarna har därefter utjämnats ytterligare. Könsfördelningen är 50/50 för de studier som pågick i mars 2018.

Hälften av rapporterna har ett jämställdhetsperspektiv

Kansliets sammanställning visar att det finns ett jämställdhetsperspektiv i ungefär hälften av de publicerade och de rapporter som pågick i mars 2018. I en dryg fjärdedel av rapporterna är jämställdhetsperspektivet tydligt eller till och med i fokus för studien. I exempelvis det pågående följeforskningsprojektet analyserar EBA jämställdhetsperspektivet i det svenska bilaterala biståndet genom Sida.

En femtedel av rapporterna har ett begränsat jämställdhetsperspektiv, till exempel i form av könsuppdelad statistik eller att rekommendationerna lyfter fram ett köns- eller jämställdhetsperspektiv. Bland de pågående studierna verkar en något större andel ha ett jämställdhetsperspektiv än de tidigare publicerade rapporterna. I avtalen med författarna finns det däremot inget angivet om att de ska använda ett jämställdhetsperspektiv.

Jämställdhetsfrämjande insatser står för en betydande del av biståndsbudgeten. Därför har kansliet under flera år bevakat jämställdhetsfrågor. Kansliet hoppas att bevakningen kan generera idéer till nya studier.

Studiernas omfattning i pengar och tid

EBA har länge velat hålla sig under gränsen för direktupphandling. Det har styrt nivån på ersättningen till författarna, men också valet av författare. De pågående studierna är till en del både dyrare och har längre genomförandetid än tidigare.

Direktupphandlingsgränsen har styrt ersättningsnivån

De författare som skriver för EBA får betalt för den arbetsinsats som EBA beräknar att de behöver för att svara på undersökningsfrågan och därför varierar ersättningen (tabell 4). Gränsen för direktupphandling enligt lagen (2016:1145) om offentlig upphandling (LOU) har länge också styrt hur stor ersättning som EBA maximalt vill betala till de anlitade författarna. De första åren ville EBA hålla sig under denna gräns, bland annat för att snabbt komma igång och producera. Gränsen för direktupphandling var exempelvis 505 800 kronor mellan juli 2014 och december 2015 och det påverkade de studier som inleddes under denna period.^[47]

I fyra av de tio studier som vi har studerat närmare har kansliet i sin förslagspromemoria till expertgruppen angett en budget på högst 500 000 kr. Det gäller studierna om Swedfunds investeringar, Sidas arbete med jämställdhetsintegrering, FN:s fonder och program samt biståndet till Tanzania. När det gäller studien om FN:s program och fonder angav de som lade fram förslaget till studien en budget på 550 000 kronor. Men kansliet föreslog att ersättningen skulle förhandlas ned till 500 000 kronor.

Valet av studier och författare påverkas av ersättningsnivån

EBA:s val att hålla sig under gränsen för direktupphandling har i vissa fall påverkat hur omfattande eller djupa studier EBA har kunnat göra och vilken typ av författare de har kunnat anlita. EBA har kunnat hålla nere ersättningen genom att anlita forskare eller experter som redan har god kunskap i en fråga eller på ett område, eller kanske själva håller på att forska inom området. Ersättningsnivåerna skulle sannolikt ha blivit högre om EBA hade anlitat exempelvis utvärderingskonsulter eller velat ta fram ny kunskap inom ett outforskat område. EBA uppger att om kommittén hade anlitat utvärderingskonsulter hade de sannolikt fått annorlunda studier till en högre kostnad eller med lägre kvalitet.

Fler något dyrare och större studier pågår

EBA har börjat tillämpa utlysningar eller upphandlingsliknande förfaranden för vissa studier och genomför även några dyrare studier under något längre tid än tidigare. Förutsättningarna för detta har ökat genom regeringens uttalande om att verksamheten bör vara långsiktig, men också för att volymen på produktionen inte är i lika stort fokus för EBA som när kommittén startade.

Tabell 4 Utbetald ersättning i kronor per studie till externa författare för publicerade rapporter 2014–2017 och avtalad ersättning för pågående studier i mars 2018

Källa: EBA, Statskontorets bearbetning

Rapporter skrivna av kansliets personal ingår inte. För rapporter med arvoden i annan valuta än svenska kronor har vi räknat om beloppet enligt den valutakurs som gällde när rapporten publicerades (den tredje utbetalningen). Beloppen är avrundade till jämna tusental kronor. Bland de i mars pågående studierna är den rapport som EBA har gjort tillsammans med den tyska utvärderingsorganisationen DEval inte medräknad.

Ersättningen till författarna under hela perioden 2014–2017 har varierat mellan 90 000 och 700 000 kronor, exklusive moms (tabell 4). Under samma period låg den genomsnittliga ersättningen (median) mellan 185 000 och 297 000 kronor. För de studier som pågick i mars 2018 är den avtalade ersättningen i genomsnitt 525 000 kronor. För tre av dessa studier kommer ersättningen att bli runt 1 miljon kronor. Ett exempel är den pågående utvärderingen av Sveriges utvecklingssamarbete med Bosnien-Hercegovina där den avtalade ersättningen till författarna är 965 000 kronor, nära dubbelt så stor som ersättningen för utvärderingen av utvecklingssamarbetet med Tanzania från 2016. För den pågående utvärderingen av utvecklingssamarbetet med Kambodja uppger EBA:s kansli att ersättningen blir cirka 1,2 miljoner kronor. Detta innebär att författarna får bättre förutsättningar för att göra gedigna landutvärderingar. Flera av de som vi har talat med bedömer att de något större studierna gör att EBA kan bli mer komplementära och relevanta.

Studierna har tagit i genomsnitt 10 månader att genomföra

Det har tagit i genomsnitt 10 månader (median) att genomföra de studier som EBA har publicerat 2015–2017 jämfört med 7 månader under 2014. Tidsåtgången har vi beräknat från det datum EBA tecknade kontrakt med författaren till det datum då expertgruppen beslutade att godkänna rapporten för publicering. Tiden för urval och planering samt förberedelser inför publicering och seminarium ingår alltså inte i måttet.

Tidsåtgången varierar mellan 5 och 17 månader, bland annat på grund av hur stor studien är (tabell 5). Tiden har ökat något över tid och speglar att EBA gjorde mindre omfattande studier i början för att få igång produktionen. För de studier som pågick i mars 2018 beräknar EBA tidsåtgången till i genomsnitt omkring 15 månader.

Tabell 5 Tidsåtgång i månader för studier publicerade 2014–2017 och andel rapporter som var fördröjda i förhållande till ursprunglig plan

Källa: EBA, Statskontorets bearbetning

Tidsåtgången har beräknats som antal månader från det datum EBA skrev kontrakt med författaren till det datum då expertgruppen fattade beslut om att godkänna rapporten för publicering.

Många studier tar längre tid än planerat

Ett stort antal av EBA:s rapporter har tagit längre tid att producera än vad som var planerat (tabell 5). Under 2016–2017 tog 19 av 23 rapporter längre tid att genomföra än planerat. Fördröjningen var i genomsnitt tre månader. Enligt EBA:s kansli beror det på att kvaliteten är viktigast. Författaren kan få längre tid på sig än avtalat om författaren och den ledamot som är ansvarig för referensgruppen har kommit överens om det. Detta framgår av avtalen med författarna. Konsekvenserna av en fördröjning skulle i värsta fall kunna innebära att rapporten inte blir klar i tid för att kunna ligga till grund för en berednings- och beslutsprocess i UD, eller förlora aktualitet på annat sätt.

Det finns olika förklaringar till fördröjningen. Exempelvis tog utvärderingen av Swedfund lite drygt 2 år att genomföra i stället för 9 månader som beräknat. Förseningen berodde på att det tog betydligt längre tid än beräknat för författarna att få tillgång till data. Det kan också uppstå fördröjningar om det finns problem med rapportens kvalitet.

Studiernas anknytning till biståndspolitiken

På ett mer allmänt plan anknyter alla EBA:s studier till biståndspolitiken, men de är också tänkta att vara relevanta för fler målgrupper än regeringen. Kopplingen till regeringens politik eller en svensk biståndsaktör har blivit tydligare i den pågående produktionen.

Studierna kopplas oftast till biståndets inriktning eller motiv

I EBA:s verksamhetsstrategi ska studierna kunna utgå från tre övergripande kategorier eller frågor av vikt för biståndet (avsnitt 3.2.4). Kansliet anger i sitt underlag till oss om alla publicerade och pågående studier hur studien knyter an till någon av de tre kategorierna. I många fall har studierna kopplats till fler än en kategori. Det väcker frågor om hur styrande kategorierna har varit för valet.

De allra flesta av EBA:s publicerade studier faller in under kategorin biståndets inriktning eller motiv. Av de 37 publicerade rapporterna till och med 2017 räknar EBA 27 till denna kategori, antingen som enda kategori eller tillsammans med någon annan.

EBA:s studier är relevanta för biståndspolitiken på något sätt

EBA redovisar i underlaget till oss på vilket sätt deras rapporter och pågående studier knyter an till Sveriges utvecklingssamarbete. Alla EBA:s studier har i någon mån en koppling till biståndspolitiken, men de behöver inte alltid ha som syfte att vara relevanta för regeringens politik på ett mer direkt sätt.

Ledamöter och kanslipersonal framhåller i samtalen med oss att rapporterna kan vara relevanta på olika sätt och på olika lång sikt. En del rapporter kan utgöra ett underlag i en aktuell beslutsprocess. Andra rapporter väcker nya frågor om eller bidrar med nya perspektiv på politiken och kan kanske på sikt påverka politikens utformning och inriktning. Vissa kan också användas som underlag för debatt som därigenom kan påverka politiken eller verksamheten. Studierna ska enligt EBA också bidra till att successivt bygga upp en bas av kunskap. Kunskapsbygget hör ihop med det mål för verksamheten som regeringen angav i de första direktiven till EBA, det vill säga att bygga upp en långsiktig kunskapsbas (avsnitt 2.4.1).

Anknytningen till den svenska biståndspolitiken kan vara mer uttalad, som exempelvis i studien om Sveriges bistånd till Tanzania.^[48] Ämnet för studien kan också ha en mer indirekt koppling och belysa ett område som för närvarande inte är prioriterat eller tillräckligt uppmärksammat i svenskt bistånd, exempelvis utbildningsbistånd eller djurhälsans betydelse för att minska fattigdom.^[49] Rapporten om lokalt fredsbyggande valdes utifrån motivet att freds- och statsbyggande är högt prioriterat av regeringen.^[50] Däremot bedömde EBA att rapporten om metoden Qualitative Comparative Analysis (QCA) inte var relevant för regeringens politik.^[51] Här var målgruppen snarare utvärderare eller beställare av utvärderingar.

Ofta finns en anknytning till styrdokument eller någon svensk aktör

Ibland har studierna en allmän eller ospecificerad anknytning till regeringens styrdokument för biståndet, vilket vi kan utläsa av EBA:s underlag. Det gäller exempelvis regeringens biståndspolitiska plattform eller policyramverk, politiken för global utveckling och biståndsbudgeten. Ibland har de en tydligare anknytning till specifika styrdokument som strategier och handlingsplaner eller till frågor som regeringen prioriterar eller kommer att prioritera. Vi har svårt att utifrån EBA:s underlag utläsa i vilken utsträckning varje studie fokuserar på det svenska biståndet.

Underlagen från EBA om de studier som pågick i mars 2018 visar att studien i de flesta fall har en tydlig anknytning till Sveriges utvecklingssamarbete, vilket tyder på att EBA nu lägger större vikt vid detta. Ungefär två tredjedelar anknyter antingen till ett mål i regeringens policyramverk, till en angiven strategi eller till en central aktör inom det svenska biståndet, exempelvis Sida eller Swedfund.

I en del av underlagspromemoriorna till de tio studier vi har studerat närmare ser vi också att EBA har identifierat en pågående process hos någon av målgrupperna där den kommande rapporten kan komma att fylla en funktion.

EBA:s studier är ofta tänkta att rikta sig till flera målgrupper

När EBA har startat sina studier har de ofta tänkt sig att de ska vara relevanta för flera målgrupper. Den tänkta målgruppen är relativt bred för de flesta av både de publicerade rapporterna och de pågående studierna. Men vanligtvis har UD och Sida pekats ut som de två främsta målgrupperna. I vissa fall preciserar EBA vilken eller vilka enheter eller funktioner inom UD och Sida som de ser som mottagare av resultaten.

Utöver UD och Sida anger EBA ofta en eller flera andra mer eller mindre preciserade tänkta målgrupper eller intressenter. Beroende på studie kan det vara civilsamhällets organisationer, andra namngivna myndigheter eller departement, andra givarländer, samhällsdebattörer, forskare, politiska partier eller unga personer.

EBA arbetar mer aktivt med att identifiera rätt målgrupp och rätt personer till referensgrupper efter att studien har påbörjats. Inför lanseringen väljer kansliet noga ut de personer som ska delta vid seminarierna. Ungefär 25 tryckta exemplar av rapporten skickas också ut till identifierade tilltänkta användare.

Rapporterna innehåller sällan konkreta rekommendationer

De författare som EBA anlitar står självständigt för rapportens innehåll, analys, slutsatser och eventuella rekommendationer. Det gäller även om en ledamot skriver en rapport. Men när kansliets personal skriver en rapport står EBA för analysen och slutsatserna.^[52] För en läsare behöver inte detta vara självklart.

Rapporterna utmynnar ibland i rekommendationer, men de är sällan konkreta. Enligt EBA är det i regel svårt att få forskare att skriva rekommendationer till beslutsfattare. EBA har också uppfattat att regeringen och UD som regel inte heller efterfrågar rekommendationer. Enligt våra samtal med UD är det viktigast att studierna är väl genomförda och tydligt knyter an till svensk biståndspolitik, eller helst handlar om det svenska biståndet. Sen är det upp till UD och regeringen att utifrån analysen och slutsatserna bedöma om de behöver förändra politiken eller styrningen av verksamheten.

EBA drar sällan egna slutsatser eller ger rekommendationer

Det finns inget som hindrar ledamöterna i expertgruppen från att gemensamt eller enskilt uttala sig i de biståndspolitiska frågor som de tycker är angelägna. Det skulle exempelvis kunna handla om att på ett tydligt sätt ställa sig bakom slutsatser i de rapporter som EBA har publicerat, eller lämna egna rekommendationer till regeringen utifrån dem. Expertgruppen har här valt en lågmäld linje och är generellt försiktiga med att ta ställning och att uttala sig. Ledamöterna ser egentligen inga hinder mot att rikta kritik mot exempelvis regeringens politik eller lämna rekommendationer till regeringen, men ser det inte som en viktig uppgift.

Expertgruppen använder inte heller sin årliga rapport Biståndsanalys i någon större utsträckning för att förmedla sin samlade uppfattning. Expertgruppens sammansättning kan också göra det svårt att enas om en gemensam ståndpunkt. Ledamöterna ser i stället att de genom valet av studier, resultat eller teman som ska ingå i årsrapporten ger uttryck för vad de gemensamt tycker är viktigt att lyfta fram. I övrigt uttalar sig expertgruppen i årsrapporten främst när det gäller vilka frågor och områden de ser som relevanta eller intressanta för kommande studier.

Vid ett fåtal tillfällen har expertgruppen i Biståndsanalys uttalat sig om vad de tycker är viktigt framöver. Sådana uttalanden hör alltid ihop med någon rapport som EBA har publicerat. Uttalandet kan då rikta sig direkt till regeringen, men det kan också vara underförstått eller ibland oklart vem uttalandet eller rekommendationen riktar sig till. Ett exempel på detta är rekommendationen att det ”utifrån ett PGU-perspektiv bör inledas en översyn av det svenska forskningsbiståndet för framtiden”. Ibland är det också svårt att avgöra om det är författaren eller EBA som uttalar sig. Det gäller exempelvis uttalandet att ”den globala djurhälsan förtjänar större uppmärksamhet både inom biståndet och inom samverkande områden”.

EBA har själva noterat att journalister och andra som tar del av EBA:s rapporter inte alltid är införstådda med att det är författarna och inte expertgruppen som drar vissa slutsatser. I Biståndsanalys 2017 skriver den tidigare ordföranden i sitt förord att EBA kan bli bättre på att förklara vad de menar med det dubbla oberoendet.

Synpunkter på kvaliteten i EBA:s rapporter och seminarier

I detta kapitel redovisar vi de synpunkter på EBA:s rapporter och seminarier som vi har tagit emot i intervjuer med företrädare för UD, Sida och Swedfund. UD och Sida är EBA:s främsta målgrupper. Synpunkterna gäller rapporternas och seminariernas kvalitet och relevans samt EBA:s arbetssätt. Statskontoret gör sammanfattningsvis följande iakttagelser:

• Målgrupperna uppfattar att EBA fortfarande famlar i sin roll som utvärderings- och analysfunktion och att kommittén behöver ta ett fastare grepp om sin strategiska inriktning.
• UD bedömer att EBA:s verksamhet utvecklas åt rätt håll i förhållande till de nya direktiven och regeringens förväntningar. EBA börjar göra fler utvärderingar och har blivit mer uppmärksamma på regeringens behov. UD ser inga direkta överlappningar i förhållande till Sida och bedömer även att det svenska perspektivet i rapporterna har stärkts.
• Många anser att EBA:s rapporter ofta är intressanta och att ämnesvalen är relevanta. De anser att seminarierna är välarrangerade och ibland intressantare än rapporterna. Men hittills har EBA:s rapporter inte påverkat regeringens politik direkt eller fått någon avgörande betydelse för Sidas sätt att arbeta. Det visar att rapporterna inte heller har varit tillräckligt relevanta och praktiskt användbara för de viktigaste målgrupperna.
• En del av EBA:s rapporter kan ha varit nyttiga på andra sätt, exempelvis som kunskapsunderlag, för debatt, eller för att bekräfta inriktningen på politiken och redan tagna initiativ. Vissa rapporter har också satt fokus på ett ämne som tidigare inte har varit så uppmärksammat i det svenska biståndet.
• Målgrupperna anser att rapporternas vetenskapliga kvalitet och läsbarhet varierar och att faktakontrollen ibland borde ha varit bättre. Brister i kvalitet och relevans kan bland annat bero på att författaren har fått dåliga förutsättningar att analysera en komplex fråga, eller inte varit tillräckligt insatt i hur det svenska biståndet styrs och genomförs eller hur Sida arbetar.
• Det är viktigt för framför allt UD att rapporten bidrar med ny kunskap eller tajmar en beslutsprocess för att den ska uppfattas som relevant och komma till användning. Det är också viktigt att författaren är insatt i det svenska biståndet.
• Målgrupperna anser att det är viktigt att EBA tolkar, paketerar och kommunicerar resultaten på ett lämpligt sätt till rätt mottagare. EBA kan behöva pröva andra sätt än seminarier för att nå UD:s tjänstemän. Men många anser att det är viktigare att EBA får in de tänkta användarna och mottagarna av resultaten tidigt i processen eller i referensgruppen. De bedömer att en tidig dialog ökar förutsättningarna för att rapporten ska bli relevant och tas emot väl i målgruppen.

Statskontorets och EBA:s målgruppsundersökning

Statskontoret har under våren 2018 undersökt hur ett urval av EBA:s centrala målgrupper uppfattar kvaliteten i kommitténs rapporter och seminarier, med fokus på produktionen sedan 2016. Redovisningen bygger på samtliga intervjuer vi har gjort med företrädare för UD och Sida samt en intervju med Swedfund. En del av intervjuerna utgår från de tio studier som vi har studerat närmare (se avsnitt 1.4.3 och bilaga 2). Vårt uppdrag omfattar inte att själva granska och bedöma kvaliteten i EBA:s rapporter (se avsnitt 1.3). Vår undersökning kompletterar EBA:s undersökning från 2016. I den undersökningen ställde kansliet frågor om hur tjänstemän i UD och Sida uppfattar och har använt sig av de rapporter som kommittén hade publicerat till och med januari 2016.^[53]

Få har överblick över EBA:s verksamhet och rapporter

Relativt få av de representanter för UD och Sida som vi har intervjuat har följt kommittén sedan starten, vilket innebär att de flesta inte har någon överblick över EBA:s rapporter. De framförda synpunkterna på rapporternas kvalitet, relevans och användbarhet samt på seminarierna baseras därför i många fall på några lästa rapporter och besökta seminarier. Synpunkterna på kommitténs arbetssätt baseras på den eller de processer den intervjuade har ingått i eller varit berörd av.

Många av EBA:s rapporter nämns aldrig i de samtal som vi har haft, medan andra återkommer i flera intervjuer. Det första kan vara ett tecken på att rapporten har gått obemärkt förbi, kanske för att mottagarna inte har uppfattat den som relevant. Det andra är ofta ett tecken på att rapportens kvalitet, relevans eller processen runt den har varit bra eller mindre bra i olika avseenden.

Upplevd kvalitet ur betraktarens öga

Hur en person bedömer en rapport från EBA kan bland annat bero på hur djup metod- eller ämneskunskap personen har eller vilka förväntningar hen har haft på rapporten. Kvalitet kan också innebära olika saker för olika personer och kan gälla både rapportens innehåll och processen runt den. Det kan bland annat handla om hur relevant och användbar rapporten har varit för verksamheten eller politiken, rapportens aktualitet, läsbarhet och tajming i förhållande till en beslutsprocess eller trovärdigheten i de resultat som presenteras. Det går inte att bortse från att den upplevda kvaliteten också kan spegla viljan att ta emot och hantera kritik eller resultat som inte överensstämmer med mottagarens egen uppfattning.

Intressanta med inte så användbara rapporter 2014–2015

EBA:s uppföljning 2016 visade att de flesta av de 14 tillfrågade personerna inom UD och Sida ansåg att de 13 publicerade rapporterna 2014–2015 generellt var välskrivna och belyste intressanta ämnen, men att de oftast inte var policyrelevanta. Det innebär att de i regel inte var användbara för regeringen och Sida. Två av rapporterna hade använts som underlag av Sida för nya studier.

Enligt de intervjuade finns det flera förklaringar till varför rapporterna inte var relevanta. De flesta uppfattade att författarna inte hade tillräcklig kunskap om det svenska biståndet och hur arbetet går till i praktiken, trots att de hade stor kunskap inom sitt forskningsområde. Studierna var därför i många fall inte tillräckligt djupa eller så missade författarna viktiga frågor. Ibland var den kunskap som presenterades redan känd.

Drygt hälften av de tillfrågade hade inte uppfattat syftet med rapporten eller till vilken målgrupp den riktar sig. Många ansåg därför att EBA borde fundera över sin primära målgrupp och vad de vill tillföra. Ungefär hälften ansåg också att det är viktigt att EBA inför starten av en ny studie stämmer av idén med de som är insatta i det området som studien ska behandla. Rapporten kan då bidra med ny och relevant information. Dialogen kan tillföra nya perspektiv och fånga upp vilken ny kunskap som behövs. En tredjedel av de tillfrågade hoppades också på att EBA skulle göra fler utvärderingar eller granskningar.

Synpunkter på rapporternas kvalitet och relevans

Vi beskriver i detta avsnitt några övergripande synpunkter på EBA:s verksamhet och utveckling som vi har tagit emot. Vi beskriver också både övergripande och mer specifika synpunkter på främst rapporterna i serien EBA-rapporter. Synpunkterna handlar både om sådant som de intervjuade anser att EBA har lyckats bra med och sådant som de direkt eller indirekt säger att EBA behöver utveckla eller lära av. De synpunkter som vi har mottagit liknar i många fall de synpunkter som EBA fick reda på i sin uppföljning för två år sedan.

EBA famlar fortfarande i sin roll men utvecklas åt rätt håll

Flera av de som vi har talat med på UD och Sida förstår att EBA har behövt tid för att hitta sin roll och sina arbetsformer utifrån sitt breda och svåra uppdrag. Två framträdande synpunkter är att EBA fortfarande famlar i sin roll, men att de är på rätt väg när det gäller verksamhetens inriktning. Vissa anser att EBA ännu inte har blivit den utvärderande eller granskande funktion som de hade förväntat sig.

UD bedömer att de nya direktiven till EBA än så länge inte har inneburit något större skifte i verksamheten. Men de anser att EBA börjar hitta en bättre balans genom något fler utvärderingar och att de också har blivit mer uppmärksamma på vad regeringen behöver. Det svenska perspektivet i rapporterna har stärkts och de ser inga direkta överlappningar i förhållande till Sidas verksamhet. EBA:s rapporter ligger i regel på en högre policynivå.

Både UD och Sida framför tydligt att EBA behöver ta ett fastare grepp om verksamhetens strategiska inriktning och att de behöver klargöra vilka de vill påverka med sina rapporter och hur. Det innebär att EBA behöver en förändringsteori. En aspekt på detta är att EBA:s process för att ta fram studier behöver bli mer fråge- eller problemdriven och att de därför behöver hålla sig mer uppdaterade om vad som är på gång inom biståndet. Samtidigt förstår de intervjuade att det kan vara svårt för EBA att ha inblick i dagspolitiken när de befinner sig en bit ifrån den operativa verksamheten.

Det finns också synpunkter från både Sida och UD om att EBA behöver bli bättre på att sätta rätt etikett på sina rapporter. Det innebär att de behöver vara tydligare med vad det är för typ av studie eller utvärdering de har gjort för att undvika missförstånd.

Intressanta studier men de har i liten grad påverkat politiken och verksamheten

De flesta som vi har talat med tycker att rapporterna i serien EBA-rapporter ofta är intressanta och att ämnesvalen är relevanta för biståndspolitiken i bred bemärkelse.

Men flera inom UD anser att rapporterna hittills inte direkt har påverkat regeringens politik. En rapport kan ha utgjort ett av flera underlag i UD:s beredning av en fråga, men inte haft någon avgörande betydelse för utfallet. Ibland har rapporten gett stöd för regeringens inriktning på politiken och UD:s redan pågående eller genomförda arbete.

Enligt företrädare för Sida har EBA:s rapporter inte haft någon avgörande betydelse för myndighetens sätt att arbeta. Sida uppfattar dessutom att endast få studier har varit riktade till myndigheten. Men den första delrapporten från EBA om genomslaget av Sidas plan för jämställdhetsintegrering har satt igång en process i myndigheten för att ta hand om den framförda kritiken.^[54] Enligt Sida har den också ökat författarnas kunskap om bredden i myndighetens arbete. Den andra delrapporten har enligt Sida däremot inte gett några användbara resultat.^[55] Det förklarar Sida bland annat med att författarna inte har haft tillräcklig kunskap om hur Sida styr och leder eller hur Sida arbetar integrerat med jämställdhetsfrågor.

EBA har sedan starten publicerat några metodrapporter som inte har varit användbara för UD och inte heller direkt användbara för Sida. Ett exempel är rapporten om Qualitative Comparative Analysis (2016:05) som framhålls som intressant för metodkunniga utvärderare. Den behandlar en avancerad utvärderingsmetod riktad till en smal publik, främst forskare. Metoden är svår att tillämpa för Sida, men som metodhandbok är den pedagogiskt upplagd. Företrädare för Sida frågar sig om EBA ska ägna sig åt att göra metodrapporter.

Rapporterna kan vara nyttiga på andra sätt

Även om många rapporter inte har kommit till konkret användning för UD och Sida kan de ha varit nyttiga på andra sätt, till exempel genom att ge underlag för debatt. Ett par företrädare för Sida anser att det är bra om EBA kan ta på sig rollen som kritisk granskare av biståndet och även vara ett forum för en debatt som grundar sig på empiri. De anser att det behövs som motvikt till den vanligen ideologiskt färgade debatten.

Rapporterna kan också användas som kunskapsunderlag i ett allmänbildande syfte. Exempelvis har tjänstemän i UD använt rapporter för att lära sig mer om ett nytt område som de ska ansvara för.

EBA:s rapporter kan ibland också fokusera på ett ämne som inte har varit så uppmärksammat tidigare. Ett exempel på detta är rapporten om lokalt fredsbyggande (2017:05) som enligt företrädare för Sida behandlar ett ämne som inte har diskuterats så mycket bland praktiker. Därför ger den ett mervärde. Men den är inte så användbar eftersom den saknar en diskussion om praktiska möjligheter. Rapporten har heller inte fått något genomslag på UD. Ett annat exempel är EBA:s två studier om forskningsbistånd (2017:07 och 2017:08). Studierna har bidragit till att forskningsbiståndet har uppmärksammats både inom och utanför Sida. Därför uppfattas dessa rapporter som relevanta.

Den vetenskapliga kvaliteten uppfattas variera

Det kan vara svårt för tjänstemän på UD och Sida att bedöma den vetenskapliga kvaliteten i EBA:s rapporter utan att detaljgranska dem. Företrädare för Sida uppger att en sådan granskning kräver både tid och relevant kompetens. Läsare och tänkta användare måste därför i hög grad förlita sig på att EBA anlitar kompetenta utförare och har en bra process för sin kvalitetssäkring.

Utifrån de synpunkter som vi har fått uppfattar vi att den vetenskapliga kvaliteten i EBA:s rapporter överlag är god. Men synpunkterna på kvaliteten varierar från mycket bra till undermålig. En bra kvalitet kännetecknas bland annat av att författarnas slutsatser är väl underbyggda och trovärdiga. Det behöver däremot inte betyda att mottagaren håller med om dem eller att de är relevanta och användbara. Vissa önskar till exempel att författarna skulle vara mer insatta i hur det svenska biståndet styrs eller vilka ämnen som är politiskt mest aktuella.

Korrekt fakta, läsbarhet och paketering är viktigt

En rapport kan uppfattas vara intressant och väl genomförd, samtidigt som faktafel, ton och läsbarhet kan sänka helhetsintrycket när det gäller kvaliteten. Enligt våra intervjuer med UD och Sida har EBA endast erbjudit vissa av de som är berörda av en rapport att kontrollera fakta. Ibland kanske underlaget inte kan kontrolleras av UD, Sida eller andra berörda, men flera anser att EBA regelmässigt bör erbjuda möjligheten att kontrollera fakta när det är relevant. I en av de studier som vi har studerat närmare har Sida fått faktagranska hela rapporten före publicering. Det gäller en rapport om biståndets styrning som är författad av kansliet.

Kvaliteten i den språkliga och skriftliga framställningen i EBA:s rapporter varierar enligt flera som vi har intervjuat. Vissa rapporter uppfattas vara välskrivna, medan andra är röriga och svårtillgängliga. Ibland beror det på att språkbruket är för tekniskt eller för akademiskt. En framförd synpunkt är att rapporterna bör vara tillgängliga för normalbegåvade läsare.

Många av de tjänstemän i UD och Sida som vi har talat med har i regel inte tid att läsa en hel rapport, utan läser oftast bara sammanfattningen. De säger att det är viktigt att EBA paketerar och kommunicerar resultaten på ett lämpligt sätt till rätt mottagare för att resultaten ska vara både tillgängliga och användbara. Seminarierna är ett sätt, men vissa efterfrågar kortare sammanfattningar av studiens huvudbudskap där EBA uttolkar vad budskapet betyder för politiken och hur biståndet kan utvecklas av regeringen och andra involverade aktörer.

Tajming och ny kunskap är viktigt för relevansen

EBA ska bidra med underlag och kunskap som regeringen kan använda för att utveckla och styra biståndet. Det kräver att rapporten är relevant för det svenska biståndet när den publiceras, även om analyserna eller utvärderingarna hanterar långsiktiga frågor. Flera betonar att rapporten måste bidra med ny kunskap för att vara relevant och användbar. Exempelvis gav rapporten om antidiskriminering (2017:02) inte någon ny kunskap för UD och den var heller inte så relevant för det svenska biståndet. Författaren hade gjort en ingående analys, men den var inte tydligt kopplad till regeringens ramverk för mänskliga rättigheter. Tonvikten låg också på två länder som Sverige inte längre samarbetar med i dessa frågor.

Flera inom UD betonar att tajmingen är viktig för att studierna ska kunna användas som beslutsunderlag för regeringen. Rapporten behöver komma i god tid för att kunna komma till nytta i berednings- och beslutsprocessen, till exempel när det gäller en proposition eller en biståndsstrategi. En rapport kan komma att användas senare även om den inte går direkt in en beslutsprocess om ämnet är relevant, men risken ökar för att den blir inaktuell eller bortglömd.

Studien om politiken för global utveckling (2016:11) är ett exempel på en rapport med ett relevant ämnesval, men som kom för sent i förhållande till UD:s beredningsprocesser. Rapporten lanserades i december, men den process som rapporten hade potential att påverka pågick tidigare på hösten. Resultaten i studien var enligt UD redan kända och därför var rapporten heller inte användbar.

Studien om regional utveckling och integration i Afrika (2016:01) är enligt UD ett annat exempel på en intressant rapport, men som kom för sent i förhållande till en process. Ett färskare exempel är utvärderingen av Swedfund (2018:01). Rapporten kom för sent för att bidra till det projekt som pågick på Regeringskansliet och som innebar att regeringen fastställde en ny ägaranvisning till Swedfund. Rapporten var försenad med över ett år vilket också medförde att de data som rapporten i delar byggde på var inaktuella.

Bristande kvaliteten kan ha många förklaringar och få oönskade effekter

Kvalitetsbetyget för en rapport kan bli lågt av olika anledningar även om ämnet är både relevant och intressant. En av de studier som många lyfter fram som ett sådant exempel är den så kallade landutvärderingen av Tanzania (2016:10). På flera sätt speglar den hur EBA arbetade vid denna tidpunkt och effekterna av detta arbetssätt.

Den kritik som vi har tagit emot handlar om att Tanzaniastudien hade ett vällovligt syfte som den inte lyckades uppfylla. Författarna skulle bedöma om det svenska biståndet hade bidragit till att minska fattigdomen i landet över tid. Studien skulle också bedöma på vilket sätt biståndet i så fall har minskat fattigdomen och vilka lärdomar som detta kan ge till det nuvarande utvecklingssamarbetet.^[56] Det valda tidsperspektivet var 50 år. Flera anser att det huvudsakliga problemet var att författarna hade fått dåliga förutsättningar för att genomföra uppdraget. Studien var inte tillräckligt finansierad (500 000 kronor) för att kunna svara på de omfattande frågorna. Sida uppger att de gör projektutvärderingar för motsvarande belopp. Sammantaget ledde de dåliga förutsättningarna enligt Sida och UD till att författarna drog slutsatser på svag grund och att det även saknades viktiga perspektiv i rapporten. Detta ledde i sin tur till att rapporten inte kunde ge en trovärdig bild av utfallet.

Företrädare för Sida är även kritiska till att EBA kallar studien för en effektutvärdering. De menar att den snarare var en sammanställning av i huvudsak redan känd kunskap. Ett annat problem var att studien var dåligt förankrad på ambassaden i Tanzania. Sidas företrädare bedömer att studien hade kunnat bli bättre om Sida hade varit med i referensgruppen eller att personalen på ambassaden hade deltagit tidigt i processen. Sida anser också att det var oklart om myndigheten ens var tänkt som mottagare av resultaten, eller om syftet var att skapa debatt. Tanzaniastudien fick stort genomslag i media. Enligt företrädare för Sida var en del artiklar missvisande och EBA var inte beredda på att hantera och kommentera detta.

Seminariet om rapporten blev enligt Sida förhållandevis bra, tack vare de personer som deltog i panelen. Seminariet gav tillfälle till en bra diskussion som inte var låst till rapporten. Andra som vi har intervjuat anser att rapporten är intressant och att den bidrog till ny kunskap. Detta visar att en rapport kan uppfattas mycket olika beroende på bland annat läsarens förkunskaper och förväntningar.

Involvering i processen kan vara viktigt för mottagandet

Flera av de som vi har intervjuat anser att det är viktigt att EBA:s kansli tidigt för en dialog med den som är tänkt att använda rapporten. En tidig kontakt ökar förutsättningarna för att rapporten ska vara relevant och för att den ska bli väl mottagen i målgruppen. Ett annat sätt att åstadkomma detta är att någon från den mottagande organisationen deltar i referensgruppen. Flera som vi har talat med har också uppskattat att ha en dialog med författaren. Några anser att en dålig process kännetecknas av att en publicerad rapport hamnar på en tjänstemans bord utan förvarning.

Inför rapporten om Sveriges finansiering av FN:s fonder och program (2017:11) förde EBA:s kansli en dialog med den ansvariga enheten på UD om intresset för en studie och inriktningen på den. En tjänsteman från den mottagande enheten ingick också i EBA:s referensgrupp för studien och hade på så sätt möjlighet att lämna synpunkter till författaren. Rapporten var inte tillräckligt förankrad i politiken, men var ändå användbar genom att analysen och empirin kunde bekräfta UD:s uppfattningar. En del rekommendationer låg i linje med ett arbete som då pågick på UD. I samband med att rapporten lanserades kom författarna till UD för att samtala med de berörda handläggarna, vilket var uppskattat.

Ett annat exempel på en bra process med UD gäller en underlagsrapport från EBA 2018 om rättsstatens principer.^[57] UD var involverade när idén till studien initierades, hade en bra dialog med huvudförfattaren och fick möjlighet att bidra med synpunkter för att göra rapporten så användarvänlig som möjligt. Rapporten blev på så sätt relevant för enhetens arbete.

Ett exempel på en i huvudsak bra process för den utvärderade organisationen är rapporten om Swedfunds bidrag till utveckling (2018:01). EBA involverade Swedfund i processen när studien inleddes och Swedfund har också haft en representant med i referensgruppen som också har varit huvudförfattarens kontaktperson under projekttiden. Företrädaren för bolaget deltog inte i arbetet med att ta fram frågorna som skulle besvaras, men hade en bra dialog med EBA om vilken typ av kompetens som krävs för att utföra uppdraget. UD var däremot inte involverade och fick reda på att studien pågick sent i processen.

Swedfund bildade en projektgrupp som hjälpte författarna med de data som behövdes för studien, vilket var svårt och resurskrävande. EBA:s studie sammanföll med det projekt som Swedfund själva hade initierat med att se över bolagets uppdrag och ekonomiska mål. Därför drog rapporten ut på tiden med över ett år. Swedfund uppger att bolagets strategiarbete redan hade tagit hand om en del av författarnas slutsatser när rapporten lanserades. Swedfund kommer däremot inte att kunna använda alla slutsatser och enligt bolaget är vissa av slutsatserna fel.

Sammantaget har insatsen och stödet till författarna krävt mycket tid från Swedfund som är en liten organisation. Enligt bolaget behöver därför syftet med studien och hur resultaten är tänkta att användas vara tydligt från början. De anser att EBA som ansvariga för studien också behöver väga nyttan mot resursinsatsen hos den granskade organisationen.

Synpunkter på seminarier och övriga rapporter

I våra intervjuer har vi också fått synpunkter på EBA:s seminarier och de övriga rapporter som de publicerar. Det gäller årsrapporten Biståndsanalys och rapporterna i de två andra serierna, underlagsrapporter och DDB-rapporter. Synpunkterna är överlag positiva, men det finns synpunkter på att både målgrupp och användningsområde är oklara för de två rapportserierna.

Seminarierna är intressanta och ger tillfälle till fördjupning

Många av de som vi har talat med på UD och Sida anser att EBA:s seminarier är välarrangerade och i allmänhet intressanta. De säger att EBA lyckas bra med att knyta de presenterade rapporterna till det svenska biståndet och vissa tycker till och med att seminarierna är bättre än rapporterna. Seminarierna ger utrymme för att ge fler perspektiv på slutsatserna i den rapport som presenteras. Några anser att seminarierna ger tillfälle att fördjupa den biståndspolitiska debatten och att diskutera möjligheter till utveckling.

EBA bör pröva fler sätt att nå UD

Några av de som vi har intervjuat undrar vad EBA förväntar sig att seminarierna ska leda till. De frågar sig också om EBA alltid når rätt målgrupper med sina seminarier, särskilt om regeringen och UD är deras främsta målgrupp. Flera har noterat att det är en stor andel studenter, forskare och icke yrkesverksamma bland deltagarna. EBA:s uppföljning över besökare 2016 och 2017 visar att 10–12 procent av deltagarna var från UD och 10 procent från Sida.

Vissa anser att EBA behöver fundera över om det finns andra sätt att nå de viktigaste målgrupperna. Seminarieformen passar inte för alla typer av frågor och inte heller alltid för UD-tjänstemän som har ont om tid. De som vi har talat med föreslår workshops eller rundabordssamtal som tänkbara alternativ, men det kan finnas andra sätt. Vi har noterat att EBA har testat workshops och rundabordssamtal vid några tillfällen.^[58] Flera av de som vi har talat med pekar trots allt på att det viktigaste är att få in de tänkta användarna mycket tidigare i processen än när rapporten ska lanseras.

Årsrapporten ger en bra sammanfattning av resultaten

Statssekreteraren och tjänstemän på UD IU uppskattar EBA:s årliga rapport Biståndsanalys. De anser att rapporten har blivit allt bättre och att den sammanfattar verksamheten och resultaten i årets studier på ett bra sätt. Innehållet presenteras på ett lättillgängligt sätt och rapporten är en bra grund för att föra samtal om verksamheten. Men några önskar också att expertgruppen är något mer offensiv genom att våga ge uttryck för sina egna ståndpunkter.

Företrädare för Sida instämmer i att innehållet i Biståndsanalys är bra paketerat. Rapporten presenteras för Sidas ledningsgrupp och det leder till bra samtal. Men de anser också att rapporten skulle bli mer intressant om EBA blickade mer framåt.

DDB-rapporterna är intressanta för vissa

I våra intervjuer är det ett fåtal som själva har tagit upp och kommenterat rapporterna i DDB-serien. Dessa rapporter sammanfattar nya biståndsrelevanta avhandlingar och EBA ger ut dem inom ramen för sitt kunskapsförmedlande uppdrag. När vi har frågat om serien är det vissa som har haft svårt att uttala sig om den. Men generellt uppfattar de som vi har talat med att den är mindre relevant för UD och den politiska ledningen än vad den ordinarie rapportserien är.

Vissa tjänstemän inom både UD och Sida anser att både DDB-rapporterna och DDB-seminarierna överlag är bra och intressanta, men att seminarier ibland kan vara akademiskt smala. De ser också ett värde i att de finns ett forum där företrädare för forskning, politik och praktik kan mötas och där kan serien fungera väl som ett sätt att lyfta fram forskningen. Men en av de som vi har talat med frågar sig om det är EBA eller Vetenskapsrådet som ska svara för detta. Uppgiften bör kanske ligga på EBA om EBA ska eller vill fungera som en tankesmedja inom biståndet, enligt denna intervjuperson. Andra synpunkter vi har fått är att det är oklart både vem som ska använda DDB-rapporterna och hur de ska användas.

Oklart hur underlagsrapporterna är tänkta att användas

Flera som vi har samtalat med anser att rapporterna i serien underlagsrapporter har ett oklart syfte, oklar status och avsändare (se även avsnitt 3.4.2). Flera känner inte till eller har reflekterat över rapporterna i serien. Det kan bero på att EBA inte har publicerat så många underlagsrapporter. Fram till i april 2018 hade de publicerat tretton stycken. Vissa tjänstemän i UD anser att EBA kan kommunicera syftet med rapporterna bättre så att departementet förstår om och i så fall hur de kan användas.

Arbetssätt för att säkra relevans och kvalitet i verksamheten

I det här kapitlet beskriver och analyserar vi EBA:s arbetssätt och deras dialog med UD och Sida för att säkerställa relevans och kvalitet i verksamheten. Vi koncentrerar oss på rapporterna i serien EBA-rapporter. Statskontoret gör sammanfattningsvis följande iakttagelser:

• Dialogen med UD är viktig för att EBA bättre ska kunna leverera de relevanta studier som regeringen behöver. UD:s expert i kommittén har en nyckelroll för att förmedla idéer och synpunkter. Men personalomsättningen på UD är en utmaning för EBA när det gäller att skapa relationer mellan organisationerna.
• EBA:s kansli står för den löpande omvärldsbevakningen och har fått bättre överblick över regeringens biståndsstrategier och när de löper ut. Det ökar förutsättningarna för att lägga kommande studier rätt i tiden.
• Kansliets kontakter med Sida är regelbundna och ska bland annat säkerställa att EBA och Sida kompletterar varandra. Kontaktpersonen på Sida är en viktig ingång för EBA i olika typer av ärenden.
• Policyrelevans är ett av EBA:s prioriteringskriterier, men kriteriet har inte alltid styrt valet av studier. EBA har gett och vill fortsätta att ge författarna relativt stort utrymme att påverka studiens inriktning utifrån öppna frågor. Genom att ta in anbud får EBA nu bättre förutsättningar att välja förslag med en inriktning som är relevant för svenskt bistånd. Upphandling av större studier ger också bättre förutsättningar för att ta fram ny kunskap – ett viktigt relevanskriterium för regeringen.
• EBA har en tydlig process för att kvalitetssäkra rapporterna. EBA har som ambition att få någon från de mest berörda organisationerna att ingå i referensgruppen. Referensgruppen är viktig för att stödja författaren under studiens gång och expertgruppen gör den slutliga kvalitetsgranskningen. Författaren har stor självständighet och kan välja att inte ta hänsyn till alla synpunkter.
• EBA har inte tagit fram några kvalitetskriterier för bedömningen. Både referensgruppens och expertgruppens kvalitetsbedömning utgår från några öppna frågor om rapportens styrkor och svagheter. Brister eller luckor i en rapport kan kompenseras när EBA lanserar rapporten vid ett seminarium.
• EBA har anställt en kommunikatör och börjat se över sin kommunikationsstrategi, vilket innebär att de har höjt sina ambitioner med sin kommunikation. De vill hitta fler vägar för att nå rätt målgrupper och ge rapporterna ett längre liv. Seminarier räcker oftast inte för att nå UD:s tjänstemän.
• EBA:s uppföljning av verksamheten har hittills främst varit kvantitativt inriktad och haft som mål att visa verksamhetens breda genomslag. Men EBA vill skapa en mer systematisk kvalitativ uppföljning.

Ändamålsenliga arbetssätt i produktionsprocessen

EBA ska bidra till kunskap framför allt för att regeringen ska kunna utveckla biståndet. EBA gör detta genom att beställa eller själva genomföra utvärderingar och analyser samt genom att kommunicera resultaten. De rapporter som EBA publicerar behöver vara relevanta för den svenska biståndspolitiken och hålla tillräckligt hög kvalitet i övrigt för att kunna användas och ligga till grund för beslut och verksamhetsutveckling. EBA behöver därför arbeta på ett sätt som gör att de uppnår regeringens mål med verksamheten, det vill säga att arbetssätten är ändamålsenliga för sitt syfte. Regeringen har uttalat att EBA:s verksamhet ska vara långsiktig. Därför bör EBA uppfylla högre krav på arbetsformerna än om kommitténs uppdrag var tillfälligt.

Vi utgår i analysen av EBA:s arbetssätt och dialogen med bland andra UD och Sida från kommitténs process för att producera och kommunicera rapporter i serien EBA-rapporter, det vill säga de rapporter som expertgruppen beslutar om.

Figur 2 EBA:s produktionsprocess för rapporter i serien EBA-rapporter

Grovt sett innehåller processen fyra steg. De första tre är att initiera och välja studie, genomföra och kvalitetssäkra studien samt därefter lansera och kommunicera rapportens resultat. Det är i de två första stegen som EBA skapar förutsättningar för att rapporten ska vara relevant och hålla hög kvalitet. För att lära och förbättra verksamheten behöver EBA i ett sista steg följa upp hur rapporterna tas emot och används av de tilltänkta mottagarna.

Relevans och kvalitet grundläggs tidigt i processen

Expertgruppen beslutar självständigt om vilka studier de ska genomföra, ämnet för studien och vem som ska genomföra den. EBA:s arbetssätt i denna inledande fas har därför stor betydelse för om rapporten senare blir relevant och användbar för mottagaren. Det framgår också av målgruppernas synpunkter (se kapitel 4).

Författarna har i hög grad påverkat studiernas inriktning

EBA anlitar främst externa författare som har tidigare kunskap inom det område som ska studeras. Rapporterna författas vanligen av de personer som har utarbetat förslaget till studien.^[59] Det innebär att de också i hög grad har fått påverka den närmare inriktningen på studien. Vid ett fåtal tillfällen har författaren även påverkat ämnet för studien. Författarna är oftast forskare och EBA ser det också som naturligt att forskningen får genomslag i EBA:s studie- och ämnesval (se avsnitt 3.6.5).

Förslaget till studierna kan komma från olika idégivare, men i regel har idén växt fram i ett samspel mellan kansliet, expertgruppen och en författare. Ibland har UD eller Sida också deltagit i idéfasen. Av de 37 publicerade rapporterna under 2014–2017 har ungefär hälften initierats av kansliet, ofta i dialog med en författare. En fjärdedel har initierats av expertgruppen. En lika stor andel av studierna har sin grund i ett förslag som en författare spontant har lämnat till EBA. För de studier som pågick i mars 2018 har idén till studien i något högre grad än tidigare kommit från expertgruppen och i något lägre grad från författare. Både när kansliet och en författare kommer med en idé tar expertgruppen ställning till om studien är intressant och relevant att gå vidare med.

Besluts- och beredningsprocessen kan variera

Berednings- och beslutsprocessen kan variera, bland annat beroende på vem som har kommit med idén till studien. Ett exempel på detta är att expertgruppen identifierar ett ämne på en övergripande nivå som kansliet sedan arbetar vidare med. Utifrån ämnet identifierar och kontaktar kansliet en eller flera tänkbara författare, framför allt forskare som är kunniga på området. I dialog med kansliet tar författaren fram ett förslag till upplägg för studien.

Kansliet skriver alltid en promemoria som underlag inför expertgruppens beslut. I de promemorior som vi har studerat beskriver kansliet i regel vilken typ av studie det gäller, syftet med studien, målgruppen och den beräknade kostnaden. Kansliet bedömer också hur förslaget förhåller sig till verksamhetsstrategin och de prioriteringskriterier som anges där. Om det inte är bestämt vem som ska utföra studien kan vissa delar i promemorian vara mer öppet formulerade.

Expertgruppen kan av olika skäl avfärda förslag på studier från både kansliet och författare. Ett avslag kan bero på att expertgruppen bedömer att studien har en för svag koppling till det svenska biståndet eller till EBA:s inriktning, att kostnaden är för hög, att de frågor som studien ska ge svar på är för otydliga eller att det finns brister i den föreslagna metoden eller i genomförandet. Ett förslag kan också avfärdas för att studien inte skulle ge ett mervärde i förhållande till den befintliga forskningen.^[60] I författarens förslag till de tio studier som vi har studerat motiveras studien oftast med att det finns en lucka i forskningen. Det innebär att EBA själva då behöver ta ställning till vad regeringen kan tänkas behöva för ny kunskap.

Kostnadseffektiv modell men relevans kan bli underordnad

Ledamöterna och kanslipersonalen anser generellt att det är viktigt att få bra och helst de bästa skribenterna att vilja skriva för EBA. Om EBA ger dem möjlighet att påverka studiens innehåll och inriktning anser de att förutsättningarna ökar för att dra nytta av deras expertkunskap. Ibland kan författaren basera EBA-rapporten på sin egen forskning. En fördel är då att EBA kan hålla nere kostnaden för studien.

Kansliet pekar också på att det är svårt för expertgruppen och kansliet att själva täcka in hela det komplexa biståndsområdet genom sin omvärldsbevakning, sina nätverk och sin samlade kompetens. Spontana ansökningar ger EBA idéer och perspektiv på frågor inom biståndet som varken regeringen eller de själva har tänkt på. Det är samtidigt ett kostnadseffektivt sätt att ta fram idéer till studier.

En nackdel med att ge författaren ett stort inflytande över ämnesval och inriktning på studien är att EBA låter bli att styra. Det finns också en risk för att den kunskap som rapporten förmedlar redan är känd för delar av målgruppen. Författarnas akademiska intresse för frågan kan också riskera att ta överhanden och underordna EBA:s ambition att få rapporten relevant för målgruppen. I våra intervjuer med representanter för UD och Sida är det flera som pekar på att författarna ibland inte har tillräcklig kunskap om den svenska biståndspolitiken och hur verksamheten genomförs i praktiken.

Vägen mot ett mer transparent sätt att välja författare

EBA:s tidigare ambition att hålla sig under direktupphandlingsgränsen har till viss del gjort det svårare för kommittén att ta fram ny kunskap och göra tillräckligt djupa studier (se avsnitt 3.7). Det är inte lika transparent att direkt välja ut författare som ett mer öppet förfarande. Ledamöterna och kansliet framför i samtalen med oss att de har velat bli mer transparenta och i lite högre grad styra innehållet i studierna. EBA har därför börjat att göra riktade utlysningar med ett upphandlingsliknande förfarande. De har också börjat upphandla i konkurrens.

Startade med utlysningar under direktupphandlingsgränsen

EBA har vid några tillfällen använt sig av riktade utlysningar, men fortfarande under direktupphandlingsgränsen. Formen för dessa utlysningar har motsvarat ett så kallat selektivt förfarande. Det innebär att kansliet har kontaktat ett antal tänkbara författare och frågat om de är intresserade av att genomföra en studie. De som har varit intresserade har sedan fått lämna förslag på en studie utifrån ett övergripande ämne.

Ett exempel är utlysningen om en landutvärdering som ledde till att EBA genomförde två studier, en om Uganda (2016:9) och en om Tanzania (2016:10). I utlysningen fick de tillfrågade författarna ett öppet mandat att forma studien, under villkor att den ska leda till viktiga lärdomar om Sveriges bistånd till landet. De förslag som kom in bedömdes och viktades utifrån tre kriterier: genomförande och metod (60 procent), författarteamets erfarenhet och kompetens (30 procent) och pris (10 procent).

Utlysningarna har enligt kansliet varit ett sätt att bygga upp den egna kompetensen inför att genomföra upphandlingar över direktupphandlingsgränsen. I november 2017 beslutade expertgruppen också om riktlinjer för EBA:s upphandling. Riktlinjerna utgår från de regler och principer som gäller för offentlig upphandling.^[61]

Upphandling i konkurrens ger möjlighet till större studier

EBA kan genomföra större utvärderingar och studier genom att frigöra sig från direktupphandlingsgränsen och därigenom kan de också ta fram ny kunskap. EBA har hittills startat fyra studier efter upphandling genom ett så kallat öppet förfarande, bland annat de två pågående utvärderingarna som rör Kambodja och Bosnien-Hercegovina. Under våren 2018 har EBA också påbörjat sin första upphandling över tröskelvärdet, som innebär att upphandlingen ska annonseras i hela EU. Upphandlingen gäller en utvärdering av regeringens klimatsatsning 2009–2012 och beräknas kosta runt 2 miljoner kronor. Kansliet har vid upphandlingarna tagit stöd av Upphandlingsmyndigheten.

EBA vill fortfarande kunna välja författare direkt. Men enligt riktlinjerna ska EBA tillfråga minst två leverantörer om värdet om direktupphandlingen beräknas överstiga 100 000 kronor. Som vi ser det ökar detta transparensen och minskar risken för att EBA väljer författare godtyckligt.

Anbudsförfaranden har många fördelar men vissa risker

EBA:s främsta skäl för att använda anbudsförfaranden är kanske att de får mer kontroll över inriktningen på studien. Genom att själva formulera de övergripande frågorna och jämföra anbuden ökar deras förutsättningar för att studien ska uppfylla expertgruppens syfte och att den blir relevant för regeringen eller andra målgrupper. Men egentligen krävs inget anbudsförfarande för att EBA ska få mer kontroll över inriktningen. EBA skulle även vid en direktupphandlad studie kunna ge en tydlig uppdragsbeskrivning till författaren.

EBA kommer troligen att producera något färre studier jämfört med de två senaste åren om de riktar in sig på att genomföra någon eller ett par större studier per år. Några ledamöter tror att det kan bidra till att expertgruppen kan koncentrera verksamheten bättre.

Andra fördelar som har lyfts fram i våra intervjuer är att anbudsförfarandet gör EBA mindre beroende av sitt nätverk. Tillsammans med en ökad transparens kan det bidra till att ytterligare stärka kommitténs legitimitet och trovärdighet. Förfarandet öppnar också för att EBA får in författare från fler vetenskapliga discipliner som kan bidra med nya perspektiv, exempelvis inom humaniora och naturvetenskap. Enligt kansliet har EBA hittills anlitat statsvetare och nationalekonomer, men även sociologer, historiker, företagsekonomer, matematiker, genusforskare, jurister, retoriker, freds- och konfliktforskare med flera.

Utlysningar och upphandlingar medför något mer administration för kansliet, men detta behöver inte påverka den totala mängden administration om studierna blir något färre. Vid upphandling finns det också alltid en risk för att någon överklagar upphandlingen. Ett överklagande kan öka kostnaderna och förskjuta tidplanerna och i värsta fall påverka rapportens tajming i förhållande till en tänkt politisk process. Kansliet uppger att ingen av de hittills genomförda upphandlingarna har överklagats och att de som inte har fått ett kontrakt i en utlysning eller upphandling har uppskattat den transparenta processen.

EBA vill låta anbudsgivare specificera inriktning och metod

EBA:s sätt att upphandla och göra utlysningar skiljer sig något från hur Sida och andra utvärderingsorgan inom biståndet gör. Sida och flera andra utgår från relativt detaljerade krav om bland annat vad som ska utvärderas och hur utvärderingen ska genomföras. EBA formulerar i sina anbudsförfrågningar några öppna frågor som de vill att studien belyser. Det är sedan upp till anbudsgivarna att specificera hur de vill inrikta studien och vilka metoder de tänker använda. Vid exempelvis EBA:s upphandling av utvärderingen av regeringens klimatsatsning ska anbudsgivarna utgå från två övergripande frågor.^[62]

Ledamöterna har olika uppfattning om hur hårt EBA ska styra anbudsgivarna. Vissa förespråkar den modell som Sida tillämpar. Men den dominerande uppfattningen i både expertgruppen och kansliet är däremot att en utlysning eller upphandling med relativt öppna frågor bättre tar till vara forskarnas och utvärderarnas expert- och metodkunskap än om EBA skulle styra över metoderna och infallsvinkeln. De bedömer också att det är viktigt med frihetsgrader för att kunna attrahera duktiga forskare.

Omvärldsbevakning och dialog för ökad relevans

EBA ska göra relevanta och komplementära studier, vilket kräver att de håller sig uppdaterade om vad som är på gång inom biståndet och vad andra aktörer gör för studier av det svenska biståndet. Därför är den egna omvärldsbevakningen och dialogen med bland andra Sida viktig. Dialogen med UD är kanske särskilt viktig för att få tips på ämnen för studier som UD och regeringen tycker är relevanta och där EBA kan bidra med kunskap eller underlag.

Omvärldsbevakningen är central för verksamheten

Alla statliga organisationer behöver orientera sig om sin omvärld för att kunna utföra sitt uppdrag effektivt och med legitimitet. Det är särskilt viktigt för de organisationer som själva ansvarar för att välja utvärderingar eller granskningar, som exempelvis Riksrevisionen och EBA. De måste kunna visa att de gör sina val utifrån en analys av var de tror sig kunna göra störst nytta.

EBA har sedan starten bevakat sin omvärld löpande och har med tiden även fått till stånd mer eller mindre regelbundna dialoger med viktiga aktörer i sin närhet, bland andra UD och Sida. EBA har däremot inte gjort någon djupare omvärldsanalys som grund för den strategiska inriktningen av verksamheten.

Kansliet svarar för den löpande bevakningen

EBA:s löpande omvärldsbevakning bygger i hög grad på kansliets insatser, men ledamöterna bidrar också med kunskap och bevakning utifrån sina expertområden och kontaktnät. Några av de som vi har intervjuat på UD och Sida bedömer att EBA har bra kunskap om forskningen och akademin, men har svårare att hålla sig ajour med huvudlinjerna i den internationella diskussionen om biståndet och hur diskussionen påverkar det svenska biståndet.

Kansliet uppger att de bevakar ny forskning, nya utredningar och utvärderingar samt försöker fånga upp förändringar i biståndet och politiken genom både sina nationella och internationella kontakter. Kansliet uppger att de har fått bättre överblick över regeringens strategier för biståndet och när de löper ut. Det innebär att de framöver kommer att kunna vara mer förutseende, vilket ökar förutsättningarna för att en studie ska inledas i rätt tid.

Utredningssekreterarna beskriver för oss att omvärldsbevakningen tar ganska stort utrymme i det dagliga arbetet. Den hör även nära samman med arbetet att bygga upp nätverk, ett arbete som är viktigt för att EBA ska kunna nå potentiella författare, referensgruppsdeltagare och deltagare till seminarier och paneler. Kansliet har organiserat arbetet utifrån bevakningsområden där varje utredningssekreterare har ungefär tre bevakningsområden som de följer noggrant. Det gäller till exempel områden som utbildning, utvärderingsfrågor eller humanitärt bistånd. Kansliet planerar att se över dessa områden.

UD:s expert har en nyckelroll att pröva relevansen för UD

Både EBA och flera tjänstemän i UD anser att UD:s expert i kommittén har en nyckelroll för att bidra till att EBA:s studier blir relevanta för framför allt regeringen och UD. Vid sammanträdena förmedlar experten synpunkter på de förslag till studier som expertgruppen ska behandla utifrån både sin egen erfarenhet och utifrån det som experten har hämtat in från andra enheter på UD. Experten har också kontakt med kansliet mellan mötena. Rollen har i hög grad formats av tjänstemannen i samspel med kommittén och baseras på expertens personliga kompetens inom både metodfrågor och biståndsfrågor. Det medför även att funktionen är sårbar. Som jämförelse har ESO tre förordnade experter från Finansdepartementet i ESO:s styrelse.

Handlingarna till ett expertgruppsmöte skickas i regel ut två veckor i förväg. Experten läser inför mötet igenom eventuella förslag till nya studier, tar kontakt med de enheter och handläggare i UD som är mest berörda för att stämma av förslaget och inriktningen på den tänkta studien. Experten förmedlar synpunkterna till expertgruppen vid nästa sammanträde som ett underlag för deras beslut.

Policyrelevans är ett kriterium i expertgruppens prövning

Expertgruppen prövar relevansen när de tar ställning till om EBA ska gå vidare med ett förslag eller inte. Kansliet anger i sin promemoria hur de bedömer förslaget utifrån de fem prioriteringskriterierna i verksamhetsstrategin där policyrelevans och aktualitet är två av dem (avsnitt 3.2.4). Kansliet ger vart och ett av de fem kriterierna poäng på skalan 0–5. Poängsättningen ska ge expertgruppen en bild av vilken betydelse förslaget har ur de fem aspekterna. EBA har inte tagit ställning till om något kriterium ska väga tyngre än något annat vid prövningen. De utgår heller inte från förslagets totalpoäng. Det väcker frågan om hur styrande kriterierna är för valet av studier, särskilt relevanskriteriet.

Av det urval av studier som vi har studerat närmare hade kansliet gett ett förslag 19 poäng totalt, varav 4 på policyrelevans (2018:01). Ett annat förslag fick totalt 7 poäng, varav 0 poäng på policyrelevans (2016:5). Poängen på relevanskriteriet för de två studierna överensstämmer relativt väl med hur målgrupperna har bedömt hur relevant och användbar rapporten blev (se kapitel 4).

Vi har svårt att utifrån vårt begränsade urval av studier bedöma vilka kriterier som generellt värderas högst och hur expertgruppen har utvecklat sin prövning. Men för de studier som vi har tittat närmare på har kriterierna kunskapsuppbyggnad, aktualitet och effekt för biståndet fått i genomsnitt något högre poäng än policyrelevans. Studiens policyrelevans beskrivs däremot något utförligare i underlagen för de senare studierna.

Expertgruppen tar inte alltid hänsyn till UD:s synpunkter

Expertgruppen lyssnar på expertens synpunkter, men i sina beslut väljer de ibland att inte ta hänsyn till dem. Enligt uppgifter från både UD och EBA har expertgruppen vid flera tillfällen beslutat om att inleda en studie som UD har varit tveksamma till. UD:s tveksamhet beror då ofta på att förslaget inte är relevant för regeringen eller det svenska biståndet. Ledamöterna har också i uppgift att självständigt pröva förslagen. Flera ledamöter argumenterar för att det finns studier som UD kanske inte har tänkt på att de behöver och studier som de kanske inte vill ha, men som tjänar andra syften. EBA måste genom sina studier även kunna ifrågasätta regeringens inriktning för biståndet eller bidra med kompletterande perspektiv.

Den viktiga dialogen mellan EBA och UD har förbättrats

UD IU och EBA har återkommande en dialog om verksamheten vid sidan av de synpunkter på enskilda förslag till studier som UD förmedlar vid expertgruppens möten. Båda parter anser att dialogen mellan dem är öppen och att den har blivit bättre och mer regelbunden än tidigare. Dialogen är viktig för båda parter för att EBA bättre ska kunna svara mot regeringens behov av relevanta studier.

EBA vill vara en resurs för regeringen och ser därför gärna att UD kommer med förslag på studier som de tycker är relevanta. EBA har tidigare prövat olika former för att ge UD möjlighet att komma in med idéer till studier. Exempelvis har EBA anordnat ett idéseminarium där de har träffat olika enheter från UD för att diskutera idéer. UD IU svarar också för att någon gång per år samla in idéer från UD:s enheter och överlämna en lista med förslag till EBA. Enligt kansliets personal beror engagemanget från enheternas sida på de personer som är involverade i arbetet.

Förslagen har ibland varit svåra att hantera för EBA, antingen för att de har varit för abstrakta eller för detaljerade. Några framför att det kanske krävs en bättre ömsesidig förståelse för varandras roller och behov för att det ska fungera bättre.

Den relativt höga omsättningen på personal i UD är en utmaning för EBA när de ska bygga upp relationer. Kanslipersonalen uppger att det ingår i deras arbetsförutsättningar att ta nya tag med nya handläggare. Personalomsättningen försvårar också för UD att ta om hand om rapporterna när de är klara.

En bra dialog kan ge förutsättningar för att ta emot rapporterna väl

En tidig dialog med den som ska använda rapporten kan ge förutsättningar för att rapporten tas emot väl. I de kanslipromemorior som vi har studerat framgår det oftast inte hur EBA har involverat målgruppen under förslagsfasen. Ett undantag är förslaget om studien om FN:s fonder och program (2017:11) där det framgår vad UD efterfrågar och att UD:s synpunkter har tagits till vara (se även avsnitt 4.2.8).

Det finns fler studier som har kommit till efter en dialog mellan EBA och UD. Den pågående studien om samspelet mellan humanitärt bistånd och långsiktigt utvecklingsbistånd i flyktingkriser tillkom delvis till följd av en diskussion mellan EBA och UD. Både EBA och UD framhåller att dialogen om den pågående utvärderingen av svenskt bistånd till Kambodja har varit bra och kan leda till att målgruppen tar emot rapporten väl.

Regelbunden dialog med Sida för olika avstämningar

Utöver Regeringskansliet ska EBA enligt direktiven föra en dialog med bland andra Sida, Statskontoret och Riksrevisionen för att säkerställa att rapporterna är relevanta och att förvaltningens samlade utvärderingsresurser används på ett strategiskt sätt. EBA:s ordförande och kanslichef hade åtminstone inledningsvis kontakter med ledningen för de tre myndigheterna. EBA:s nya ordförande har sedan tillträdet hösten 2017 ännu inte haft några avstämningar av detta slag. De löpande kontakterna hanteras främst av kansliet och kontakterna med Sida är både tätare och mer regelbundna än med de övriga aktörerna. Det är naturligt med tanke på Sidas centrala roll inom biståndet. Men kansliet följer i sin omvärldsbevakning vilka granskningar och utredningar inom biståndsområdet som pågår i staten.

EBA:s kanslichef har ungefär varannan månad samtal med Sidas utvärderingschef. De utbyter information om pågående och planerad verksamhet i respektive organisation samt diskuterar framtida studier och möjligheter till samarbete. Mer sporadiskt träffar kanslichefen också Sidas chefekonomteam. Om det behövs har EBA också möten med olika företrädare för Sida för att informera sig i olika frågor.

Kanslichefen bedömer att dialogen är tillräcklig för att undvika att Sida och EBA gör utvärderingar inom samma områden och för att diskutera relevansen i möjliga studier. I och med att Sida just nu organiserar om sin utvärderingsverksamhet anser både Sida och EBA att formerna för dialogen kan behöva ses över.

Sida har en kontaktperson som ingång för EBA

En person på Sidas utvärderingsenhet har rollen som kontaktperson gentemot EBA, en så kallad fokalpunkt. Uppgiften handlar till stor del om att vara en ingång för EBA in i Sida och för att förmedla kontakter och slussa förfrågningar vidare i organisationen. EBA ska i första hand vända sig till kontaktpersonen för att få synpunkter på förslag till studier som rör Sidas verksamhet, för att få deltagare till paneler på EBA:s seminarier och till referensgrupper, samordna arbetet med att faktagranska utkast och sprida information och rapporter från EBA i organisationen.

Sida framhåller att det är viktigt att någon i organisationen har överblick över kontakterna med EBA för att undvika att saker faller mellan stolarna.

En kvalitetssäkringsprocess i flera steg

Expertgruppen avgör när en EBA-rapport håller tillräcklig kvalitet för att kunna publiceras. Inför detta beslut har rapporten genomgått en kvalitetssäkringsprocess där både expertgruppen och den referensgrupp som är knuten till studien deltar.

Tydlig process för att kvalitetssäkra rapporterna

När expertgruppen har beslutat om att inleda en studie tecknar EBA kontrakt med författaren eller författarna som därefter inleder arbetet. EBA följer sedan en tydlig process för hur kvalitetssäkringen av rapporten ska gå till. Till varje studie knyter EBA en referensgrupp och har också utfärdat riktlinjer för arbetet.^[63]

Figur 3 Kvalitetssäkringsprocessen från expertgruppens beslut om att inleda studien till beslut om publicering av rapporten

Källa: Statskontorets beskrivning av processen utifrån intervjuer med EBA och EBA:s interna riktlinjer.

Expertgruppen utser en ledamot till ordförande för referensgruppen och som ska leda arbetet i gruppen med stöd av den projektansvariga utredningssekreteraren som sköter allt praktiskt arbete. Om studien utförs av en person på kansliet är kanslichefen ordförande i referensgruppen. Ordföranden utser referensgruppen i samråd med författaren. Referensgruppen ska ge råd och stöd till författaren för att öka rapportens kvalitet och relevans. Även den projektansvariga utredningssekreteraren på kansliet ska bistå författaren för att få fram en läsvänlig rapport.

När referensgruppen är färdig med en studie går den till expertgruppen som vid ett möte avgör om studien håller tillräcklig kvalitet för att publiceras. Den ledamot som är ordförande för referensgruppen föredrar rapporten vid mötet. EBA:s ordförande sammanfattar expertgruppens diskussion i ett förslag till beslut. Därefter förbereds rapporten för tryck och lansering – ett arbete som främst ligger på kansliet.

Personer med särskild sakkunskap ska stödja författaren

Referensgruppen är ingen styrgrupp. Den ska bara ge författaren stöd i arbetet. I regel består referensgruppen av 3–5 externa personer utöver ordföranden. Personerna ska ha relevant kunskap och kompetens inom det område som studien behandlar. EBA försöker att få någon från de mest berörda organisationerna att ingå i gruppen. Tjänstemän från UD och Sida har deltagit i flera referensgrupper och vid några tillfällen har personer från båda organisationerna deltagit. Enligt EBA företräder personerna i referensgruppen inte sin organisation, utan ska bistå författaren enbart utifrån sin personliga kompetens. Samtidigt förväntar sig EBA också att referensgruppen ska bidra till att rapporten kommer till användning.

En avgörande faktor för framgång i arbetet är att EBA hittar rätt personer till referensgruppen. Kansliet lägger också mycket tid på detta. De flesta som tillfrågas vill delta. Den som inte har möjlighet att delta inom ramen för sin ordinarie anställning kan ansöka hos EBA om ett arvode på 5 000 kronor. Det finns också möjlighet att få ersättning för resekostnader.

Arbetet i referensgrupperna fyller en viktig funktion och fungerar för det mesta bra. Det uppger de flesta vi har intervjuat, även de som själva har deltagit i en referensgrupp. Under studiens gång har gruppen i regel två eller tre möten där de diskuterar studiens upplägg och rapportutkast.

Den utredningssekreterare på kansliet som ansvarar för projektet ansvarar också för att driva processen framåt. Detta kräver mycket samordning. Det är särskilt tidskrävande att hitta tid för referensgruppens möten eftersom deltagarna ofta är upptagna personer. En annan viktig uppgift är att hålla kontakt med författaren och ibland även ligga på för att driva arbetet framåt.

Inga fasta kvalitetskriterier men några vägledande frågor

EBA har inte fastställt några kriterier för hur referensgruppsdeltagarna eller expertgruppen ska bedöma rapporternas kvalitet. I våra intervjuer med EBA:s ledamöter och kanslipersonal har ingen berört hur kommittén ska förhålla sig till OECD-DAC:s kriterier som regeringen anger i direktiven till EBA (avsnitt 2.5.1). Personerna i både referensgruppen och expertgruppen utgår i stället från sin egen kompetens och måttstock när de bedömer kvaliteten och ger sina synpunkter till författaren. Synpunkterna kan handla om bland annat metodval, den skriftliga framställningen och om slutsatserna har täckning i det empiriska underlaget.

Referensgruppsdeltagarna ska lämna skriftliga kommentarer till både författaren och EBA på den slutliga versionen av rapporten. Deltagarna ska utgå från några frågor som EBA har hämtat från ESO. Frågorna är vägledande även för expertgruppen inför beslutet om publicering. Frågorna lyder:

• Vilka är rapportens styrkor, allmänt och i termer av policyrelevans? Kan rapporten förstärkas ytterligare i dessa avseenden? I så fall, hur?
• Finns det några svagheter i rapporten som går att åtgärda? Hur ska dessa åtgärdas?
• Finns det några svagheter i rapporten som – utifrån vad som kan betraktas som en rimlig arbetsinsats – inte går att åtgärda? Hur bör rapportens författare förhålla sig till dessa?

EBA:s ledamöter och kanslipersonal tycker generellt att det fungerar bra att utgå från dessa öppna frågor. De anser att formella kriterier eller checklistor kan riskera att kvalitetssäkringen missar de viktiga, substantiella frågorna. Men det finns de som är kritiska mot att kvalitetsbedömningen utgår från så fria ramar, både i och utanför EBA. En framförd synpunkt är att styrkor och svagheter inte kan vara kvalitetskriterier och att det finns en risk för att bedömningen blir för personbunden. Tydligare kriterier skulle kunna bidra till en mer enhetlig kvalitetssäkring.

Författaren väljer vilka synpunkter hen tar hänsyn till

De få utlåtanden från referensgruppsledamöter som vi har sett tyder på att författaren i regel får en gedigen återkoppling på rapporten utifrån de öppna frågorna. Men författaren väljer själv vilka synpunkter som hen sedan tar hänsyn till. Det ligger i linje med hur EBA ser på författarens självständighet i förhållande till expertgruppen. Av avtalet framgår att författaren ska genomföra studien självständigt och med god vetenskaplig kvalitet samt ansvara för studiens innehåll och slutsatser.

Både EBA och personer som har ingått i referensgrupper uppger för oss att det varierar hur lyhörda författarna är för referensgruppens synpunkter. Vissa har inte tagit till sig av synpunkterna. Någon uttrycker det som att författarens självständighet i förhållande till expertgruppen leder till att expertgruppen har en ”hands off-attityd” i kvalitetssäkringen.

Expertgruppen gör den slutliga kvalitetsgranskningen

Referensgruppens ordförande avgör när rapporten ska gå till expertgruppen för beslut. Inför mötet har expertgruppen läst det slutliga rapportutkastet och tagit del av utlåtandena från referensgruppens deltagare. Ledamöterna bedömer rapporten utifrån sina respektive erfarenheter och perspektiv och utgår från samma frågor som referensgruppen.

Relativt nyligen inträffade det att en ledamot vid slutberedningen upptäckte allvarliga metodbrister i rapporten som varken referensgruppen eller övriga ledamöter hade noterat. Den sista kontrollstationen i kvalitetssäkringen fungerade i detta fall. Men det går också att hävda att referensgruppen hade misslyckats i sitt uppdrag. Detta visar att det är viktigt att referensgruppen består av personer med kompetens som är anpassad till studien och författarens upplägg samt att även expertgruppen består av ledamöter med olika och relevant kompetens som har möjlighet att noggrant läsa slututkastet.

Expertgruppen återremitterar ibland rapporten till författaren

Enligt kansliet är det vanligt att expertgruppen vid sin prövning beslutar om att återremittera rapporten till författaren som då måste åtgärda vissa saker innan den kan bli godkänd. Om det handlar om en mindre revidering medför det att rapporten blir 1–2 månader försenad. Därför har EBA nyligen infört en rutin där de tidigt informerar författaren om att det kan bli nödvändigt att revidera rapporten efter att expertgruppen har granskat utkastet.^[64]

Tillräcklig kvalitet kan räcka för publicering

Vid ett tillfälle har expertgruppen beslutat att inte publicera en rapport på grund av bristande kvalitet. Om EBA inte publicerar har författaren rätt att använda innehållet. I våra samtal med både ledamöterna och kansliet uppger några att de själva inte är nöjda med kvaliteten i alla rapporter och att det finns ytterligare någon eller ett par som inte borde ha publicerats. Men om expertgruppen har fått gehör för sina viktigaste synpunkter kan det vara tillräckliga skäl för att publicera.

EBA kan också själva åtgärda eventuella brister eller luckor i studien genom att lägga till ett kompletterande perspektiv till rapporten när den lanseras vid ett seminarium. Men rapporten är ändå dokumentationen över studien och resultaten, så det kompletterande perspektivet förutsätter att en läsare har deltagit vid seminariet eller tittat på den inspelade versionen.

Vissa skärpningar av avtalen med författarna

EBA har efter hand blivit något tydligare i sin styrning av författarna, främst genom att skärpa avtalen. Tidigare betalade de ut ersättningen i en klumpsumma, men nu delas den nu upp i tre delar där slutbetalningen betalas ut när författaren har genomfört seminariet i samband med lanseringen. I ett av de senare avtalen anger EBA att de har rätt att återkräva utbetalda medel om författaren inte åtgärdar eventuella brister som identifieras i rapporten.

I de senaste kontrakten reglerar EBA också att författaren ska skriva sin rapport i en mall från EBA. Syftet är att underlätta kansliets redigering. Här står också att författarens sammanfattning är viktig eftersom det är den som beslutsfattare främst läser.

Förankring och kommunikation

Både EBA och UD behöver genomföra särskilda insatser för att EBA:s rapporter ska komma till nytta för regeringen. UD:s expert i kommittén har en viktig funktion för att informera berörda enheter på departementet som sedan ansvarar för att ta emot rapporten. EBA planerar att satsa mer på sin kommunikation framöver.

UD:s expert informerar berörda enheten om nya studier

När en ny studie ska påbörjas ansvarar UD:s expert i kommittén för att informera handläggare vid den enhet som kommer att vara mest berörd av rapporten. Informationen om vilken enhet och handläggare som ska ta emot rapporten är viktig även för kansliets kontakter. EBA involverar personer från exempelvis UD eller Sida i referensgruppen bland annat för att de ska kunna hjälpa till att förankra studien i sin organisation.

UD:s riktlinjer säger att den enhet som är mest berörd av rapporten ska skriva en så kallad åtgärdspromemoria (se avsnitt 2.4.3). Det ingår inte i vårt uppdrag att studera UD:s rutin. Men vi i våra intervjuer med både UD och EBA framförs olika synpunkter på hur rutinen fungerar, men också värdet av en sådan rutin. Vissa är positiva och anser att rutinen tvingar mottagaren att fundera över hur resultaten kan användas. Dokumentationen kan också bidra till UD:s institutionella minne. Andra är mer kritiska och anser att det finns en övertro på den här typen av formella rutiner. De tror att det är viktigare att få med de berörda tidigt i processen.

Seminarier räcker inte för att nå UD:s tjänstemän

EBA arrangerar normalt ett seminarium när en ny rapport ska lanseras (avsnitt 3.3.4). Författaren får då presentera rapporten och därefter kommenteras den i regel av en panel med sakkunniga. Vid några tillfällen har statssekreteraren deltagit i panelen och ibland har andra representanter för UD deltagit. EBA:s ambition är att seminariet ska sätta in rapporten i ett större sammanhang och få igång ett samtal om studiens innehåll.

EBA anser att det är viktigt att personal från Sida och UD kan delta vid seminarierna. Tidigare kunde EBA arrangera sina seminarier i Utrikesdepartementets lokaler, men efter ett principbeslut av Regeringskansliets förvaltningsavdelning 2017 får kommittéer inte längre boka lokaler på Regeringskansliet. Det var lättare för tjänstemännen på UD att närvara när seminarierna hölls i direkt anslutning till departementet. EBA försöker numera i stället att lägga sina seminarier geografiskt nära departementet, exempelvis på Medelhavsmuseet. Men trots detta har UD:s deltagande minskat något efter principbeslutet. För EBA medför beslutet också extra kostnader för lokalhyra. Det finns däremot inga hinder mot att UD kan arrangera ett EBA-seminarium och därmed få tillgång till Regeringskansliets lokaler. Exempelvis presenterades rapporten om Swedfund i UD:s presscenter. Men sådana arrangemang kräver i stället extra resurser från UD.

Även om målgrupperna anser att seminarierna håller god kvalitet är EBA och UD överens om att det krävs mer än seminarier för att få genomslag. Kansliet anser att det viktigaste för att utveckla biståndet är att kunskapen når fram till rätt personer, inte att nå ut till så många som möjligt. EBA funderar för närvarande mycket på hur rapporterna kan få en ökad livslängd och även på om det finns andra sätt att paketera informationen för att få större effekt.

EBA kommer att satsa mer på sin kommunikation framöver

EBA vill höja sina ambitioner och påbörjade redan under hösten 2017 ett arbete med att se över sin kommunikationsstrategi och ta fram en kommunikationsplan. Sedan 2015 har en av utredningssekreterarna på kansliet ansvarat för kommunikationsfrågor vid sidan av uppgiften att projektleda studier. Under våren 2018 rekryterade EBA en utredningssekreterare med särskilt ansvar för kommitténs kommunikation och för att utveckla den. I maj 2018 var strategin och planen därför ännu inte beslutade.

I det utkast till ny kommunikationsstrategi som vi har fått se planerar EBA att bland annat formulera mål för sin kommunikation och hur de ska nå sina primära och sekundära målgrupper. EBA planerar också att klargöra hur ansvaret för kommunikationen ska fördelas mellan expertgruppen och kansliet.

EBA vill också öka sin beredskap för att hantera efterföljande debatter. De planerar bland annat att göra det tydligt vem som ska vara talesperson för EBA om det uppstår någon form av krissituation som skulle kunna skada kommitténs anseende.

Uppföljningen av verksamheten och dess resultat

Som kommitté har EBA inte några formella krav på sig att lämna en resultatredovisning till regeringen. Men det hindrar inte att EBA följer upp sin verksamhet för att säkerställa att den utvecklas åt rätt håll och att kommittén uppnår de resultat som både regeringen och EBA själva förväntar sig. Dessa uppföljningar ska också syfta till att dra lärdomar för att utveckla verksamheten. EBA har de senaste två åren genomfört flera uppföljningar av verksamheten.

Uppföljningen har hittills främst varit kvantitativt inriktad

EBA:s uppföljning har hittills främst varit kvantitativt inriktad och fångat upp vilket genomslag som verksamheten har fått. Uppföljningen är inriktad på både enskilda rapporter och på verksamheten i stort. EBA mäter bland annat antalet besökare på webbplatsen och antalet prenumeranter av nyhetsbrevet.

Uppföljningen av enskilda rapporter handlar bland annat om antalet nedladdningar, antalet besökare på seminariet och hur många gånger webbsändningen av seminariet har visats. Efter varje seminarium skickar EBA också ut en kort enkät till deltagarna för att ställa frågor om vad de tyckte. EBA följer också upp i vilken utsträckning rapporterna har citerats i media, i riksdagstrycket och i vetenskapliga artiklar.

Som komplement till dessa uppföljningar har EBA vid ett par tillfällen gjort större insatser med hjälp av den student som har praktiserat på kansliet under terminen. En sådan insats är att kartlägga hur EBA:s rapporter har spridits och använts, hur seminariedeltagarna har uppfattat EBA:s seminarier samt författarnas och referensgruppsdeltagarnas fördelning på kön och hemvist (se även kapitel 3).^[65]

Efter varje rapport och seminarium diskuterar kansliet också vad som har gått bra och mindre bra under processen och vilka lärdomar kansliet kan göra inför kommande projekt. Det är en intern uppföljning och kansliet tar därför ingen kontakt med de primära målgrupperna eller deltagarna i referensgruppen för att hämta in deras synpunkter på processen.

Behov av att få en mer systematisk uppföljning av nyttan

Kanslichefen anser att den kvantitativa uppföljningen har begränsad nytta. Indikatorerna kan användas för att se trender över tid. Men de säger inte så mycket om vilken effekt en rapport eller ett seminarium får, det vill säga hur resultaten används. EBA har hittills inte prioriterat den kvalitativa uppföljningen, men deras ambition är att den ska bli mer systematisk. (Se även kapitel 4 om EBA:s uppföljning av de centrala målgruppernas synpunkter på rapporterna från de två första verksamhetsåren).

Enstaka ledamöter pekar i samtalen med oss också på att EBA behöver följa upp verksamheten på ett mer strategiskt sätt. För att kunna utveckla verksamheten behöver EBA bättre kunskap om bland annat varför vissa rapporter får mer genomslag än andra och vad som fungerar bra och dåligt i processen.

Konsekvenser av organisationsformen

I det här kapitlet redovisar vi ett antal konsekvenser av att EBA är en kommitté. Statskontoret gör sammanfattningsvis följande iakttagelser:

• En kommitté är till sin form anpassad för att ta fram kunskap. Men EBA:s direktiv och organisation gör att verksamheten skiljer sig från de flesta andra kommittéer. Skillnaderna förbättrar bland annat möjligheterna för EBA att löpande ta fram fler kunskapsunderlag.
• Kommittéformens tillfälliga karaktär har inte förhindrat EBA att kunna knyta till sig kanslipersonal med hög kompetens. Kompetensförsörjningen till expertgruppen kan däremot påverkas negativt av de regler för arvoden som finns i kommittéförordningen.
• EBA är delvis organisatoriskt åtskild från de verksamheter som ska granskas, framför allt från Sida men också från UD. Kommittéformen avgör i sig inte expertgruppens självständighet och oberoende i det löpande arbetet. Den säkerställs snarare genom att EBA:s direktiv är förhållandevis allmänt hållna samt att expertgruppens ledamöter inte är beroende av sitt uppdrag i kommittén för att försörja sig.
• Kommittéformen minskar inte nämnvärt regeringens möjligheter att få tillgång till relevant kunskap som den kan använda för att styra och utveckla det svenska biståndet. Regeringen kan bestämma vad EBA ska producera oavsett om verksamheten bedrivs i en kommitté eller i en myndighet.
• Kommittéformen har en liten administrativ överbyggnad. EBA använder sig av UD och Regeringskansliets kommittéservice för administrativt stöd. Regeringen ställer också få krav på återrapportering, vilket ger goda förutsättningar för att verksamheten kan bedrivas kostnadseffektivt. En baksida är att det ger något sämre insyn i verksamheten.
• EBA skiljer sig från mer traditionella kommittéer genom att verksamheten är långsiktig och att sekretariatet är större och har formen av ett kansli. Organisationsformen medför att ansvaret är otydligt fördelat mellan kanslichefen och departementet, främst när det gäller vem som har ansvar för kanslipersonalen och deras arbetsmiljö. Ingen av kanslicheferna i EBA, ESO och Delmi har en tydlig arbetsbeskrivning.

Utgångspunkterna för vår analys

Denna rapport ska fungera som ett beslutsunderlag för regeringen om hur den fristående funktionen för att analysera och utvärdera det internationella biståndet ska vara organiserad. Vi ska bedöma om kommittéformen är ändamålsenlig för verksamheten. I vår analys utgår vi från intentionerna med EBA:s verksamhet, de övergripande målen för statlig förvaltning och iakttagelser i Statskontorets tidigare rapporter om analys- och utvärderingsfunktioner.

EBA ska enligt direktiven bidra med kunskap som regeringen kan använda för att utveckla biståndet. Regeringen behöver då relevanta underlag av hög kvalitet. Expertgruppen ska ha en oberoende ställning i relation till det som den granskar och självständigt svara för valet av studier.

Förvaltningspolitiken ska bland annat ska ge en rättssäker och effektiv statsförvaltning med väl utvecklad service och tillgänglighet. Men eftersom EBA inte utför förvaltningsuppgifter mot enskilda medborgare bedömer vi att rättssäkerhet och service är förhållandevis underordnade värden för denna verksamhet. Effektiviteten i den statliga förvaltningen främjas även genom öppenhet och insyn eftersom det ökar möjligheterna till ansvarsutkrävande.^[66]

Statskontoret har i tidigare rapporter om analys- och utvärderingsfunktioner identifierat vad som är viktiga förutsättningar för verksamheten och därmed viktigt att ta hänsyn till för att välja organisationsform. Vi har bland annat konstaterat att en god kompetensförsörjning är en viktig förutsättning för verksamhetens kvalitet.^[67]

När vi i detta kapitel belyser vilka konsekvenser som följer av att EBA:s verksamhet bedrivs som en kommitté gör vi det därför utifrån följande utgångspunkter:

• Regeringen behöver relevant kunskapsunderlag av hög kvalitet.
• Kommittén behöver kunna knyta till sig rätt kompetens.
• Expertgruppen ska ha en oberoende ställning i relation till det som granskas samt självständigt kunna välja ämnen för sina studier.
• Verksamheten ska bedrivas på ett effektivt och transparent sätt.

Redovisningen i detta kapitel ligger till grund för vår analys i nästa kapitel av vilken organisationsform som lämpar sig bäst för EBA:s verksamhet framöver.

Regeringens behov av relevant kunskapsunderlag

I det här avsnittet belyser vi hur organisationsformen påverkar möjligheterna för EBA att producera relevant kunskapsunderlag av hög kvalitet.

Kommittéformen är konstruerad för att ta fram kunskapsunderlag

En kommitté används vanligtvis för statliga utredningar och är till stor del utformad för att ta fram kunskaps- och beslutsunderlag till regeringen. En kommitté kan relativt enkelt och fritt få tillgång till specifik sakkunskap för den fråga som ska utredas. Det är en förutsättning för att kunna producera kunskapsunderlag av hög kvalitet. Regeringen kan utse ledamöter med olika bakgrund och kompetens och kan avgöra hur länge de ska vara förordnade. Regeringen kan också förändra kommitténs uppdrag genom tilläggsdirektiv.

EBA och de andra expertgrupperna, som exempelvis ESO och Delmi, är inga traditionella kommittéer. En av de tydligaste skillnaderna är att kommittéer normalt är tillfälliga medan EBA bedriver en löpande verksamhet. Jämfört med de traditionella kommittéerna har EBA även ett relativt stort sekretariat i form av ett kansli. Det gör det möjligt att producera mer än andra kommittéer.

EBA har fått bättre förutsättningar att göra större studier med mer tid till förfogande genom regeringens uttalande i tilläggsdirektiven om att verksamheten bör ses som långsiktig (se avsnitt 3.7.3). Förändringen innebär att EBA kan planera på längre sikt vilket ger möjlighet till att ta fram flera typer av kunskapsunderlag. Kommittéformen går således att anpassa för att producera kunskapsunderlag av olika typ och omfattning.

Kontinuerlig kunskapsproduktion i egna rapportserier i stället för i SOU-serien

Kommittéförordningen reglerar kommittéernas arbete och gäller i sin helhet även för EBA, liksom för ESO och Delmi. Enligt förordningen ska alla kommittéer redovisa sitt uppdrag i ett eller flera betänkanden som ska publiceras i SOU-serien. Men enligt direktiven ska EBA publicera sina rapporter i en egen rapportserie, något som också gäller för ESO och Delmi. För EBA:s del ger det möjlighet att på ett friare och mer kontinuerligt sätt försörja regeringen med kunskap, vilket är en fördel sett till regeringens mål med verksamheten.

Ibland publicerar kommittéer som inte har haft ett traditionellt utredningsuppdrag ett betänkande i samband med att kommittén avvecklas, men det gäller inte alla. Ett exempel är Expertgruppen för miljöstudier (2003–2012) som inte publicerade något betänkande i samband med att den avvecklades. Detta är i sig kanske inget problem, men är ett exempel på att det är otydligt hur expertgrupperna ska förhålla sig till kommittéförordningens krav på betänkanden.

Direktiven till varaktiga kommittéer är ofta allmänt hållna

Regeringen specificerar genom direktiven vad kommittén ska undersöka och vilka frågor som den ska besvara. Ibland kompletterar regeringen direktiven med tilläggsdirektiv som oftast innehåller ytterligare frågor som kommittén ska behandla. Det ger goda förutsättningar för att kunskapsunderlagen blir relevanta för mottagaren.

Direktiven är mer allmänt formulerade för EBA, och även för de två andra expertgrupperna. Direktiven anger övergripande vilket eller vilka områden som ska studeras. Det är sedan upp till expertgruppen att avgöra vilka frågor som ska undersökas. Detta bidrar till att värna EBA:s självständighet, men det kan också minska förutsättningarna för regeringen att kunna använda den kunskap som kommittén tar fram för att styra och utveckla det svenska biståndet. Men det är också viktigt att notera att detta i huvudsak inte beror på kommittéformen, utan snarare på hur regeringen har valt att tillämpa den.

Kompetensförsörjning till expertgrupp och kansli

En nyckelfaktor för att EBA ska kunna ta fram kunskapsunderlag av hög kvalitet är att kunna knyta till sig rätt kompetens. Direktiven till EBA ställer höga krav på både expertgruppens och kansliets kompetens (avsnitt 2.5.2).

Kompetensförsörjningen till kansliet fungerar men har risker

Kommittéformen har hittills inte medfört några påtagliga problem för EBA:s möjligheter att kunna rekrytera kompetent personal till kansliet. Företrädare för både expertgruppen och UD anser att kanslipersonalen har hög kompetens. Flera av de som vi har intervjuat pekar på att det finns risker för kompetensförsörjningen genom att kanslipersonalen inte kan få en tillsvidareanställning utan enbart ett tidsbegränsat förordnande. Anställningsformen innebär en osäkerhet och skulle kunna innebära en hög personalomsättning eller att det blir svårt att rekrytera kvalificerad personal. Företrädare för ESO och Delmi uttrycker liknande farhågor.

EBA:s kanslipersonal ser inte de tidsbegränsade förordnandena som något stort hinder. Några i personalen är till exempel tjänstlediga från en annan statlig grundtjänst. När EBA annonserar efter ny kanslipersonal har söktrycket varit högt med många kvalificerade sökande. I våra intervjuer påpekar kanslipersonalen däremot att de ser vissa risker med att de nuvarande förordnandena upphör i slutet av 2018. Flera i personalen skulle tvingas att söka nytt arbete om det dröjer för länge med att få förordnandet förlängt.

Verksamheten kan också gynnas av en viss personalomsättning i både kansliet och expertgruppen. En viss omsättning bidrar till att EBA får tillskott av nya perspektiv, idéer och nätverk. Men korta anställningsperioder och en för hög personalomsättning kan däremot påverka verksamheten negativt. Det tar tid att lära känna verksamheten, förstå arbetsprocesserna och bygga upp externa relationer.

Varken EBA, Delmi eller ESO har haft någon särskilt hög personalomsättning de senaste åren. Det talar för att de har kunnat hantera organisationsformens eventuella nackdelar för kompetensförsörjningen. Men vi vill ändå påpeka att det förstås finns en rad andra faktorer än organisationsformen som påverkar om det är lätt eller svårt att rekrytera och behålla personal. Några av de problem som vi har lyft fram i detta avsnitt kan också förekomma i verksamheter som bedrivs i andra organisationsformer.

Expertgruppens sammansättning kan påverkas av ersättningen

Kommittéförordningen är relativt detaljerad när det gäller ersättningen till ledamöterna i kommittén.^[68] Ledamöter ersätts med ett dagarvode på 350 kronor per sammanträdesdag. Ordförande och vice ordförande kan ersättas månadsvis eller med engångsbelopp. Därutöver kan skälig ersättning betalas till den som utför extra arbete. Se även avsnitt 2.6.2 som beskriver vilka ersättningar som EBA:s ledamöter får.

UD uppger att expertgruppens kompetens och sammansättning är viktig för EBA:s verksamhet. De personer som har tillfrågats har överlag varit positiva till att ställa upp som ledamöter. Ledamöterna själva uppger att arbetet i kommittén är givande och stimulerande. Däremot anser flera av dem att ersättningen per sammanträde är låg i förhållande till den arbetsinsats som ofta krävs. Det handlar bland annat om att läsa rapportutkast till rapporter och förslag till nya studier, vilket ofta är ganska omfattande texter. De expertgruppsledamöter som har någon annan heltidssysselsättning kan då behöva använda kvällar och helger. Det innebär att ersättningen per sammanträde kan begränsa möjligheten att rekrytera och behålla ledamöter till expertgruppen.

Expertgruppen har en viktig funktion både när de ska besluta om vilka studier som EBA ska genomföra och för att bedöma kvaliteten på en rapport. Nivån på arvodet riskerar att skicka fel signaler om vilken arbetsinsats som ledamöterna förväntas bidra med.

Ledamöterna i ESO:s styrelse (expertgrupp) har fasta månatliga arvoden, vilket tyder på att departementen använder kommittéförordningen på olika sätt.

Fristående, självständig och oberoende

Regeringen och riksdagen har tidigare har tagit ställning till att det behövs en fristående utvärderings- och analysfunktion (se kapitel 2). Tre viktiga faktorer för EBA:s trovärdighet är kravet på att hålla organisationen skild från biståndsorganisationen och de som genomför politiken, självständighet i valet av studier samt oberoende i förhållande till det som granskas.

EBA är delvis skild från biståndsorganisationen

EBA ingår formellt i Regeringskansliet och där UD ansvarar för att bereda EBA:s budget och direktiv samt att utse ledamöter till expertgruppen. Denna administrativa hantering av EBA hade gällt även om verksamheten hade bedrivits i en egen myndighet. Men UD har också det yttersta ansvaret för kansliets personal, till exempel när det gäller lönesättning.

Förutom att vara ansvarig för kommittén hanterar UD en stor del av biståndsbudgeten. Den organisatoriska åtskillnaden mellan EBA och Sida är alltså tydligare än vad den är mellan EBA och UD. Men EBA sitter rent fysiskt avskild från UD och svarar för de allra flesta av sina egna angelägenheter. Vi kan inte se att kontakterna mellan UD och EBA i administrativa frågor skulle påverka EBA:s självständighet när det gäller att utföra sin verksamhet.

Expertgruppen kan och har agerat självständigt i studievalet

Företrädare för UD anser att EBA:s konstruktion ger goda förutsättningar för expertgruppen att agera självständigt i valet av studier. De anser också att expertgruppen har tagit tillvara den möjligheten. Utifrån de relativt fria ramar som regeringen har gett kommittén upplever de som vi har talat med att EBA har valt studieobjekt, frågor, perspektiv och metoder med integritet.

En viktig del är att ledamöterna inte är beroende av sitt uppdrag i expertgruppen för att försörja sig. UD bedömer att det ökar förutsättningarna för EBA att vara ”obekväma” när de väljer ut sina studier. Flera av de som vi har intervjuat pekar också på att det behövs någon som kritiskt granskar den förda politiken med ett omprövande perspektiv.

Utförarens självständighet och oberoende ska garantera opartiskhet

Den tredje aspekten på EBA:s trovärdighet handlar om att både expertgruppen och den som utför studien ska vara oberoende i relation till det som granskas, det vill säga inte ha varit involverade i den verksamhet som ska granskas och bedömas.

Expertgruppens ledamöter är i sitt yrkesliv i regel involverade i biståndsfrågor på ett eller annat sätt. De kan exempelvis arbeta för civilsamhällets organisationer som ofta har en viktig roll i biståndet, ha ett förflutet på Sida eller någon multilateral biståndsorganisation. Men genom att författarna till studierna självständigt står för innehåll och slutsatser, minskar risken för att enskilda ledamöters personliga engagemang påverkar själva utförandet. Det är samtidigt svårt att säkerställa att en utförare är helt opartisk, inte har kontakter inom eller är påverkad av det område som granskas.

Avvägning mellan att vara självständig och att underlagen blir relevanta för målgruppen

Flera av de aspekter som avgör om organisationen ger självständighet och oberoende fungerar som kommunicerande kärl med förutsättningarna för att studierna ska bli relevanta för mottagaren. Genom att vara nära den verksamhet som studeras är sannolikheten större att eventuella slutsatser och rekommendationer kan bidra till att utveckla verksamheten. Samtidigt kan närheten medföra att verksamheten uppfattas som mindre opartisk.

Kommittéformen tillåter ett förhållandevis brett spelrum när det gäller att balansera mellan oberoende och relevans. Det är ofta hur regeringen tillämpar kommittéformen som avgör hur självständig och oberoende EBA kan vara, och hur relevant deras underlag kan bli för regeringen.

Effektivitet och transparens

I det här avsnittet redogör vi för hur kommittéformen påverkar EBA:s möjligheter att bedriva verksamheten på ett effektivt och transparent sätt. Effektivitet handlar både om kostnadseffektivitet och om effektiva beslutsvägar. Transparens handlar bland annat om medborgarnas och huvudmannens insyn i verksamheten.

Kostnadseffektivt med flexibilitet och en liten administration

Ett av huvudmotiven till att regeringen använde kommittéformen för EBA var att organisationsformen är flexibel. Det är ofta enkelt både att inrätta och att avveckla en kommitté i och med att kanslistrukturen inte är lika stabil som till exempel för en myndighet.

Reglerna runt kommittéformen ger möjligheter att anpassa de administrativa kraven utifrån verksamhetens behov. Kommittéförordningen ställer endast krav på att kommittéerna för protokoll över sina möten och att de lämnar ett budgetförslag samt en årlig redogörelse av arbetsläget till Regeringskansliet. I övrigt saknar kommittéformen i stort sett krav på administrativ och finansiell redovisning.

Kommittéformen kräver ingen större administrativ överbyggnad i och med att kommittén kan använda både Regeringskansliets kommittéservice och det ansvariga departementet som stöd när det gäller exempelvis lokaler, it och personalfrågor. Verksamheten kan arbeta mer kostnadseffektivt om vissa uppgifter hanteras av Regeringskansliet eftersom de har större möjligheter att utnyttja stordriftsfördelar. Det innebär att kommittéformen gör att funktionens anslag i huvudsak kan användas för kärnverksamheten. Fördelen blir extra påtaglig med tanke på EBA:s storlek och budget. Små myndigheters höga administrativa kostnader är dessutom en aktuell fråga som diskuteras i staten.^[69]

UD sköter avgränsade delar av EBA:s administration och personalärenden, vilket inte bara är effektivt för EBA. Vissa processer kan också bli mer omständliga när frågor behöver hanteras av olika personer inom Regeringskansliet. Ett exempel är att statsrådet måste skriva under alla beslut om förordnanden.

Få krav på redovisning ger sämre förutsättningar för insyn

En baksida av att kommittéer har relativt låga krav på administrativ och finansiell redovisning är att det minskar möjligheterna till insyn i verksamheten. Regeringen konstaterar i den senaste förvaltningspolitiska propositionen att effektiviteten i den statliga förvaltningen blir bättre genom öppenhet och insyn.^[70]

Både medborgarnas och huvudmannens möjlighet till insyn i verksamheten försämras med få redovisnings- eller återrapporteringskrav. Kommittéformen medger samtidigt att regeringen själv kan bestämma vilken redovisning den behöver. Då reglerar regeringen detta i direktiven. EBA har exempelvis fler krav på sig att rapportera om sin planerade och pågående produktion än vad både ESO och Delmi har.

Både en del av Regeringskansliet och en fristående funktion

EBA är en fristående funktion, men samtidigt beroende av Regeringskansliet för att få stöd i eller att hantera vissa administrativa frågor. UD har relativt nyligen tagit fram rutiner för kontakterna mellan EBA och UD och för att hantera vissa frågor, men detta dokument har ingen formell status. Det är heller inte tydligt uttalat om det är UD, EBA:s ordförande eller EBA:s kanslichef som ansvarar för vissa frågor, exempelvis personalfrågor och arbetsmiljöfrågor i kommittén. Kanslichefen har ingen tjänstebeskrivning som reglerar ansvar och befogenheter. Problem som detta glapp kan medföra klaras i regel ut i dialog mellan EBA och UD. Däremot kräver dessa oklarheter ibland onödigt mycket tid.

EBA:s verksamhet är långsiktig vilket ställer andra krav på att till exempel kansliets personal får kompetensutveckling. I en kommitté med ett kortare utredningsuppdrag blir en sådan fråga inte aktuell på samma sätt.

Sammantaget finns det alltså flera exempel på att ramarna för kommittéer med varaktiga eller långsiktiga uppdrag är otydliga.

Statskontorets slutsatser om EBA:s verksamhet och organisationsform

I detta kapitel redovisar vi våra slutsatser utifrån de frågor som regeringen har ställt i uppdraget till Statskontoret. En av de två övergripande frågorna är om Expertgruppen för biståndsanalys (EBA) genom sin verksamhet har svarat mot regeringens intentioner och behov av kunskap som grund för att styra och utveckla biståndet. Den andra övergripande frågan är om EBA:s verksamhet är organiserad på ett ändamålsenligt sätt. Våra slutsatser bygger på de iakttagelser som vi beskriver i de tidigare kapitlen i denna rapport. I detta kapitel redovisar vi också våra rekommendationer till regeringen och EBA.

Verksamheten har i delar svarat mot regeringens intentioner och behov

Statskontoret anser att EBA har svarat mot regeringens direktiv och intentioner att kontinuerligt producera olika typer av studier om det svenska biståndet. EBA väljer självständigt vad de ska utvärdera, analysera eller studera. Vår analys visar också att EBA har svarat mot intentionerna att göra kunskap från både egna studier och forskning tillgänglig för regeringen och andra relevanta målgrupper.

Däremot har EBA bara i begränsad utsträckning stärkt utvärderingsverksamheten inom biståndsområdet och svarat upp mot regeringens behov av att få relevanta och användbara studier för att utveckla biståndet. Men vi bedömer att EBA utvecklar verksamheten i den riktning som regeringen förväntar sig. Det finns därför förutsättningar för att EBA kommer att bli bättre på att tillhandahålla kunskap som regeringen kan använda för att styra och utveckla det svenska biståndet.

En kontinuerlig och allt högre produktion

Vi bedömer att EBA tar sig an sina uppgifter seriöst och ambitiöst. Verksamheten börjar också hitta sina former efter en trög start. EBA producerar relativt mycket i förhållande till sina ekonomiska och personella resurser. Under de tre senaste åren har EBA publicerat runt tio rapporter per år i serien EBA-rapporter samt ett antal underlagsrapporter och sammanfattningar av nya avhandlingar. Under 2017 uppnådde EBA sin hittills högsta produktion.

EBA lägger också stor vikt vid sin uppgift att förmedla och kommunicera kunskap, framför allt resultat från egna studier. Genom egna seminarier försöker EBA också sätta studiernas resultat i ett större biståndspolitiskt sammanhang. Seminarierna uppskattas av företrädare för både UD och Sida. EBA kommer framöver att satsa mer på sin kommunikation för att nå ut med resultaten från studierna till rätt målgrupper på ett bättre sätt.

EBA har kunnat producera relativt många rapporter eftersom de till största delen beställer studier och anlitar forskare och andra experter som själva har forskat eller har kunskap inom det område som studien ska behandla. Det har också varit möjligt genom att författarna oftast har anlitats genom direktval och mot en ersättning som ligger under gränsen för direktupphandling. Därmed har EBA fått fler studier för pengarna, men ibland på bekostnad av att de inte tillför så mycket ny information eller blir tillräckligt djupa. En stor del av produktionen har hittills varit av typen kunskapsöversikter och syntesstudier.

EBA kompletterar med seminarier och variationsrik portfölj

Vi bedömer att det inte finns några påtagliga överlappningar mellan EBA och Sida eller mellan EBA och några andra analys- eller utvärderingsmyndigheter. Kansliet bevakar omvärlden kontinuerligt och har löpande kontakter med framför allt Sida. EBA kompletterar Sida genom att skapa en brygga mellan forskning, politik och praktik. De bygger bryggan genom exempelvis sina seminarier, men också genom sammanfattningar av nya avhandlingar. EBA:s studier omfattar också biståndsfrågor på en högre strategisk och organisationsövergripande nivå än vad Sidas studier kan nå inom ramen för sitt uppdrag.

Expertgruppen har använt de möjligheter som direktiven ger för att genomföra många olika typer av studier som kan rikta sig till fler målgrupper än regeringen. EBA:s portfölj av studier har därför blivit variationsrik och ibland har studiens syfte och målgrupp varit oklar. Resultaten i EBA:s målgruppsundersökning från 2016 har uppmärksammat expertgruppen på vikten av att tänka igenom och klargöra både syftet och den primära målgruppen för studien. Vi kan se att EBA:s nu pågående studier tydligare knyter an till det svenska biståndet, antingen till regeringens styrdokument eller till en svensk biståndsaktör.

Ingen tydlig strategi för hur mandatet ska användas

En variationsrik portfölj av studier behöver inte vara någon nackdel för att analysera och bedöma det komplexa biståndet och dess resultat. Men vi bedömer att EBA inte har haft någon tydlig strategi för hur de ska använda sina resurser och sitt mandat på ett effektivt sätt för att nå regeringens mål. Flera av de som vi har intervjuat på UD och Sida uppfattar också att EBA fortfarande famlar efter sin roll och att de behöver ha en tydligare inriktning på verksamheten. Det kan bland annat innebära att EBA behöver prioritera tydligare vad de ska ägna sig åt för studier och vilken inriktning som studierna ska ha.

Vi har haft svårt att bedöma hur EBA:s angivna prioriteringskriterier används och vilka konsekvenser de får för valet av studier. De övergripande frågor som studierna ska utgå ifrån är också relativt breda och öppna till sin karaktär.

Mandatet som extern utvärderare har hittills använts lite men antalet utvärderingar ökar

EBA har hittills i relativt liten utsträckning använt sitt mandat som extern utvärderare och granskare av biståndet. EBA har gjort relativt få utvärderingar. Det innebär att EBA hittills knappt har stärkt utvärderingsverksamheten för biståndsområdet. Men EBA har börjat göra fler utvärderingar efter att regeringen ändrade kommitténs direktiv 2016 och efter att UD uttryckligen har önskat fler utvärderingar.

Vi kan däremot inte bedöma vilken typ av utvärderingar EBA gör och har gjort, och i vilken utsträckning de motsvarar direktiven och regeringens förväntningar. De senast påbörjade gäller enligt kansliet det svenska biståndets effekter och kostnadseffektivitet. EBA har ibland också andra benämningar på sina utvärderingar än vad som anges i direktiven, som exempelvis lärandeutvärdering.

Vi bedömer att regeringen i viss mån har bidragit till att EBA:s verksamhetsinriktning har blivit otydlig och utvärderingarna få. Det finns till exempel inga utförliga förarbeten för EBA att utgå från för att tolka sitt uppdrag. EBA har också fått en delvis annan funktion än den funktion som SADEV hade eftersom EBA ska förmedla kunskap och genomföra fler typer av studier än utvärderingar. De första direktiven styrde därför i viss mån bort EBA från de ursprungliga intentionerna med den självständiga utvärderingsfunktionen. EBA har i praktiken fått större självständighet än SADEV, men den utvärderande eller granskande uppgiften har i direktiven fått en mindre framträdande roll. De nya direktiven uttrycker att EBA ska bedöma biståndet ur flera perspektiv, men anger inte vilken typ av utvärderingar som regeringen främst efterfrågar. Företrädare för Sida framför att EBA kan komplettera Sida med utvärderingar av bland annat biståndets effekter och hållbarhet, det vill säga utvärderingar om biståndets resultat på längre sikt.

Studierna har haft begränsad påverkan på regeringens politik

Enligt företrädare för UD har EBA:s rapporter hittills påverkat regeringens politik i begränsad utsträckning. Det innebär att EBA inte heller i tillräcklig grad har kunnat svara mot regeringens övergripande mål med verksamheten, det vill säga att bidra till kunskap som kan ligga till grund för regeringen att utveckla biståndet och styrningen av biståndet. Enligt företrädare för Sida har studierna inte heller påverkat Sidas sätt att arbeta på något betydande sätt.

EBA:s rapporter har ibland fyllt andra viktiga funktioner, till exempel att ge kunskapsunderlag eller underlag för debatt, bidra till offentlig insyn, bekräfta att regeringens politik är rätt inriktad eller uppmärksamma nya frågor och perspektiv på biståndet som regeringen kan ha nytta av på sikt. Statskontoret pekar i en tidigare rapport på att regeringen borde kunna använda utvärderingar och analyser av det svenska utvecklingssamarbetet mer systematiskt för att analysera resultat på längre sikt och för att utveckla den långsiktiga styrningen av biståndet.^[71]

Intressanta rapporter men svåra att använda praktiskt

Företrädare för både UD och Sida anser att rapporterna ofta är intressanta och att EBA har valt relevanta ämnen, men att resultaten ändå inte blir praktiskt användbara. Det beror oftast på att målgruppen inte uppfattar att rapporten bidrar med ny kunskap eller att den inte kommer i rätt tid för att kunna användas i en aktuell beslutsprocess. Det kan också handla om att studien inte är relevant för det svenska biståndet, eller att författaren inte är tillräckligt insatt i hur det svenska biståndet styrs och genomförs. Allt för akademiska eller i övrigt svårtillgängliga rapporter kan också vara svåra att omsätta till konkret styrning eller verksamhetsutveckling.

Det mesta som EBA publicerar är skrivet på engelska, i vissa fall utan sammanfattningar på svenska. Detta överensstämmer inte med språklagens intentioner och vår tolkning av direktiven. Samtidigt är engelskan en förutsättning för att EBA ska kunna anlita utländska författare och för kommitténs internationella utbyte. Språkvalet är inget hinder för tjänstemän i UD och Sida, men EBA ska som statlig organisation också vara öppen och bidra till insyn i det svenska biståndet. Då går det inte att bortse från att språkvalet kan hindra bland annat den svensktalande allmänheten, riksdagsledamöter och journalister att ta del av resultaten. EBA kan ta stöd av Språkrådet vid Institutet för språk och fornminnen för att utreda hur verksamheten på bästa sätt kan uppnå språklagens intentioner utifrån sina speciella förutsättningar.

Kvalitetssäkringen fungerar i huvudsak bra

Vi bedömer att EBA i huvudsak arbetar på ett ändamålsenligt sätt för att säkerställa att rapporterna ska uppnå en tillräcklig bra kvalitet för att kunna publiceras. Men både EBA och företrädare för målgrupperna anser att enskilda studier har brustit i kvaliteten.

EBA har en tydlig process för kvalitetssäkringen där expertgruppen och referensgrupper med personer med relevant sakkunskap är involverade. Den som är projektansvarig på kansliet har också en viktig funktion genom sina löpande kontakter med författaren och referensgruppens ordförande samt i den slutliga redigeringen.

EBA har flera kontrollstationer under studiens gång, men de syftar i huvudsak till att stödja författaren. EBA håller hårt på författarens självständighet. Självständigheten ska stärka trovärdigheten för resultaten och minska risken för att obekväma resultat inte kommer fram. Men expertgruppen gör ändå vad den kan för att det ska bli en bra rapport, även om författaren enligt avtalet ansvarar för innehåll och slutsatser. Det är vanligt att expertgruppen återremitterar rapporten till författaren för justeringar innan den blir godkänd för publicering. Återremitteringen kan vara ett tecken på att referensgruppen inte har varit sammansatt av personer med rätt kompetens, att den har inte har bestått av tillräckligt många personer eller att författaren inte har tagit till sig av synpunkterna. Expertgruppen ska inför sitt beslut alltså balansera sitt ansvar för att säkerställa kvaliteten mot författarens självständighet och det avtalade ansvaret för studien.

EBA:s val att inte vilja styra författarna för hårt kombineras med att kommittén inte har tagit fram några kriterier för hur referensgruppen och expertgruppen ska bedöma rapporternas kvalitet och relevansen för den tänkta mottagaren. EBA har valt att inte tillämpa OECD-DAC:s kriterier som anges i direktiven. Men expertgruppen ska säkerställa kvaliteten och också ange riktlinjer för verksamheten. Därför bedömer vi att EBA bör ta fram egna kriterier som är anpassade för verksamheten. Det skulle sannolikt ge förutsättningar för en mer enhetlig bedömning som grund för expertgruppens beslut, men även göra det tydligt för författarna vad som förväntas av dem.

Relevansen är fortsatt en stor utmaning för EBA

Genom kvalitetssäkringen kan EBA försöka åtgärda eventuella problem med kvalitet och relevans. Men förutsättningarna för att studierna blir relevanta och användbara för regeringen eller andra som berörs av den grundläggs redan när expertgruppen beslutar om syfte, inriktning och målgrupp.

Vi bedömer att EBA:s största utmaning är att få rapporterna mer relevanta och användbara eftersom de primära målgruppernas synpunkter visar att rapporterna sällan kommer till användning. Om EBA inte lyckas med detta finns det en risk för att kommittén tappar legitimitet. Men EBA ska även ha en granskande funktion och alla studier behöver därför inte vara avsedda att användas i en beslutsprocess.

Vi uppfattar att EBA vill vara relevanta för regeringen och att de därför planerar förändringar eller redan har gjort vissa förändringar i sitt sätt att arbeta för att leverera mer relevanta resultat. Bland annat försöker EBA få in de tänkta mottagarna tidigt i processen och i referensgruppen. EBA har också fått bättre överblick över regeringens styrdokument för biståndet och löptiden för dem. Det gör att de kan få bättre tajming för kommande studier. Genom anbudsförfaranden får EBA in fler förslag att jämföra. Det ger förutsättningar för att välja förslag med en inriktning som är relevant för det svenska biståndet och för regeringens politik. Inriktningen mot att emellanåt göra något större studier ger också möjlighet att ta fram ny kunskap.

Samtidigt uppfattar vi att EBA även i fortsättningen planerar att ge författarna relativt stort utrymme att påverka studiernas inriktning utifrån övergripande frågor. Vi bedömer att tydligare anvisningar från EBA om studiens inriktning eller krav på genomförandet inte nämnvärt minskar författarens självständighet i genomförandet eller möjligheten för författaren att dra egna slutsatser.

Dialog mellan UD och EBA ger relativt bra förutsättningar för relevans

Vi bedömer att dialogen mellan EBA och UD fungerar tillräckligt bra för att ge EBA förutsättningar att producera studier som är relevanta för regeringen, samtidigt som EBA kan behålla sin självständighet när de väljer ut studierna. Expertgruppen har uppvisat integritet genom att ibland välja att genomföra studier som UD inte anser vara relevanta.

EBA och UD är överens om att dialogen dem emellan har blivit allt bättre. Det gäller både dialogen om verksamheten i stort och möjligheten för UD att ge och för EBA att ta emot synpunkter på förslag till enskilda studier. UD:s expert i kommittén har en mycket viktig uppgift både i sin roll och med sitt kontaktnät inom UD. Experten fungerar både som länk mellan UD och EBA och som förmedlare av UD:s synpunkter på de förslag till studier som expertgruppen ska ta ställning till. Experten är uppskattad av EBA för både sin personliga kompetens och sitt arbete med att förmedla kontakter och synpunkter. Men innehållet i rollen är inte formaliserat utan bygger i hög grad på expertens egna ambitioner och överenskommelser med expertgruppen. Det innebär att funktionen är personberoende och därmed sårbar. En arbetsbeskrivning skulle sannolikt göra det lättare för en annan tjänsteman att överta rollen om det skulle bli aktuellt.

EBA behöver få uppslag till studier från UD:s enheter för att kunna bidra med studier som är relevanta för UD och regeringen. Men vi har förstått att det ibland är en utmaning att få enheterna engagerade i att identifiera behov av kunskapsunderlag i ett mer långsiktigt perspektiv. Tjänstemännen kan ha svårt att få tid att lyfta blicken från de dagsaktuella politiska frågorna. Detta förhållande råder inte EBA över, utan är en fråga för UD. Vi bedömer att EBA även fortsättningsvis måste ta ansvar för att generera idéer till nya studier, och att de bör stämma av dem med berörda enheter för att rapporterna ska bli så relevanta som möjligt. Våra intervjuer tyder på att en tidig kontakt även kan underlätta för målgruppen att ta emot resultaten. Det kan även vara viktigt att författaren har kontakt med den berörda enheten. Sådana kontakter är särskilt viktiga om EBA:s studier även i fortsättningen främst ska verka för lärande och utveckling.

EBA bör fortsätta att bedrivas som kommitté

Statskontoret bedömer att EBA:s verksamhet även i fortsättningen bör bedrivas som en kommitté i samma form som EBA har haft sedan starten. Myndighetsformen bör normalt vara förstahandsalternativet, men en förändring av organisationen skulle innebära en ny omstart för verksamheten. Det skulle kunna medföra både omställningskostnader och en risk för att kommitténs produktion skulle minska. Det är inte heller säkert att en förändrad organisationsform skulle ge EBA bättre förutsättningar att uppfylla regeringens mål – och vi bedömer att EBA:s verksamhet på flera sätt utvecklas i den riktning som regeringen vill.

Myndighet ska vara huvudalternativ för statlig verksamhet

Valet av organisationsform för en verksamhet bör utgå från verksamhetens syfte, inriktning och omfattning.^[72] Regeringen har tidigare slagit fast att myndighetsformen ska vara huvudalternativet för att organisera och bedriva statlig verksamhet. ^[73] Myndighetsformen uppfyller kraven på insyn och tydliga ansvarskedjor och ger goda möjligheter för regeringen att anpassa sin styrning och myndighetens organisation till olika förutsättningar.

Myndigheter har också en fristående ställning och långtgående befogenheter att besluta om hur de ska lösa sina uppgifter. Därför bör myndighetsformen vara huvudalternativet när uppgifterna är styrande eller policyinriktade, det vill säga när uppgifterna ska bidra till att nå politiska mål.

Organisationsformer av privaträttslig karaktär ska enligt regeringen bara användas om det finns särskilda skäl. Men en myndighet kan låta privaträttsliga organ utföra olika operativa uppgifter om myndigheten själv inte kan vara tillräckligt flexibel och effektiv.

Inga stora skillnader mellan myndighet och kommitté

Statskontoret har i en tidigare rapport bedömt att skillnaderna mellan kommittéformen och myndighetsformen främst är av teknisk och administrativ art. Det finns alltså inte finns någon praktisk skillnad mellan dem som är avgörande för regeringens möjligheter att styra verksamheten och dess förutsättningar. Genom tilläggsdirektiv kan regeringen låta en kommitté fortsätta att bedriva verksamheten hur länge som helst, eller avsluta den i förtid. Myndighetsformen behöver inte vara tryggare. Regeringen kan lägga ned en myndighet när som helst.^[74]

Den verksamhet som EBA bedriver är ett statligt åtagande och verksamheten kan betraktas som policyinriktad. Därför borde den enligt huvudregeln bedrivas i myndighetsform. Men den nuvarande organisationsformen ger EBA befogenhet att självständigt besluta om verksamhetens inriktning och om vilka studier som ska genomföras. Regeringens tanke med det nuvarande sättet att organisera verksamheten med en expertgrupp och ett kansli är också att EBA endast i begränsad utsträckning själva ska utföra den operativa verksamheten. De förväntas i första hand beställa studier av andra utförare för att kunna vara flexibla och kunna få tillgång till rätt kompetens för de olika studierna.

Finns inga lämpliga myndigheter att inordna EBA i

Om regeringen väljer myndighetsformen finns det ingen uppenbart lämplig kandidat att inordna EBA i som kan tillgodose de övriga krav som finns på funktionen. EBA:s verksamhet ska enligt regeringens och riksdagens beslut bedrivas organisatoriskt åtskild från de myndigheter som hanterar biståndsmedel eller bedriver biståndsverksamhet. Därför är det inte lämpligt att inordna EBA:s verksamhet i exempelvis Sida, Regeringskansliet eller Folke Bernadotteakademin. Vi ser heller inga andra lämpliga statliga organisationer som med fördel skulle kunna inrymma denna sektorsspecifika verksamhet.

En möjlighet skulle vara att knyta verksamheten till ett universitet eller en högskola. Statskontoret har tidigare lyft fram att den miljön kan vara positiv för kompetensförsörjningen och oberoendet för en analys- och utvärderingsfunktion. Men det skulle samtidigt göra det svårare för funktionen att bli relevant för mottagaren.^[75] EBA:s nuvarande organisationsform har inte medfört några stora problem för kompetensförsörjningen, självständigheten i förhållande till regeringen eller oberoendet i förhållande till det som EBA analyserar. Däremot är utmaningarna större när gäller relevansen. Vi bedömer därför att det är angeläget att inte ytterligare försvåra förutsättningarna för EBA att bli relevanta för regeringen och andra viktiga målgrupper.

Två alternativa ledningsformer för en permanent myndighet

Vi bedömer att huvudalternativet till EBA:s nuvarande organisationsform är att bilda en ny förvaltningsmyndighet. Myndighetsförordningen anger tre möjliga ledningsformer: enrådighetsmyndighet, styrelsemyndighet eller nämndmyndighet.^[76] Vilken ledningsform som ska användas beror på verksamhetens art, politiska prioriteringar och regeringens behov av att styra myndigheten.^[77]

Regeringen har angett att formen nämndmyndighet bör användas sparsamt. En förutsättning för att välja denna form är att det är nödvändigt att verksamheten fattar beslut kollektivt. En nämndmyndighets uppgifter är oftast reglerade i lag och är väl avgränsade. EBA har ett kollektivt beslutsfattande, men uppgifterna är varken reglerade i lag eller tydligt avgränsade.

Expertgruppens kollektiva beslutsfattande har gynnat verksamheten. Men vi bedömer att det går att upprätta ett liknande beslutsorgan även i en styrelsemyndighet och i en enrådighetsmyndighet. Det finns argument som talar för båda ledningsformerna, så valet beror på vad regeringen vill prioritera. I den förvaltningspolitiska propositionen anger regeringen att enrådighet är en lämplig form för verksamheter med främjande karaktär och för myndigheter med en liten budget. En styrelsemyndighet är lämplig för bland annat en forskningsintensiv eller kunskapsproducerande verksamhet.

Statskontorets kartläggning 2014 av sektorsspecifika utvärderingsmyndigheter i staten visar att de flesta är enrådighetsmyndigheter, men att det även finns de som leds av en styrelse.^[78] Ett motiv till att Myndigheten för vård- och omsorgsanalys leds av en styrelse är att regeringen ansåg att det är särskilt viktigt att myndigheten självständigt avgör vad de ska studera och att ledamöterna kan bidra med strategiskt stöd i dessa val. Det stämmer väl överens med motiven för hur EBA är organiserad. Samtidigt är det möjligt att få till liknande konstruktioner även för enrådighetsmyndigheter. Ett exempel är Finanspolitiska rådet som är en enrådighetsmyndighet som har ett särskilt beslutsorgan i form av ett råd som beslutar om myndighetens årliga rapport.

Vi bedömer alltså att det går att organisera en förvaltningsmyndighet på ett sätt som skulle kunna bedriva en verksamhet som liknar den som EBA bedriver i dag. Myndighetsformen skulle ge verksamheten något fastare administrativa former och ett tydligare ansvar till myndighetschefen, det vill säga det som i EBA motsvarar kanslichefen.

Vilken ledningsform som skulle vara mest lämplig avgörs av vilka avvägningar regeringen vill göra mellan exempelvis myndighetens självständighet och regeringens möjligheter att styra den. Men avvägningarna skulle snarare handla om gradskillnader än om artskillnader. Statskontoret har tidigare konstaterat att förhållningssättet hos regeringen och övriga inblandade aktörer oftast är mer avgörande än ledningsformen.^[79] Det visar också erfarenheterna från SADEV, där regeringen med särskilda regeringsuppdrag minskade myndighetens möjligheter att själv välja vad den skulle studera.

En omorganisation kan innebära både risker och kostnader

En omorganisering av EBA från kommitté till förvaltningsmyndighet skulle innebära både omställningskostnader och risker för verksamheten. Riskerna är framför allt att produktiviteten kan minska under en övergångsperiod. Det visar inte minst erfarenheterna från starten av EBA, trots att ambitionen var att det inte skulle uppstå något glapp i verksamheten när SADEV avvecklades. Jämfört med kommittéformen medför myndighetsformen även fler administrativa krav som skulle kräva något mer resurser för administration. Detta skulle minska kärnverksamhetens resurser om inte regeringen skulle tillföra nya resurser för den ökade administrationen.

Vi bedömer att EBA:s verksamhet utvecklas i den riktning som regeringen eftersträvar. En risk med en omorganisation är att EBA:s förändringsarbete tappar kraft eller avstannar. Därför bör regeringen ställa eventuella positiva effekter av en organisationsförändring i relation till de negativa effekter den kan ge.

EBA bör fortsätta sin verksamhet i samma organisationsform

Statskontoret föreslår att regeringen låter EBA fortsätta att bedriva sin verksamhet i nuvarande organisationsform. EBA:s organisationsform har inte hindrat kommittén att producera kunskapsunderlag för regeringen och andra målgrupper på ett kostnadseffektivt sätt. Kompetensförsörjningen har i huvudsak fungerat väl och EBA har kunnat agera självständigt och med integritet. En förändring från kommitté till myndighet skulle sannolikt inte ge EBA påtagligt bättre möjligheter att utföra sitt uppdrag. Regeringen har tidigare provat olika former för analys- och utvärderingsfunktionen, men ingen av dem har varit långvarig. Det talar för att det är svårt att hitta en idealisk form för verksamheten och att den också är svår att bedriva på ett sätt som tillfredsställer alla behov och förväntningar. EBA:s utmaning är att väga självständigheten i valet av studier mot att vara relevant för regeringens politik. Vi förväntar oss att denna utmaning finns kvar oavsett organisationsform.

Om regeringen väljer att låta EBA fortsätta sin verksamhet i sin nuvarande organisationsform behöver regeringen också ta ställning till om kommittén ska ha ett tidsbegränsat eller ett löpande uppdrag. Som jämförelse är uppdraget till ESO inte tidsbegränsat. Oavsett vad regeringen väljer har regeringen också möjlighet att när som helst ompröva organisationsformen, se över verksamheten och justera uppdraget.

Den nuvarande organisationsformen medför vissa otydligheter för kommittéer med ett löpande uppdrag (se kapitel 6). Regeringen kan åtgärda en del av otydligheterna för att ge EBA bättre förutsättningar att bedriva en stabil verksamhet. Det gäller till exempel att klargöra kanslichefens ansvar och att se över nivån på sammanträdesarvodet. Det finns heller inget som hindrar att regeringen i direktiven anpassar kraven på EBA:s återrapportering så att regeringen får den information den behöver för att kunna följa verksamhetens utveckling.

EBA:s fortsatta verksamhetsutveckling

I uppdraget till Statskontoret anger regeringen att Statskontoret har möjlighet att lämna rekommendationer till EBA som stöd för verksamhetens fortsatta utveckling om vi bedömer att organisationsformen ska bestå.

Vi har i rapporten uppmärksammat flera saker i verksamheten och styrningen av den som kan bli bättre och även ansvarsförhållanden som kan bli tydligare. Men EBA har en liten kanslifunktion och en strategisk ledning som sammanträder tio gånger per år. Det sätter gränser för vad som är möjligt och rimligt att utveckla. Valet av utvecklingsinsatser måste också grundas i väl avvägda prioriteringar som EBA själva måste ta ansvar för. Då behöver EBA också följa upp resultatet av de utvecklingsinitiativ som redan har påbörjats och de som framöver kommer att genomföras. Vi bedömer att EBA i första hand behöver förbättra sina förutsättningar för att kunna producera rapporter som i så hög grad som möjligt är relevanta och användbara för regeringen. Det är EBA:s största utmaningar.

Vi rekommenderar också att EBA och UD använder denna rapport som grund för att gemensamt diskutera dels om direktiven ytterligare behöver förtydligas, dels vilka delar av EBA:s verksamhet som det är mest angeläget att utveckla. Detta kan ske på ett sätt som liknar den dialog som ansvariga departement har med myndigheter utifrån Statskontorets myndighetsanalyser. Även om EBA också i fortsättningen ska ha en hög grad av självständighet bedömer vi att regeringen har ett ansvar för att se till att kommittén får så bra förutsättningar som möjligt för verksamheten.

Referenser

Expertgruppen för biståndsanalys 2013-10-30. Rapport över Expertgruppens arbete till och med oktober 2013.

Expertgruppen för biståndsanalys. (2013–2018). Protokoll från expertgruppens möten 2013-10-08–2018-03-14.

Expertgruppen för biståndsanalys 2014-12-16. Beslutsordning ekonomiska beslut. Promemoria.

Expertgruppen för biståndsanalys 2015-04-14. Terms of Reference for Proposal – Evaluation study of Swedish Long-Term Development Cooperation at country level.

Expertgruppen för biståndsanalys 2015-10-05. The Local Turn of Peacebuilding – Revising a Dogma? Promemoria.

Expertgruppen för biståndsanalys. (2016). Vem lär av EBA? Användning och tillvaratagande av EBA:s rapporter – en intervjustudie. Promemoria.

Expertgruppen för biståndsanalys. (2017). Uppföljning och kartläggning av Expertgruppen för biståndsanalys arbete. Promemoria.

Expertgruppen för biståndsanalys 2017-08-28. Riktlinjer för referensgrupper. Promemoria.

Expertgruppen för biståndsanalys 2017-11-23. Verksamhetsstrategi.

Expertgruppen för biståndsanalys 2017-11-28. Policy samt riktlinjer för upphandling. Promemoria.

Kommittédirektiv 2007:46. Expertgrupp för studier i offentlig ekonomi.

Kommittédirektiv 2013:102. Delegation för migrationsstudier.

Kommittédirektiv 2013:11. Expertgrupp för utvärdering och analys av Sveriges internationella bistånd.

Kommittédirektiv 2016:71. Tilläggsdirektiv till Expertgruppen för biståndsanalys.

Kommittédirektiv 2017:5. Tilläggsdirektiv till delegation för migrationsstudier.

OECD-DAC. (1991). Principles for Evaluation of Development Assistance.

OECD-DAC. (2010). Quality Standards for Development Evaluation.

Proposition 2002/03:122. Gemensamt ansvar: Sveriges politik för global utveckling.

Proposition 2009/10:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt.

Proposition 2012/13:1. Budgetpropositionen för 2013. Utgiftsområde 7. Internationellt bistånd.

Regeringsbeslut 2017-11-30. Uppdrag att göra en översyn av Expertgruppen för biståndsanalys (UD2013:01). (Dnr UD2017/19685/IU).

Regeringskansliet, Utrikesdepartementet. (2014). Vägledning för att omhänderta biståndsrelevanta utvärderingar, analyser och studier inom UD. (Dnr UF2014-81989-UD-USTYR).

Regeringskansliet, Utrikesdepartementet 2012-12-11. Förslag om en ny funktion för utvärdering av Sveriges internationella bistånd – sammanfattning. Promemoria.

Regeringskansliet, Utrikesdepartementet 2016-02-17. Förtydligande av EBA:s kommittédirektiv.

Regleringsbrev för budgetåret 2012 avseende Institutet för utvärdering av internationellt utvecklingssamarbete.

Regleringsbrev för budgetåret 2018 avseende anslag 1:6 Utvärdering av internationellt bistånd.

Sida. (2015–2017). Sidas årsredovisningar för 2015–2017.

Statens offentliga utredningar. (2018). Frågor och svar om kommittéer. (Hämtad 2018-03-26). http://www.sou.gov.se/

Statens servicecenter. (2016). Effektivare administration och minskade administrativa kostnader för små myndigheter. (Dnr 10240-2016/1211).

Statskontoret. (2011). Friststående utvärderingsmyndigheter – en förvaltningspolitisk trend? (Om offentlig sektor).

Statskontoret. (2011). Styrning av svensk biståndspolitik. En utvärdering. (2011:25).

Statskontoret. (2012). Utvärdering av svenskt bistånd. En översyn av utvärderingsverksamheten. (2012:17).

Statskontoret. (2012). Vad gör Regelrådet? Arbetsprocesser, roller och organisation för enklare regler. (2012:27).

Statskontoret. (2013). Nordiska Afrikainstitutets organisation och funktion. (2013:3).

Statskontoret. (2014). Myndigheternas ledningsformer – en kartläggning och analys. (2014:4).

Statskontoret. (2014). Utvärdering på olika områden. En analys av sektorsspecifika utvärderingsmyndigheter. (2014:7).

Statskontoret. (2017). Kostnaden för små myndigheter. (Dnr 2017/229-5)

Svenska Dagbladet. 2018-05-28. Biståndet kan enkelt effektiviseras.

Regeringsuppdraget

Publicerade rapporter i serien EBA-rapporter 2014–2017 och pågående studier i mars 2018

Kommentar: Rapporter i fetstil markerar vilka studier vi har valt för en närmare analys.

Fotnoter

1. Dir. 2013:11. Expertgrupp för utvärdering och analys av Sveriges internationella bistånd. ↑

2. Förordning (2005:1214) med instruktion för Institutet för utvärdering av internationellt utvecklingssamarbete. ↑

3. Kommittén för analys av utvecklingssamarbete (Secretariat for Analysis of Swedish Development, SASDA) med sekretariatet SAU 1993–1995 och Expertgruppen för studier av utvecklingsfrågor (Expert Group of Development Issues, EGDI) 1998–2003. ↑

4. Prop. 2012/13:1, bet. 2012/13:UU2, rskr. 2012/13:91. ↑

5. Statskontoret (2012:17). Utvärdering av svenskt bistånd. En översyn av utvärderingsverksamheten. ↑

6. Regeringskansliet, Utrikesdepartementet 2012-12-11. Förslag om en ny funktion för utvärdering av Sveriges internationella bistånd – sammanfattning. ↑

7. Ibid. ↑

8. http://www.sou.gov.se/fragor-och-svar-om-kommitteer/ (Hämtad 2018-03-26). ↑

9. Dir. 2013:11 Expertgrupp för utvärdering och analys av Sveriges internationella bistånd. ↑

10. Anslag 1:6 Utvärdering av internationellt bistånd. ↑

11. Regleringsbrev för budgetåret 2018 avseende anslag 1:6 Utvärdering av internationellt bistånd. Anslagspost 4 Expertgrupp för utvärdering och analys av Sveriges internationella bistånd (ram). ↑

12. Dir. 2016:71. Tilläggsdirektiv till Expertgruppen för biståndsanalys. ↑

13. Regeringsbeslut 2017-11-30. Uppdrag att göra en översyn av Expertgruppen för biståndsanalys (UD2013:01). (Dnr UD2017/19685/IU). ↑

14. Dir. 2007:46 Expertgrupp för studier i offentlig ekonomi. Dir. 2013:102 Delegation för migrationsstudier och Dir. 2017:5 Tilläggsdirektiv till delegation för migrationsstudier. ESO är den äldsta av kommittéerna. ESO inrättades 1981, lades ned 2003 och återinrättades 2007. EBA är störst av EBA, ESO och Delmi, sett till antalet ledamöter och kommitténs budget. ↑

15. Dir. 2016:71. Tilläggsdirektiv till Expertgruppen för biståndsanalys (UD 2013:01). ↑

16. Bet. 2012/13:UU2, sid. 42. ↑

17. Prop. 2002/03:122, bet. 2003/04:UU3, rskr. 2003/04:112. ↑

18. Statskontoret (2012:17). Utvärdering av svenskt bistånd. En översyn av utvärderingsverksamheten. Statskontoret (2014:7). Utvärdering på olika områden. En analys av sektorsspecifika utvärderingsmyndigheter. ↑

19. Expertgruppen för biståndsanalys 2017-11-23. Verksamhetsstrategi. ↑

20. Förordning (2007:1300) med instruktion för Institutet för utvärdering av internationellt utvecklingssamarbete. ↑

21. Regleringsbrev för budgetåret 2012 avseende Institutet för utvärdering av internationellt utvecklingssamarbete. Anslag 1:6, anslagspost 1. ↑

22. Statskontoret (2012:17). Utvärdering av svenskt bistånd. En översyn av utvärderingsverksamheten. ↑

23. Sidas årsredovisningar för 2015, 2016 och 2017. ↑

24. Ibid. ↑

25. Regeringskansliet, Utrikesdepartementet 2016-02-17. Förtydligande av EBA:s kommittédirektiv. ↑

26. Regeringskansliet, Utrikesdepartementet (2014). Vägledning för att omhänderta biståndsrelevanta utvärderingar, analyser och studier inom UD. (Dnr UF2014-81989-UD-USTYR). ↑

27. Språkrådets uttolkning av språklagen (2009:600). http://www.sprakochfolkminnen.se/sprak/sprakpolitik/spraklagen.html. Mejlsvar från Språkrådet vid Institutet för språk och folkminnen, 2018-04-17. ↑

28. 17–18 §§ kommittéförordningen (1998:1474). ↑

29. 6 § och 10–11 §§ språklagen (2009:600). ↑

30. OECD-DAC (1991). Principles for Evaluation of Development Assistance. OECD-DAC (2010). Quality Standards for Development Evaluation. ↑

31. 19 § kommittéförordningen (1998:1474). ↑

32. 3–4 §§ myndighetsförordningen (2007:515). ↑

33. EBA 2013-10-30. Rapport över Expertgruppens arbete till och med oktober 2013. ↑

34. Protokoll från expertgruppens möte 2016-12-15. ↑

35. EBA 2017-11-23. Verksamhetsstrategi. ↑

36. EBA 2017-11-23. Verksamhetsstrategi. ↑

37. Svenska Dagbladet. 2018-05-28. Biståndet kan enkelt effektiviseras. ↑

38. EBA 2014-12-16. Beslutsordning ekonomiska beslut. ↑

39. EBA 2018-04-27. Sweden´s Development Support to Tax Systems. EBA 2018-04-23. Rättsstatens principer och svenskt utvecklingssamarbete. ↑

40. EBA 2018:02. Building bridges between international humanitarian and development responses to forced migration. ↑

41. Språkrådets uttolkning av språklagen (2009:600). http://www.sprakochfolkminnen.se/sprak/sprakpolitik/spraklagen.html ↑

42. EBA 2015-04-14. Terms of Reference for Proposal – Evaluation Study of Swedish Long-Term Development Cooperation at Country Level. ↑

43. EBA-rapport 2016:09. Exploring Donorship – internal factors in Swedish aid to Uganda. ↑

44. EBA-rapport 2016:10. Swedish Development Cooperation with Tanzania – has it helped the poor? ↑

45. EBA (2017). Uppföljning och kartläggning av Expertgruppen för biståndsanalys arbete. ↑

46. Ibid. ↑

47. Direktupphandlingsgränsen var 284 631 kronor 2012–2013, 270 964 kronor 1 januari–30 juni 2014, 505 800 kronor 1 juli 2014–31 december 2015, 534 890 kronor 2016–2017 och är 586 907 kronor 2018. ↑

48. EBA 2016:10. Swedish Development Cooperation with Tanzania – has it helped the poor? ↑

49. EBA 2016:02. Education in developing countries: What policies and programmes affect learning and time in school? EBA 2017:03. Animal health in development – its role for poverty reduction and human welfare. ↑

50. Kanslipromemoria till EBA 2017:05. Local Peacebuilding – Challenges and Opportunities. ↑

51. EBA 2016:05. Pathways to Change: Evaluating Development Interventions with Qualitative Comparative Analysis (QCA). ↑

52. EBA 2017-11-24. EBA:s arbetsformer. ↑

53. EBA (2016). Vem lär av EBA? Användning och tillvaratagande av EBA:s rapporter – en intervjustudie. Uppföljningen gäller EBA-rapporter med nummer 2014:01–2015:08. ↑

54. EBA (2017). On-going evaluation of gender mainstreaming at Sida – First report. Working paper 2017-04-19. ↑

55. EBA (2018). On-going evaluation of gender mainstreaming at Sida – Second report. Working paper 2018-04-10. ↑

56. ”(i) Has Swedish aid contribute to poverty reduction in the chosen country over time, and if so, in what way? (ii) What are the important lessons for Swedish development cooperation today?” (Källa: Utlysningens ”Terms of Reference”) ↑

57. EBA (2018). Rättsstatens principer och svenskt utvecklingssamarbete. Working paper 2018-04-23. ↑

58. Protokoll från expertgruppens möte 2014-04-01, 2016-09-05 och 2016-10-10. ↑

59. EBA 2017-11-24. EBA:s arbetsformer. ↑

60. Protokoll från expertgruppens möten 2014–2017. ↑

61. EBA 2017-11-28. Policy samt riktlinjer för upphandling. ↑

62. Dessa frågor är: Har klimatsatsningen bidragit till hållbar klimatanpassning (adaptation) och utsläppsminskning av växthusgaser (mitigation) i fattigare länder? I så fall varför, på vilket sätt och i vilken utsträckning? Vad kan man lära av klimatsatsningen för dagens svenska klimatbistånd? ↑

63. EBA 2017-08-28. Riktlinjer för referensgrupper. ↑

64. Protokoll från expertgruppens möte 2018-03-14. ↑

65. EBA (2016). Vem lär av EBA? Användning och tillvaratagande av EBA:s rapporter – en intervjustudie. Intern promemoria. EBA (2017). Uppföljning och kartläggning av Expertgruppen för biståndsanalys arbete. Intern promemoria. ↑

66. Prop. 2009/10:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt. ↑

67. Statskontoret (2012:17). Utvärdering av svenskt bistånd. En översyn av utvärderingsverksamheten. Statskontoret (2014:7). Utvärdering på olika områden. En analys av sektorsspecifika utvärderingsmyndigheter. ↑

68. 25–31 §§ kommittéförordningen (1998:1474). ↑

69. Statskontoret (2017). Kostnader för små myndigheter. (Dnr 2017/229-5.) Statens Servicecenter (2016). Effektivare administration och minskade administrativa kostnader för små myndigheter. (Dnr 10240-2016/1211.) ↑

70. Prop. 2009/10:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt. ↑

71. Statskontoret 2011:25. Styrning av svensk biståndspolitik. ↑

72. Statskontoret (2012:27). Vad gör Regelrådet? Arbetsprocesser, roller och organisation för enklare regler. ↑

73. Prop. 2009/2010:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt. ↑

74. Statskontoret (2012:27). Vad gör Regelrådet? Arbetsprocesser, roller och organisation för enklare regler. Vid tidpunkten för analysen var Regelrådet en kommitté, men är sedan 2015 ett särskilt beslutsorgan i Tillväxtverket. ↑

75. Statskontoret (2011). Friststående utvärderingsmyndigheter – en förvaltningspolitisk trend? Statskontoret (2013:3). Nordiska Afrikainstitutets organisation och funktion. ↑

76. 2 § myndighetsförordningen (2007:515). ↑

77. Prop. 2009/10:175. Offentlig förvaltning för demokrati, delaktighet och tillväxt. ↑

78. Statskontoret (2014:7). Utvärdering på olika området. En analys av sektorsspecifika utvärderingsmyndigheter. ↑

79. Statskontoret (2014:4). Myndigheternas ledningsformer – en kartläggning och analys. ↑