Некоммерческий сектор прошел долгий путь от оценки изменений среднесрочного характера (outcomes) до измерения долгосрочного социального эффекта (impact) и постепенно вступил в дискуссию о надлежащих методологиях оценки и стандартах качества доказательной информации (evidence). Более того, некоторые НКО разработали весьма сложные подходы к оценке и стали сторонниками «рандомизированных конторолируемых исследований» (РКИ), за которыми закрепилась репутация золотого стандарта исследовательской научной практики. Однако в тех случаях, когда оценщики изучают комплексные преобразования, нацеленные на решение сложных социальных проблем, РКИ по многим параметрам уступают квази-экспериментальными методам, предполагающим формирование групп (для сравнения результатов) не по случайной выборке, а по определенным признакам и критериям. В целом можно сказать, что применение РКИ в социальной сфере является проблематичным по целому ряду причин:

• РКИ являются масштабным и затратным мероприятием: чем больше выборка, тем точнее и качественнее информация, и тем выше затраты. Кроме того, подобные исследования занимают много времени, а НКО не могут ждать слишком долго – им нужно оперативно отчитываться перед стейкхолерами и постоянно привлекать новые ресурсы.
• Для проведения РКИ нужны специальные технические компетенции. Поэтому чаще всего НКО вынуждены искать и приглашать внешних консультантов.
• Когда НКО работают с уязвимыми гражданами (такими как женщины и дети, жертвы домашнего насилия и др.), возникают вопросы этического характера, ограничивающие возможности для получения необходимой информации.
• Результаты участников программ и контрольной группы нередко вызывают сомнения, потому что в повседневной жизни на людей воздействует множество неучтенных факторов. Также не стоит забывать о том, что участие в РКИ является добровольным делом, и субъекты, включенные в выборку исследования, могут «выйти из игры» в любой момент.
• РКИ успешно оценивают эффективность отдельной программы в определенном внешнем окружении, но не позволяют делать обобщения, которые необходимы для широкого применения успешных моделей или практик в разных контекстах.

Основываясь на этих наблюдениях, глава Службы оценки для НКО Национального совета добровольных объединений (CES NCVO) сделала вывод о том, что РКИ, безусловно, являются ценным инструментом некоммерческой оценочной практики, но когда речь идет об эффектах комплексных программ, подобную работу лучше проводить в сочетании с другими методами (кейс-стади, формативная оценка и т.д.), и активнее пропагандировать смешанный тип оценки.

Источник: Рандомизированные контролируемые исследования – золотой стандарт или иллюзия? Роль эксперимендальных методов в практике оценки социального эффекта в доброльном секторе. Салли Капитт [Randomised controlled trials – gold standard or fool’s gold? The role of experimental methods in voluntary sector impact assessment. Sally Cupitt] Charities Evaluation Services of the National Council for Voluntary Organizations (Великобритания). Май 2015