Показатели социального прогресса: все познается в сравнении

Оценка должна способствовать обучению НКО и поддерживать постоянную обратную связь с причастными субъектами. Это взаимодействие должно осуществляться посредством толкования актуальных данных в соотношении с тем, что уже существует. Иными словами, благотворительным институтам следует знать, с кем (или с чем) они должны себя сравнивать, насколько значимы их результаты, и как использовать сравнительный анализ для улучшения своей практики.

Задача понятна, но как ее решить, порой не ясно. Чтобы откликнуться на эту потребность, учебно-исследовательская некоммерческая корпорация MDRC (США) решила поделиться с коллегами по сектору своей разработкой — рамочной концепцией, в которой используются две базовые категории. Первая характеризует «услуги некоммерческой организации» — то, что делают сотрудники НКО, а вторая включает «социальные результаты» (outcomes) – изменения в жизни целевых аудиторий, происходящие вследствие получения социальных услуг. В рамках этих категорий можно сравнивать как внутренние, так и внешние параметры.

  • Отличаться от других недостаточно, нужно быть лучше. Изучая свои услуги, следует уделять особое внимание стандартам «безупречного исполнения» (fidelity of implementation). Для этого нужно убедиться в том, что специалисты на местах выполняют все необходимые предписания или хотя бы соблюдают тот минимум, который позволяет говорить о добросовестной практике. Так выглядит внутренний оценочный ориентир, отражающий фактическое состояние сервиса в сравнении с организационной моделью социальной службы. А внешний ориентир заключается в поиске «отличительных черт» (service contrast) — сопоставлении работы НКО с практикой других учреждений в данной сфере деятельности. Благодаря такому подходу можно выяснить, чем отличаются программы организации от других предложений, и, возможно, удостовериться в том, что они лучше, чем у других.

Точно так же внутренние и внешние ориентиры используются для оценки «социальных результатов». Например, если вы работаете со школьниками, то можно сравнить их достижения в начале и в конце учебного года, и, затем, сопоставить показатели выпуска с данными за прошлый год. Эти внутренние параметры характеризуют только целевые аудитории, и свидетельствуют о постепенном изменении их индивидуальных результатов. А внешний анализ строится на сравнении двух сценариев, один из которых предусматривает услуги организации, а второй — нет. Действуя подобным образом, можно понять, что именно изменилось в жизни молодых людей, и как повлияла на их взгляды и социальный статус программа НКО. Профессиональные оценщики называют такие перемены «социальным эффектом» (impact).

Очень важно, чтобы сотрудники НКО научились разделять внешние и внутренние параметры и, опираясь на эти знания, могли делать объективные выводы относительно безупречности и эффективности своей работы. В качестве учебного пособия эксперты MDRC предлагают воспользоваться отчетом об «оценке, основанной на применении метода случайной выборки» (random assignment evaluation), которая была проведена в 2008 году для Академий карьеры (Career Academies), осуществляющих подготовку старшеклассников к вступлению во взрослую жизнь.

  • Социальная эффективность бывает изменчивой. В отчете, в частности, говорится о том, что в зависимости от уровня безупречности услуг (высокий, средний и низкий), выпуск в Академиях составил 85%, 72% и 71% соответственно. Следует признать, что разница межу социальными результатами (outcomes), полученными разными исполнителями («безупречными» и «не очень»), оказалась не особо значительной, но итог внутреннего анализа в целом выглядел удовлетворительно. Однако вопрос «По сравнению с чем?» изменил историю кардинальным образом. Чтобы найти ответ, оценщики сопоставили показатели участников программы и контрольных групп (КГ) – молодых людей, которые учились в тех же школах, но не посещали курсы Академий. Итоги этого внешнего анализа показали, что (1) выпуски в КГ и в безупречных Академиях практически не отличались друг от друга (84% и 85%), (2) Академии среднего уровня оказались неэффективными (85% и 72%), и (3) самый лучший результат продемонстрировали Академии с низким уровнем безупречности (53% и 71%). 
  • Как истолковать результаты анализа. Почему «средние» Академии не добились особых успехов, сказать сложно. Возможно потому, что организации пытались откликнуться на высокий спрос, и «количество» нанесло ущерб «качеству». Что касается безупречных Академий, то они, вероятнее всего, работали на базе благополучных школ, которые и сами неплохо справлялись с образовательно-воспитательными задачами. А «небезупречные» Академии — которые изначально выглядели как «проблемные зоны» программы — добились самых лучших положительных результатов.

Этот пример показывает, что правильный подход к оценке позволяет (а) своевременно распознавать скрытые моменты, влияющие на эффективность и качество программ, и (b) направлять ресурсы именно туда, где они могут принести максимальную пользу. Это значит, что умение проводить внутренний и внешний сравнительный анализ имеет для НКО большое значение: корректная постановка ориентиров (benchmarks) и профессиональное толкование полученных данных могут сделать оценку важной предпосылкой общественного прогресса.

Источник: The Stanford Social Innovation Review, https://ssir.org/articles/entry/social_progresss_true_metric_compared_to_what?utm_source=Enews&utm_medium=Email&utm_campaign=SSIR_Now

Добавить комментарий