Вдохновляющая практика измерений: от доказательства к лучшим социальным результатам

В последние годы в некоммерческом сообществе не стихает дискуссия о плюсах и минусах рандомизированных контролируемых исследований (РКИ / RCTs — randomized control trials), которые на протяжении долгого времени считались лучшим способом подтверждения эффективности социальных программ. Следует признать, что эти бурные дебаты, происходящие в ходе конференций и в онлайн форумах, не прошли бесследно, и в некоторой степени повлияли на практику доноров и некоммерческих организаций. Так, американский фонд «Один акр» (One Acre Fund), поддерживающий малых фермеров в странах Восточной Африки, пришел к выводу, что в определенных обстоятельствах и применительно к конкретным аудиториям РКИ действительно являются эффективным инструментом. Однако задача получения максимальных результатов для общества требует перемещения акцента дискуссии с обсуждения отдельного инструмента на расширение спектра методик,  благодаря которым игроки социальной сферы смогут объективно оценивать свои услуги, обучаться и генерировать практические решения по повышению их эффективности. Чтобы ускорить это процесс, команда фонда изучила материалы своих исследований (начиная с первого десятилетия своей активности) и обозначила четыре категории вопросов, которые лучше всего содействуют обучению, изменению практики, и получению более значительного социального эффекта (impact).

  1. Движущие силы социальных преобразований. Включает ли программа какие-либо компоненты или условия, которые существенно усиливают воздействие на общество?

Анализ социальной эффективности (а также оценка затрат на создание новых условий, стимулирующих перемены в жизни благополучателей) помогает некоммерческим организациям (и, прежде всего, провайдерам широкого спектра услуг) корректировать и совершенствовать свои программы.

В процессе своей оценочной деятельности Фонд One Acre, предлагающий фермерам обучение, финансовые услуги и помощь в организации поставок, стремится убедиться в том что, общий эффект превосходит сумму отдельных компонентов. Например, фермеры Республики Бурунди, имеющие доступ к удобрениям и соблюдающие рекомендации тренеров и консультантов, в 2015 году получили самые высокие урожаи бобовых за всю историю своей хозяйственной деятельности. Изучив отдельные составляющие программы, оценщики фонда установили, что успеху больше всего способствовали правильная дозировка удобрений и густота посева.  Однако степень комплаентности (готовности клиентов выполнять предписания / compliance rate) в рамках этих компонентов оказалась невысокой. Чтобы устранить этот недостаток и усилить положительный эффект, фонд воспользовался простыми технологиями — обеспечил фермеров мерными ковшами для удобрений и сеялками для точного высева бобовых культур.

  1. Распределение социального эффекта между благополучателями. Создает ли программа существенные блага для всех подгрупп целевой аудитории?

Многие организации нередко увлекаются средними показателями, которые скрывают информацию о «передовиках» — самых активных потребителях услуг, маскирующих незначительную степень воздействия на основную часть участников.

Фонд подступился к этой проблеме с двух сторон. Прежде всего, оценщики сравнили средние показатели с медианными величинами и не увидели большого разброса. Тогда они изучили последствия повышения урожайности для разных подгрупп клиентов, сформированных по таким признакам, как размер хозяйства, уровень образования, возраст, пол и экономическое положение участника. В этом случае анализ показал, что самый большой разрыв в достижениях наблюдался между взрослыми участниками («передовиками») и молодыми фермерами, не получившими заметных результатов. Эта информация послужила сигналом к разработке дополнительных мер и стимулов, нацеленных на вовлечение и обучение молодежной аудитории.

  1. Стабильность эффекта. Каким образом воздействие на клиента меняется с течением времени?

Лонгитюдные данные о социальном эффекте являются еще одним источником сведений для развития программ.

Опыт фонда показывает, что потребители услуг с длительным «стажем» (в отличие от тех, кто не вошел в число клиентов) получают более высокие урожаи, чаще приобретают товары, улучшающие качество жизни (светильники на солнечных батареях, оборудование для кухни и т.д.), и после выхода из программы продолжают расходовать средства на нужды своих семей. Однако в сравнении с теми, кто остается в программе, их затраты выглядят намного скромнее. Это означает, что для более значительного воздействия на местные сообщества фонд должен заботиться об удержании клиентов. Для решения этой задачи используются гибкие стратегии ценообразования и периодически обновляются пакеты услуг.

  1. Распространение эффекта на окружение. Какому положительному и отрицательному воздействию подвергаются люди и сообщества, не входящие в круг непосредственных участников программы?

НКО действуют в определенных местных контекстах и – вольно или невольно —  влияют на свое окружение.

Непроизвольный эффект инициативы Фонда One Acre заключался в том, что «соседи», не вовлеченные в программу, проявили интерес к современным методам земледелия и начали их осваивать собственными силами. В Кении такое стихийное распространение новой практики увеличило урожайность кукурузы среднестатистического фермерского хозяйства на 45 кг. Эта цифра оказалась достаточно весомой, поскольку дополнительный продукт в таком количестве мог послужить пропитанием для целой семьи в течение месяца. Тем не менее, это положительное воздействие на сообщества привело к снижению цен на местных рынках, и поставило в сложное положение участников программы, выплачивающих кредиты. Чтобы восстановить баланс, фонд создал хранилища, позволяющие «своим» фермерам заниматься сбытом продукции после сезона урожая, когда цены выше.

Эти четыре вопроса помогают находить слабые места программ и гибко реагировать на новые обстоятельства. Действуя подобным образом, НКО демонстрируют свою способность получать лучшие результаты, привлекают внимание доноров, стремящихся вкладывать ресурсы в самые эффективные инициативы, и одновременно с этим укрепляют позиции оценочной практики, способствующей ускорению социальных преобразований.

Источник: The Stanford Social Innovation Review, https://ssir.org/articles/entry/actionable_measurement_getting_from_prove_to_improve

Добавить комментарий