Архив рубрики: Оценка

Инновации в сфере оценки социального эффекта

Сфера «инвестиций, содействующих преобразованию общества» (impact investments) развивается быстрыми темпами. Согласно данным Комитета инвесторов Глобальной сети GIIN (The Global Impact Investing Network’ s Investor’s Council), в 2015 году стоимость активов, находящихся в управлении на рынке «преобразующих инвестиций» (ПИ), составляла 60 млрд долларов. При этом практически все опрошенные инвесторы (95%) сообщили о получении положительного социального эффекта. Однако значительная часть показателей в основном вращалась вокруг результатов краткосрочного характера (outputs), таких как количество участников программ, или количество созданных рабочих мест. Данная ситуация объясняется тем, что сбор данных об эффективности является дорогостоящим и непростым занятием. А некоторые инвесторы и предприятия также считают, что оценка оттягивает ресурсы от основной деятельности. Десять лет назад так и было, но за прошедшие годы многое изменилось: современные технологии (текстовые сообщения, сбор данных на планшете, голосовая почта и т.д.), позволяют устанавливать прямую связь с широкой аудиторией потребителей и получать ценную информацию, не затрачивая значительных средств. Изучив успешный опыт пилотных предприятий, фонды Acumen и Root Capital решили распространить практику использования мобильных технологий за пределы своих программ. Для этого они подготовили обзор опыта, полученного участниками инициатив «Данные с нуля» (Lean Data; Acumen)[1] и «Клиенто-ориентированное измерение с помощью мобильных приложений» (Client-Centric Mobile Measurement; Root Capital)[2], и разработали серию пошаговых рекомендаций для начинающих:

  • Выберите инструментарий, отвечающий потребностям и специфике вашей организации.
  • Получите номера мобильных телефонов потенциальных участников дистанционного опроса.
  • Разработайте дизайн опроса, проведите «тест-драйв» и скорректируйте план действий (если необходимо).
  • Проведите опрос и внедрите его в рабочие процессы предприятия.
  • Если опрос проводится впервые, организуйте повторное анкетирование (5%-10% от общей аудитории), чтобы убедиться в отсутствии существенных расхождений в ответах на одинаковые вопросы.

Данный документ является синтезом уроков, извлеченных из опыта предприятий-получателей инвестиций, а также рекомендаций и кейсов, с помощью которых можно настроить процессы управления мобильными данными и сделать поступающую информацию ценным ресурсом для повышения эффективности социально значимых программ.

[1] См. также «Пособие по организации работы с полевыми данными. Рекомендации по сбору сведений о потребителях с целью построения более эффективного бизнеса» [The Lean Data Field Guide. Tips for Collecting Data to Build More Impactful Business] Acumen

[2] См. также «Клиенто-ориентированный подход. Оценка социального эффекта, создающая ценность для участников» [A Client Centric Approach. Impact Evaluation That Creates Value for Participants] Root Capital

Источник: Инновации в сфере оценки социального эффекта. Том Эдамс, Рохит Гаванде, Скотт Овердайк [Innovations in Impact Measurement. Tom Adams, Rohit Gawande, Scott Overdyke] Acumen, Root Capital (США). Ноябрь 2015

Экономическая оценка: в чем ее польза? Руководство по принятию решений о необходимости проведения экономической оценки

Экономическая оценка помогает организациям и донорам сопоставлять стоимость полученного общественного блага с расходами на его создание. Для использования в некоммерческом секторе больше всего подходят такие ее виды, как анализ «снижение затрат» (cost-minimisation analysis), анализ эффективности затрат (cost-effectiveness analysis), анализ безубыточности (break-even analysis), анализ «затраты-выгоды» (cost-benefit analysis), и социальный возврат на инвестиции (SROIsocial return on investment). Полученная информация позволяет благотворительным институтам (и/или социальным предприятиям) объективно оценивать свою деятельность, концентрировать усилия на самых актуальных задачах социального развития, принимать взвешенные решения, укреплять позиции в обществе, и бережно распоряжаться ограниченными ресурсами. Чтобы понять, нужен ли организации экономический анализ (и если «да», то какая его разновидность), эксперты рекомендуют ответить на три вопроса:

  1. Есть ли у вас (или способны ли вы подготовить) достоверные прогнозы относительно социального эффекта вашей программы или услуги?
  2. Поддаются ли ожидаемые результаты переводу в денежный эквивалент?
  3. Проводите ли вы сравнительный анализ различных программ, нацеленных на получение одинаковых или похожих результатов?

Если организация не прогнозирует свои результаты или создает эффект, не поддающийся денежному выражению, то тратить время и ресурсы на экономическую оценку не стоит. Несмотря на ряд трудностей и проблемных моментов, связанных с возможными неточностями и неверным толкованием данных, экономический анализ является важной работой, которая не только повышает эффективность некоммерческой практики, но также положительно влияет на социальную политику национального уровня.

Источник: Экономическая оценка: в чем ее польза? Руководство по принятию решений о необходимости проведения экономической оценки. Марина Свистак, Дэвид Притчард [Economic Analysis: What is It Good for? A guide for deciding whether to conduct an economic evaluation. Marina Svistak, David Pritchard] New Philanthropy Capital (Великобритания)

Семь главных проблем «социального возврата на инвестиции»

По сравнению с хорошо известным анализом «затраты – выгоды» (CBA — Cost Benefit Analysis: его история начитывает более 300 лет), «социальный возврат на инвестиции» (SROIsocial return on investment) является новой концепцией, которая используется для измерения социальной эффективности программ некоммерческих организаций и отдельных представителей корпоративного мира. К сожалению, SROI пока не получил ощутимого отклика со стороны участников нормотворческого процесса, вовлеченных в создание социально-экономических политик разного уровня. Углубленный анализ существующей методологической литературы, посвященной теоретическим и практическим аспектам применения нового коэффициента, выявил семь проблем, определяющих текущее положение дел и  дальнейшую судьбу SROI:

  1. SROI не обеспечен базовыми нормативами – этическими и понятийными ориентирами, необходимыми для учета и оценки создаваемых благ. Данная ситуация объясняется отсутствием официального толкования «социального эффекта» (social impact) и единых критериев «пользы для общества» (benefit for society). Кроме того, наиболее распространенная интерпретация коэффициента SROI (например: «Каждый вложенный фунт помог создать ценность, эквивалентную трем фунтам») не дает отчетливого представления о произошедших изменениях (Что именно оценили в три фунта?). В подобных обстоятельствах сопоставить результаты социальных преобразований очень сложно или просто невозможно.
  2. SROI не уделяет внимания «межличностным сравнениям» (interpersonal comparisons), учитывающим как «взлеты», так и «падения» участников программ, из которых в итоге складывается «средневзвешенный» общий эффект. Следовательно, мы не можем знать, в какой мере полученный результат отражает состояние уязвимых граждан, которые (в отличие от более успешных людей) неохотно вступают в контакт с оценщиками. Данная проблема требует скорейшего решения.
  3. SROI слишком настаивает на вовлечении стейкхолдеров – даже в тех случаях, когда можно (или целесообразно) сделать исключение. Это ситуации, когда (a) блага получают дети раннего возраста или люди с психическими заболеваниями, (b) заинтересованные стороны недостаточно осведомлены о программе, (c) органичен бюджет оценки, (d) держателями ценностей являются как причастные, так непричастные субъекты (это пожертвования по завещанию; распространение социального эффекта на граждан, не входящих в целевую аудиторию программы; целенаправленное создание благ для других людей и т.п.).
  4. На показатель SROI влияет методика расчета коэффициента. Если «отрицательный эффект» (negative benefit) учитывается как разновидность затрат, то коэффициент становится ниже, а в случае использования других формул результат выглядит более впечатляющим. Очевидно, что отсутствие единого подхода к расчету SROI вводит в заблуждение как исполнителей проектов, так и внешних стейкхолдеров.
  5. Использование статистических методов для установления причинно-следственных связей нуждается в поощрении. Квази-экспериментальные методы оценки (такие как «контрольные группы» / control groups или «разность разностей» / differences-in-difference / DiD) постепенно обретают почву под ногами и занимают собственную нишу, однако существующие пособия не уделяют должного внимания техническим критериям подобной работы.
  6. SROI опирается на устаревшую оценочную методологию и теорию, которая не способна обеспечить объективность и точность результата. В данной ситуации необходимо изучить достижения CBA и современных экономических школ.
  7. Значение термина SROI остается неясным в силу отсутствия единого подхода к измерению затрат (собственно «инвестиций»). Для сравнения: в процессе анализа CBA учитываются все общественные затраты, а SROI в основном рассматривает расходы конкретных организаций на выполнение программ. Этот нюанс показывает, что предельно точное определение «затрат» имеет для дальнейшего прогресса SROI очень важное значение.

Помимо критического взгляда на ситуацию в документе представлены основные тенденции и концепции, которые помогут причастным субъектам составить план действий на ближайшее будущее и приступить к работе по развитию методологии SROI.

Источник: Семь главных проблем «социального возврата на инвестиции». Дэниел Фудживара [The Seven Principle Problems of SROI. Daniel Fujiwara]. Simetrica (Великобритания), Август 2015

Пособие для начинающих: социальный возврат на инвестиции. Узнайте больше о SROI и измерении социального эффекта

Данное руководство представляет собой краткий вводный курс для тех, кто намерен воспользоваться методикой «социального возврата на инвестиции» (SROI — Social Return On Investment), предназначенной для оценки эффективности вложений в общественно значимые проекты. Прежде всего, авторы документа озвучивают семь принципов SROI, которые формируют основу для практического применения концепции:

  1. Привлекайте стейкхолдеров – информируйте их о том, «что» будете измерять, и «каким образом».
  2. Выясняйте, что изменилось – рассказывайте о том, как происходят перемены, и оценивайте результаты.
  3. Оценивайте то, что имеет значение – чтобы определить ценность «гибких» социальных результатов, пользуйтесь близкими по значению финансовыми эквивалентами.
  4. Принимайте в расчет только существенную информацию — выясняйте, какие данные и какие виды доказательств необходимы для подтверждения результатов.
  5. Не преувеличивайте своих достижений – сообщайте только о том, что создали сами.
  6. Действуйте прозрачно — сообщайте причастным сторонам о методиках сбора и анализа данных.
  7. Подтверждайте факты получения результатов – ссылайтесь на независимые и авторитетные источники информации.

Использование SROI открывает перед организациями новые возможности, и, в частности, содействует развитию организационной культуры и практики:

  • Активизирует стратегическую дискуссию, нацеленную на получение максимальной отдачи от вложенных ресурсов;
  • Структурирует и совершенствует управленческую практику, ориентированную на усиление положительных и снижение отрицательных эффектов;
  • Помогает осознать значение сотрудничества с другими субъектами, заинтересованными в преобразовании общества;
  • Стимулирует поиск общих интересов, способных объединить организацию с единомышленниками и потенциальными партнерами;
  • Помогает вовлекать стейкхолдеров в разработку дизайна услуг и подходов к оценке результатов.

Коэффициент SROI могут применять многие игроки социальной сферы — некоммерческие институты, государственные агентства, социальные предприятия, а также «инвесторы, содействующие преобразованию общества» (impact investors). При этом следует понимать, что для каждой организации уровень сложности при расчете коэффициента будет разным, поскольку его определяют  цели и структура программ, характер социальных проблем, и запросы потенциальных пользователей информации.

Источник: Пособие для начинающих: социальный возврат на инвестиции. Узнайте больше о SROI и измерении социального эффекта. [The Beginners Guide to Social Return on Investment. Learn more about SROI and how you can measure your impact] Sinzer (Нидерланды).

Формирование представления о статистической значимости: краткое руководство

Использование контрольной группы считается надежным способом измерения социального эффекта, однако подобные инициативы требуют проведения тщательного статистического анализа. В рамках проекта Data Labs («Лабораторные работы с данными»), команда NPC подготовила специальное пособие, которое разъясняет терминологию данного метода и подходы к интерпретации результатов. В частности, эксперты акцентируют внимание на том, что качественная оценка обязательно проясняет, «что (не) случилось бы, если бы запланированная программа не была выполнена» (counterfactual / альтернативное моделирование). И если разница, выявленная по итогам сравнения, является статистически значимой, то игнорировать ее нельзя. Но чтобы получить такую информацию, необходимо сделать сложные расчеты, особенно в тех случаях, когда польза для общества неочевидна. Предлагаемое пособие содержит подробные инструкции по работе с контрольными группами, а также общие выводы, суть которых заключается в следующем:

  • Толкование результатов сопоставляемых контрольных групп требует отчетливого представления о том, как были получены статистические данные, и что лежит в основе гипотез. В силу того, что этот подход является в полной мере «количественным» (quantitative approach), он не всегда дает ответ на вопроc «Зачем?» или «Каким образом?».
  • Если существуют определенные версии или «качественные» исследования (qualitative research), подвергающие сомнению результаты анализа, то социальный эффект соответствующей услуги или программы нуждается в повторной оценке.

Иными словами, никогда не пользуйтесь неубедительными результатами – лучше расширьте выборку исследования. Подобные изменения увеличивают стоимость работ, но это обоснованная мера, поскольку многие доноры и стейкхолдеры желают видеть результаты социальных программ только «в сравнении».

Источник: Формирование представления о статистической значимости: краткое руководство. Фарук Сабри, Трейси Гуатенг [Understanding Statistical Significance: A Short Guide.  Farooq Sabri, Tracey Gyateng] New Philanthropy Capital (Великобритания). Сентябрь 2015

Рандомизированные контролируемые исследования – золотой стандарт или иллюзия? Роль эксперимендальных методов в практике оценки социального эффекта в доброльном секторе

Некоммерческий сектор прошел долгий путь от оценки изменений среднесрочного характера (outcomes) до измерения долгосрочного социального эффекта (impact) и постепенно вступил в дискуссию о надлежащих методологиях оценки и стандартах качества доказательной информации (evidence). Более того, некоторые НКО разработали весьма сложные подходы к оценке и стали сторонниками «рандомизированных конторолируемых исследований» (РКИ), за которыми закрепилась репутация золотого стандарта исследовательской научной практики. Однако в тех случаях, когда оценщики изучают комплексные преобразования, нацеленные на решение сложных социальных проблем, РКИ по многим параметрам уступают квази-экспериментальными методам, предполагающим формирование групп (для сравнения результатов) не по случайной выборке, а по определенным признакам и критериям. В целом можно сказать, что применение РКИ в социальной сфере является проблематичным по целому ряду причин:

  • РКИ являются масштабным и затратным мероприятием: чем больше выборка, тем точнее и качественнее информация, и тем выше затраты. Кроме того, подобные исследования занимают много времени, а НКО не могут ждать слишком долго – им нужно оперативно отчитываться перед стейкхолерами и постоянно привлекать новые ресурсы.
  • Для проведения РКИ нужны специальные технические компетенции. Поэтому чаще всего НКО вынуждены искать и приглашать внешних консультантов.
  • Когда НКО работают с уязвимыми гражданами (такими как женщины и дети, жертвы домашнего насилия и др.), возникают вопросы этического характера, ограничивающие возможности для получения необходимой информации.
  • Результаты участников программ и контрольной группы нередко вызывают сомнения, потому что в повседневной жизни на людей воздействует множество неучтенных факторов. Также не стоит забывать о том, что участие в РКИ является добровольным делом, и субъекты, включенные в выборку исследования, могут «выйти из игры» в любой момент.
  • РКИ успешно оценивают эффективность отдельной программы в определенном внешнем окружении, но не позволяют делать обобщения, которые необходимы для широкого применения успешных моделей или практик в разных контекстах.

Основываясь на этих наблюдениях, глава Службы оценки для НКО Национального совета добровольных объединений (CES NCVO) сделала вывод о том, что РКИ, безусловно, являются ценным инструментом некоммерческой оценочной практики, но когда речь идет об эффектах комплексных программ, подобную работу лучше проводить в сочетании с другими методами (кейс-стади, формативная оценка и т.д.), и активнее пропагандировать смешанный тип оценки.

Источник: Рандомизированные контролируемые исследования – золотой стандарт или иллюзия? Роль эксперимендальных методов в практике оценки социального эффекта в доброльном секторе. Салли Капитт [Randomised controlled trials – gold standard or fool’s gold? The role of experimental methods in voluntary sector impact assessment. Sally Cupitt] Charities Evaluation Services of the National Council for Voluntary Organizations (Великобритания). Май 2015

На пути к созданию протокола социального капитала. Призыв к сотрудничеству

Определение «социального капитала» (SC — social capital), используемое Всемирным деловым советом по устойчивому развитию (WBCSD), охватывает такие понятия, как «человеческий капитал» (навыки, компетенции и опыт людей), «социальные активы» (общественные нормы, институты и ценности), «капитал отношений» (связи и сети),  «благополучие» (материальные активы, безопасность и т.д.) и «социально-экономические эффекты» (которые могут быть как положительными, так и отрицательными). В сочетании друг с другом эти концепции помогают формировать представление о существующих ресурсах и потоках социального  капитала, циркулирующих наряду с финансовым и природным капиталом. Чтобы компании смогли увидеть недостатки в своих отношениях с обществом и найти управленческие решения, увеличивающие вклад бизнеса в устойчивое развитие, эксперты WBCSD предложили создавать Протоколы социального капитала (The Social Capital Protocols). Цель данной работы заключается в совершенствовании бизнес-стратегии посредством решения двух задач – (1) оптимизации процессов измерения социального эффекта, и (2) оценки зависимости предприятия от качества и состояния SC. Основные элементы предлагаемой практики (a) опираются на Концепцию измерения социального эффекта (The Measuring Impact Framework), Протокол о парниковых газах (The GHG Protocol) и Протокол о природном капитале (The Natural Capital Protocol); и (b) включают следующие этапы:

  • Формулировку ожидаемых социальных результатов и последствий (положительных и отрицательных) для бизнес-модели и цепочки поставок;
  • Постановку целей и определение масштабов и границ оценочного проекта;
  • Измерение социальных эффектов и определение зависимости бизнеса от внешних факторов (включая деятельность по сбору данных согласно утвержденным показателям и интерпретацию полученной информации);
  • Анализ социальной ценности посредством «монетизации» результатов;
  • Использование результатов проделанной работы для повышения эффективности бизнеса, принятия обоснованных решений и корректировки стратегии.

Создание гармоничного и сбалансированного протокола – непростая задача, однако некоторые компании уже приступили к оценке социального капитала. Во многих случаях организации разрабатывают собственный инструментарий и пользуются подходами, которые являются неотъемлемой частью корпоративной практики. Чтобы ускорить освоение нового опыта и поддержать первопроходцев, WBCSD планирует создать общую платформу, которая послужит фундаментом для совместной работы предприятий и широкого внедрения нового опыта.

Источник: На пути к созданию протокола социального капитала. Призыв к сотрудничеству. [Towards Social Capital Protocol. A Call for Collaboration] World Business Council for Sustainable Development (Швейцария). Апрель 2015.

Можно ли измерить медийный эффект? Читаем между строк

Медийные каналы нового формата (мобильные новости или интернет-издания, такие как ProPublica), существующие на средства доноров, становятся островками подлинной журналистики и обладают независимостью, гарантирующей свободу слова. Однако современные благотворители (Гейтс, Омидьяр и др.), как правило, являются пришельцами из мира бизнеса, и в своих решениях всегда полагаются на показатели эффективности. Они хотят знать, способна ли журналистика влиять на положение дел в обществе; если «да», то каким образом; и какова степень / глубина происходящих изменений. Однако ответить на эти вопросы бывает непросто, потому что мастера острого пера не являются специалистами по измерению социального эффекта. На помощь новым медиа поспешили крупные исследовательские центры, частные фонды и школы журналистики. Разработанные ими подходы концентрируются на трех аспектах:

  • Охват аудитории – сколько людей изучают контент СМИ;
  • Влияние – каким образом данный контент влияет на публичный диалог;
  • Эффект – каким образом контент содействует изменению социально-экономической политики либо формированию общественных движений.

Данная поддержка, с одной стороны, становится значительным шагом вперед, но, с другой стороны, порождает новые поводы для сомнений, поскольку чрезмерное внимание к социальному эффекту может создать преимущества для отдельных тематических направлений, и отодвинуть на задний план менее популярные, но не менее важные вопросы. Поэтому лидеры некоммерческих медиа продолжают дискуссию, акцентируя внимание на том, что показатели эффективности должны учитывать интересы множества причастных сторон, включая фонды, инвесторов, содействующих социальным преобразованиям, рекламодателей, членов высших руководящих органов, сотрудников и читателей.

Источник:  Можно ли измерить медийный эффект? Читаем между строк. Аня Шиффрин, Этан Цукерман [Can We Measure Media Impact? Reading Between the Lines. Anya Schiffrin, Ethan Zuckerman] The Stanford Innovation Review (США). Осень 2015.

За рамками показателей тщеславия. На пути к более качественному измерению вовлеченности членов

По мнению авторов данной работы, «показатели тщеславия» (VM – vanity metrics) — это такие сведения, которыми можно манипулировать, чтобы представить в розовом свете результаты программы или проекта; и которые не помогают улучшать стратегию коммуникации с единомышленниками и донорами. Как показывает практика, таковыми являются данные о посещаемости сайтов, об открытии и просмотре файлов, о количестве людей, подписавших какое-либо обращение и т.п. Чаще всего подобная информация встречается в отчетах организаций, которые проводят в открытом пространстве различные онлайн кампании и фандрайзинговые мероприятия. Проблема заключается в том, что VM вводят в заблуждение людей, принимающих решения, и затрудняют поиск потенциальных партнеров, доноров и новых членов. Участники опроса признают, что показатели эффективности должны стимулировать, а не сдерживать развитие программ, но также отмечают, что совершенных оценочных критериев не бывает, и любые сведения можно истолковать по-разному. Поэтому многое зависит от этики и компетентности пользователей. Тем, кто уже готов отказаться от VM и сделать шаг вперед, эксперты советуют действовать следующим образом:

  • Определить новые показатели, руководствуясь миссией организации;
  • Уделять больше внимания особенностям программ, являющихся этапами на пути к выполнению миссии;
  • Разработать специальные комплексы критериев для решения таких задач, как мониторинг прогресса в рамках отдельных проектов; изучение жизненного цикла сторонников и членов организации; измерение эффективности многоканальных коммуникаций; оценка социального эффекта — устойчивых изменений долгосрочного характера; и составление прогнозов на будущее;
  • Периодически пересматривать и обновлять показатели, чтобы двигаться в ногу со временем.

Источник: За рамками показателей тщеславия. На пути к более качественному измерению вовлеченности членов. Колин Хольц, Майкл Сиберман, Джеки Махиндра [Beyond Vanity Metrics. Toward better measurement of member engagement. Colin Holtz, Michael Silberman, Jackie Mahendra] Citizen Engagement Laboratory, Mobilisation Lab at Greenpeace (США). Апрель 2015.

Оценка с целью повышения эффективности: что делают НКО и чем могут помочь фонды

В ходе онлайн опроса более 12 000 лидеров некоммерческих организаций эксперты американского Центра эффективной филантропии (СЕР) выяснили, что практически все опрошенные НКО собирают сведения для оценки своей эффективности, но считают, что этой информации недостаточно, и что качество данных необходимо улучшить. На эти цели организации в среднем затрачивают не более 2% от общей суммы бюджета, и в очень редких случаях нанимают специалиста на полный рабочий день. Поступающие сведения в основном используются для развития программ, корректировки стратегий и отчетности перед стейкхолдерами. К сожалению, лишь немногие НКО получают поддержку со стороны доноров. Данная ситуация возникла в силу следующих обстоятельств:

  1. Сложившаяся в фондах культура годового планирования не способствует распространению практики многолетних грантов, позволяющих инвестировать ресурсы в инфраструктуру оценки.
  2. Фонды, как правило, не покрывают программные расходы в полном объеме, и в первую очередь сокращают затраты на оценку.
  3. Среди сотрудников НКО практически нет профессиональных оценщиков.
  4. Фонды тоже проводят оценку, но при этом руководствуются собственными интересами, не заботясь о потребностях грантополучателей.

Авторы отчета советуют фондам активнее предоставлять многолетние гранты; инвестировать ресурсы в развитие потенциала НКО; интересоваться информационными запросами своих непосредственных благополучателей; и поощрять деятельность по сбору и анализу данных, необходимых для принятия взвешенных решений.

Источник: Оценка с целью повышения эффективности: что делают НКО и чем могут помочь фонды. Элли Буто, Рэмья Гопал, Дженифер Гликман [Assessing to Achieve High Performance. What Nonprofits are Doing and How Foundations Can Help. Ellie Buteau, Ramya Gopal, Jennifer Glickman] The Center for Effective Philanthropy (США), 2015.