Все записи автора Редакция

Cеть What Works: прошло пять лет

Сеть сторонников эффективных социальных преобразований (The What Works Network) была создана в 2013 году.

Ее участники стремились к тому, чтобы расходы и деятельность по госконтрактам опирались на сведения, доказывающие эффективность практик и моделей социальных услуг (evidence). Публичный отчет Сети за прошедшие пять лет сообщает о том, что сегодня 10 центров What Works проводят систематическую работу по оценке качества данных, формированию доказательной базы (по тематическим областям) и подготовке рекомендаций для тех, кто принимает решения – для госслужащих, участников законотворческого процесса и специалистов организаций, оказывающих услуги населению. Если доказательства неубедительны, то центры заказывают дополнительные исследования, либо мотивируют других игроков на выполнение данной работы. Выступая в роли связующего звена между «генераторами» и потребителями данных, Сеть исходит из того, что затраты на доказательства оправдывают себя только в том случае, если информация находит практическое применение. Сведения предоставляются пользователям в удобном формате и в сопровождении кратких пояснений или информационных обзоров. Пять центров разработали специальные наборы инструментов, с помощью которых можно сортировать программы и виды преобразований по таким параметрам, как социальный эффект, затраты, и совокупность доказательств. Каждое тематическое направление обеспечивается набором стандартных показателей, позволяющих сравнивать данные разных программ. Все эти ресурсы и возможности помогают организациям планировать ресурсное и кадровое обеспечение своих инициатив, проводить медийные кампании и решать много других важных задач. Также, за прошедшие годы Сеть стала одним из активных участников движения за принятие финансовых и стратегических решений на основе доказательств эффективности (evidence-based decision-making), и, в частности, (а) стала уделять значительное внимание обучению госслужащих дизайну и планированию оценки с использованием РКИ и/или других надежных методик, (б) возглавила создание представительного экспертного совета для нормотворческих инициатив, и (с) приступила к публикации «Направлений, представляющих интерес для исследования» (Areas of Research Interest), которые информируют различные правительственные департаменты о пробелах в доказательной базе и необходимости привлечения внешних исследователей. В целом можно сказать, что работа Сети What Works ускоряет положительные изменения в обществе, и усиливает полезную отдачу от инвестиций в социальные программы и услуги. 

[The What Works Network: Five Years On] The What Works Network (Великобритания). Январь 2018

Масштабное мышление: как использовать Теорию изменений для системных преобразований

Авторы руководства по применению Теории изменений (ТИ) для поддержки системных социальных преобразований, напоминают о том, что самая первая ТИ, созданная в 1990 году участниками Круглого стола Института Аспен по вопросам развития местных сообществ (The Aspen Roundtable on Community Change; США),

предназначалась для проработки и оценки программы системного уровня. Изучив опыт использования ТИ, накопленный разными игроками за несколько десятилетий, эксперты пришли к выводу, что данный инструмент помогает организациям (1) формировать отчетливое представление о сути и предназначении своей работы; (2) вовлекать сотрудников и стейкхолдеров в поиск объединяющей идеи; (3) проверять доводы и предпосылки, на которые опирается деятельность команды; и (4) выбирать для оценки устойчивых изменений (impact evaluation) наиболее подходящие методы и подходы. Стремясь усилить эти положительные моменты, эксперты разработали несколько базовых правил, которые помогут заинтересованным субъектам воздействовать на системы более эффективно:

  1. Изучите контекст – тщательно проанализируйте информацию о ключевых факторах, которые могут повлиять на результаты вашей работы.
  2. Реально оцените свои возможности — определите, какие активы, ресурсы, сильные и слабые стороны могут посодействовать или воспрепятствовать системным изменениям в данном контексте.
  3. Мыслите системно – накапливайте знания об истоках проблем, волнующих вас и ваших партнеров; о связях, каналах коммуникации и распределении полномочий внутри изучаемой системы; а также о возможностях и способах воздействия на данную систему.
  4. Обучайтесь и адаптируйтесь – помните о том, что влияние на сложную систему – это работа в условиях неопределенности. Используйте ТИ для постоянного мониторинга ситуации и оперативной корректировки плана действий.
  5. Исходите из того, что изменение – дело личное – не ждите, что «люди в системе» первыми изменят свои ценности, убеждения и форматы отношений. Начните с себя, и ваш пример вдохновит других.

Следуя этим правилам, государственные и частные доноры, профессионалы и провайдеры услуг, объединившие усилия для модернизации устаревших систем, смогут (а) понять, почему социальные проблемы возникают вновь и вновь, и (б) пересмотреть собственную роль в реализации общей повестки дня – что само по себе является очень непростой задачей.

Роб Аберкромби, Кэти Босвелл, Росанна Томасу [Thinking Big: How to Use Teory of Chage for Systems Change] Rob Abercrombie, Katie Boswell, Rosanna Thomasoo NPC, The Lankelly Chase Foundation (Великобритания). Март 2018

Ценность нашей оценочной деятельности: определяем объемы расходов и качество

Фонд Хьюлетт (The Hewlett Foundation) опубликовал аналитический отчет о прогрессе в развитии оценки (evaluation), под которой в данном случае понимается «независимый систематический поиск ответов на вопросы о том,

‘каким образом?’, ‘почему?’ и ‘в какой мере?’ были достигнуты поставленные цели и задачи». Все 46 оценок, изученных в процессе подготовки документа, были проведены в период с 2009 по 2016 гг. независимыми третьими сторонами. Аналитики ознакомились с финансовыми данными и рейтингами отчетов об оценке, провели интервью с программными сотрудниками и поделились следующими наблюдениями и рекомендациями:

  • Начиная с 2013 года, расходы фонда на оценку возросли с 0,7% до 1,3% от общей суммы затрат на программы. В силу того что эти расходы в основном покрывались за счет грантового бюджета, затраты фонда на административные нужды сохранились на низком уровне.
  • Увеличение инвестиций в оценку поспособствовало повышению качества информации. В настоящий момент выводы оценок, как правило, используются для корректировки курса, распределения грантов и принятия решений о стратегических приоритетах фонда. Тем не менее, эксперты советуют (а) более точно формулировать «вопросы оценки», и (б) уделять больше внимания целенаправленному сбору данных для последующего сравнительного анализа.
  • Чтобы повысить практическую ценность результатов оценки, фонду следует (а) поддерживать связь с грантополучателями на всех этапах проведения оценки, и (б) активнее делиться полученными данными с НКО, и (в) публиковать отчеты в открытых источниках.

Руководствуясь полученными рекомендациями, команда фонда намерена пересмотреть действующие принципы оценки, вновь усовершенствовать свою практику, и через некоторое время снова проанализировать результаты своих усилий.

Эми Арбретон, Прити Триведи, Фэй Тверски [The Value of our Evaluations: Assessing Spending and Quality] Amy Arbreton, Prithi Trivedi, Fay Twersky The William and Flora Hewlett Foundation (США).Февраль 2018

Фонд поддержки Марафона коренных народов: определение коэффициента SROI для проекта «Марафон коренных народов»

Консорциум венчурных предприятий Social Ventures Australia (SVA) предлагает ознакомиться с результатами применения методики SROI (с целью определения «социального возврата на инвестиции»/social return on investment) в рамках проекта «Марафон коренных народов» (IMP – The Indigenous Marathon Project). Данная работа охватывает три года активной реализации проекта IMP, идея которого заключается в пропаганде здорового образа жизни среди молодых аборигенов и жителей островов Торресова пролива в возрасте 18-30 лет. Анализ показал, что денежный эквивалент социально-экономической и культурной ценности, созданной Марафоном в 2014-2016 гг., соответствует сумме в 13,6 млн долларов, в то время как ресурсные вливания в проект за три года не превысили 2,1 млн. В итоге коэффициент SROI за указанный период составил 6,6:1. Это значит, что с помощью каждого инвестированного доллара были созданы общественные блага, стоимость которых приравнивается к 6,6 доллара. Консультации с участниками Марафона, командой проекта и другими стейкхолдерами (проведенные при активном содействии со стороны экспертов НКО-сектора) показали, что проект положительно влияет на молодых людей, членов их семей и местные сообщества; укрепляет лидерский потенциал коренного населения; и помогает молодежи формировать полезные социальные навыки. Организации, желающие последовать примеру IMP и воспользоваться методологией SROI  для измерения и расчета социальной, экономической и экологической ценности, должны знать о том, что сравнивая коэффициенты SROI разных программ, НКО или социальных предприятий, необходимо иметь отчетливое представление об их миссиях, стратегиях, проектной логике, особенностях местного контекста и этапе развития.

[The Indigenous Marathon Foundation: Social Return on Investment (SROI) analysis of the Indigenous Marathon Project] SocialVenturesAustralia (Австралия)

Десять причин не измерять социальную эффективность — и что делать взамен

Авторы статьи отмечают, что оценка социального эффекта (IE — impact evaluation) вносит значительный вклад в общественный прогресс, и приводят примеры,
когда ценная доказательная информация помогала улучшить законы и практики или ускорить решение актуальных проблем.

Однако следует признать, что качественное измерение социальной эффективности – дело весьма затратное, поскольку оценщики должны не только выявить причинно-следственные связи, но и рассказать о том, «как обстояли бы дела, если бы данной инициативы не было». Такую информацию обычно генерируют дорогостоящие РКИ — рандомизированные контролируемые исследования, обеспечивающие достоверность и объективность данных за счет сравнения результатов контрольной группы и участников программ. Поэтому эксперты не рекомендуют проводить IE, если можно ограничиться менее масштабными действиями. Основания для отказа от IE условно распределяются по четырем категориям и сопровождаются подсказками относительно того, «что делать»:

  1. Несвоевременные решения. Если программа не оснащена Теорией изменений (Theory of Change), планом действий и/или четким представлением о подходе к оценке, то качественные сведения для эффективных решений получить невозможно. Об этих моментах необходимо позаботиться на этапе разработки программы.
  2. Неправильный выбор инструментов. Очень часто стейкхолдеров интересуют вопросы, на которые можно ответить с помощью сведений, собранных в ходе мониторинга программы. IE в подобных случаях является бессмысленной тратой ценных ресурсов.
  3. Нецелесообразные действия. В тех случаях, когда ресурсы организации ограничены; или исследование важных вторичных эффектов требует существенных дополнительных вливаний; или когда инициатива настолько масштабна, что не подходит для РКИ, организация может отказаться от IE, и вместо этого проштудировать результаты других оценок, сравнить контексты программ, и сопоставить информацию со своими данными, собранными в ходе мониторинга.
  4. Излишние заботы. Бывает так, что информация для принятия решения очень хорошо отражена в исследованиях или оценочных отчетах других организаций. В этом случае еще одна оценка ничего существенного к сказанному не добавит. Можно пользоваться тем, что есть.

Процесс формирования доказательной базы социальной эффективности подобен созданию уникальной мозаики: результаты оценок являются ее неповторимыми элементами. И если некоторые из них будут нечеткими, то общая картина тоже будет размытой. Именно поэтому каждая IE требует отчетливого понимания целей, корректной постановки вопросов и хорошо продуманного плана дальнейшего применения информации.

Мэри Кэй Гугерти, Дин Карлан [Ten Reasons Not to Measure Impact – and What to Do Instead] Mary Kay Gugerty, Dean Karlan Stanford Social Innovation Review (США). Лето 2018

Поддержка социально-эмоционального обучения через распространение программ с доказанной эффективностью

Фонд Энни И. Кейси (The Annie E. Casey Foundation) подготовил обзор основных моментов,

связанных с внедрением программ социально-эмоционального обучения (SEL — social-emotional learning), которые были признаны эффективными в семи образовательных округах США. Документ является своевременной реакцией на усиление внимания к «передовому опыту» (доказавшему социальную ценность результатами строгой оценки) со стороны активной части педагогического сообщества, стремящейся к расширению возможностей для успешной социализации и  полноценной самореализации учащихся в дальнейшей взрослой жизни. В обзоре рассматриваются особенности передового опыта на уровне программ с доказанной эффективностью (EBPs – evidence-based programs), практик, охватывающих группы EBPs с похожими целями и содержанием; и политик, определяющих условия поиска, оценки и тиражирования успешных программ и практик. По итогам глубинных интервью с представителями округов эксперты обосновали целесообразность инвестиций в социально-эмоциональное обучение, подробно обсудили состав расходов на этапах освоения и запуска нововведений, и заострили внимание на особенностях финансовых стратегий школ после перевода программ в постоянный режим. А для администраторов, вовлеченных в подготовку и принятие стратегических решений окружного уровня, авторы публикации обозначили преимущества действующих эффективных политик, обсудили сценарии вовлечения партнеров в формирование ресурсного пула, и представили варианты расчетов для бюджетирования. Помимо этого, к документу прилагаются сводные таблицы успешных программ, краткие презентации предлагаемых практик, и основные «уроки», связанные с финансовым обеспечением EBPs.

Ценность данного обзора заключается в том, что он (1) повышает статус оценочной деятельности, демонстрируя полезную отдачу от оценки программ, практик и политик, и (2) обеспечивает всех заинтересованных игроков практическими материалами, позволяющими перейти от слов к делу в кратчайшие сроки.

[Supporting Social-Emotional Learning With Evidence-Based Programs] The Annie E. Casey Foundation (США). 2018

PCI: рефлексивная оценочная концепция для системных изменений

В данной статье американские эксперты с многолетним опытом оценки в сфере филантропии представляют Рефлексивную оценочную концепцию PCI, предназначенную для реализации и оценки стратегий системного уровня, которые (а) основаны на партнерстве фондов и местных сообществ, и (б) нацелены на формирование нового мировоззрения и общественных ценностей. Практический смысл PCI заключается в том, что она (1) учитывает сложность социальных систем, (2) опирается на показатели, проливающие свет на истоки проблем и системные барьеры, (3) рассматривает оценку в качестве неотъемлемого компонента инициативы, (4) использует выводы оценки для планирования дальнейших шагов, и (5) конкретизирует роль оценщиков, привлекаемых финансирующей стороной. Помимо подробного описания компонентов концепции, в статье предлагаются условные примеры комплексных инициатив (в основном направленных на снижение межрасовой напряженности и требующих изменения законов, социальных норм и систем распределения полномочий), а также описание подходов, которыми фонды могут воспользоваться в процессе организации оценки.

Очень важно, что PCI определяет оценщика как партнера, который является непосредственным участником инициативы, а не внешним субъектом, которого приглашают «проинспектировать» работы и установить факт получения результатов. Постоянное присутствие компетентного специалиста, хорошо осведомленного об окружающем контексте и взаимоотношениях между стейкхолдерами, позволяет «держать руку на пульсе» и оперативно корректировать общий курс и планы действий. Разрабатывая PCI, ее создатели думали, прежде всего, о фондах и сообществах, но данная концепция будет не менее удачным выбором и для многих других представителей НКО-сектора, которые выступают в роли лидеров или участвуют в масштабных социальных преобразованиях.

Беверли А. Парсонс, Юлан Кренн [PCI: A Reflective Evaluation Framework for Systems Change] Beverly A. Parsons, Huilan Krenn The Foundation Review (США). Март 2018

Использование схемы «оплаты за успех» для более эффективной борьбы с длительной бездомностью в городе Сакраменто

Данный доклад отражает результаты исследования, проведенного по заказу муниципальной власти и местных организаций города Сакраменто (штат Калифорния)

с целью изучения проблем бездомных людей и оценки стоимости услуг, ориентированных на поддержку данной категории населения. Команда экспертов ознакомилась с разными видами программ и выяснила, что источником самых больших расходов – составляющих более 45 000 долларов на человека или 11 млн долларов в год (2016 г.) – является сравнительно небольшая группа бездомных «со стажем» (примерно 250 чел.).Похожие данные были получены и в других городах штата. В качестве выхода из ситуации авторы статьи посоветовали распространить успешную модель комплексной услуги, которая включает предоставление постоянного вспомогательного жилья и интенсивную ресоциализацию граждан с опытом длительной бездомности (Permanent Supportive Housing with Assertive Community Treatment). Эффективность этой программы многократно подтверждалась рандмизированными контролируемыми исследованиями (РКИ), которые проводились на протяжении многих лет.

Немаловажно, что эта модель не только социально эффективна, но и экономически обоснована: затраты на одного «сложного» клиента не превышают 11 000 — 13 000 долларов в год. А высокое качество работ обеспечивается за счет контракта, который госструктуры заключают с исполнителями программ на условиях «оплаты за успех» (Pay for Success) – то есть, переводят средства только в том случае, если оценка установит факт получения утвержденных результатов (outcomes).Тем не менее, исследователи отмечают, что социальная эффективность борьбы с бездомностью зависит не только от финансового обеспечения, но и от целого ряда других важных условий – таких как (а) вовлечение в дискуссию и совместная работа всех ключевых стейкхолдеров; (б) четкая постановка целей и тщательная проработка плана действий и показателей эффективности; (в) удобная система сбора, обработки и хранения данных; (г) равномерное распределение полномочий между причастными субъектами; и (д) наличие  управленческих компетенций, необходимых для исполнения контрактных обязательств. Основываясь на этих наблюдениях и выводах, эксперты порекомендовали городу Сакраменто активнее поддерживать жилищные программы для бездомных, сделать официальные данные более доступными для провайдеров услуг и оценщиков, и стимулировать обмен опытом между действующими программами.

[Using Pay For Success to Improve Outcomes for the Persistently Homeless in Sacramento] SocialFinance (США). Весна 2018

Развитие оценочных компетенций с учетом интересов партнера: уроки корпоративной инициативы социального воздействия.

Данная статья является откликом на дискуссию о подотчетности в сфере грантмейкинга, подталкивающую доноров к инвестициям в «развитие оценочного потенциала НКО» (ECB – evaluation capacity-building). Подобные ресурсные вливания, как правило, осуществляются с надеждой на устранение разрыва между собственными ожиданиями и способностью грантополучателей оценивать достигнутые результаты. Однако следует признать, что потребности НКО не всегда понятны держателям финансовых ресурсов, поскольку организации обладают разными компетенциями и являются носителями разных внутренних культур.

В силу данного обстоятельства, польза от инициатив ECB зачастую получается незначительной для обеих сторон. Чтобы не оказаться в такой ситуации, в 2011 году компания Johnson & Johnson запустила программу корпоративной гражданственности «Здоровое будущее – 2015» (HF – Healthy Future 2015), в рамках которой приступила к «развитию практики измерения социальных результатов в сотрудничестве с благотворительными организациями». В эту работу были вовлечены восемь грантополучателей, которые обозначили спектр основных проблем, связанных с разработкой оценочных концепций, обновлением систем сбора и хранения данных, и обучением персонала. Для решения своих уникальных задач НКО подготовили индивидуальные проекты, и, получив необходимую поддержку, улучшили свои компетенции, а также начали использовать выводы оценки для корректировки подходов к оказанию услуг и получения более значительных результатов. Авторы публикации рекомендуют корпоративным донорам внимательно изучить этот кейс и воспользоваться «партнерским подходом к укреплению оценочной базы НКО» (nonprofit-partner-centered evaluation capacity-building initiative) для расширения сотрудничества с благополучателями, взаимного обучения и повышения «КПД» социальных программ бизнеса.

Лиза Францен, Джули Соломон, Дора Холлод [Partner-Centered Evaluation Capacity Building: Findings from a Corporate Social Impact Initiative] Lisa Frantzen, Julie Solomon, Laura Hollod The Foundation Review (США). Июнь 2018

Коучинг от оценщика: развивайте экспертный потенциал клиента.

В этой публикации опытный американский оценщик Betsy Baum Block (B3) призывает коллег активно развивать навыки коучинга, и рассказывает о том, как их применять для развития оценочных компетенций некоммерческих клиентов.
Эксперт отмечает, что коучинг существенно повышает качество оценки – поскольку оно напрямую зависит от способности заказчика выстраивать системы оценки и сбора/анализа достоверной информации — и для начала предлагает выяснить, чем «коуч» (coach) отличается от «консультанта» и «наставника»:

  • Консультант знает больше клиента, и ему «есть что сказать».
  • Наставник делится знаниями, и клиент следует его советам.
  • Клиент сам является экспертом, а коуч помогает воспользоваться этими знаниями.

Как показывает практика, коуч требуется участникам социальных преобразований в тех случаях, когда организации (1) уходят от создания единичного продукта и приступают к работе на уровне экосистемы производства общественных благ; (2) стремятся выйти за рамки устаревшей системы и существенно изменить ситуацию; и (3) нуждаются в значительном улучшении или мобилизации организационных компетенций. Из вышесказанного следует, что действуя в роли коуча, оценщик (а) взаимодействует с заказчиком «на равных», (б) экспериментирует вместе с командой НКО, и (в) помогает сформировать системный взгляд на проблемы и цели. При этом желательно придерживаться нескольких базовых принципов, которые автор статьи сформулировала следующим образом:

  • Каждый участник – творческая и «ресурсная» личность.
  • Каждая организация изначально обладает богатым интеллектуальным и творческим потенциалом.
  • В каждой организации имеется оценочный инструментарий, который можно использовать в качестве основы.
  • Демонстрация связи между оценкой и выполнением миссии усиливает мотивацию команды.

Размышления авторитетного эксперта о сути и предназначении коучинга сопровождаются наглядными схемами и таблицами, которые помогут внешнему оценщику-коучу (а) правильно выбрать модель сотрудничества, и (б) направить взаимодействие с клиентом в конструктивное русло.

Бетси Баум Блок [Evaluation Coaching: Light up your Client’s Expertise] Betsy Baum Block Center for Evaluation Innovation (США). Январь 2018