Архив рубрики: Оценка

Рамочная концепция оценки эффективности некоммерческих организаций

Опытные эксперты и консультанты американского профессионального издания изучили существующие модели оценки эффективности НКО (PM — performance measurement) и составили интегрированную концепцию, которая рассматривает эффективность некоммерческих институтов по семи позициям:

  1. Способность привлекать ресурсы, обеспечивать надлежащее управление доступными активами и находить им лучшее применение в сложных условиях;
  2. Подходы к развитию внутреннего организационного потенциала;
  3. Результаты краткосрочного характера — непосредственная отдача от социально значимой деятельности (outputs);
  4. Отложенные результаты – перемены в жизни людей и сообществ (outcomes), и, в том числе, изменения моделей поведения и общего контекста, которые оцениваются по показателю удовлетворенности клиентов;
  5. Общественная ценность, возникающая вследствие выполнения программ и/или оказания услуг;
  6. Институциональная легитимность; и
  7. Сетевое взаимодействие с другими организациями.

Данную концепцию предлагается использовать для дальнейшего развития оценочной практики по каждому из семи обозначенных направлений. Авторы документа небезосновательно полагают, что совершенствуя подходы к оценке, НКО-сектор сможет усилить подотчетность перед ключевыми стейкхолдерами и усилит свои позиции на общественной арене.

Источник: Рамочная концепция оценки эффективности некоммерческих организаций. Чонмьян Ли. Брэнда Ноуэлл. [A Framework for Assessing the Performance of Nonprofit Organizations. Chongmyoung Lee. Branda Nowell.] American Journal of Evaluation, № 36 (3). 2015. 

Соответствие императиву эффективности с помощью ‘подотчетности, ориентированной на результаты’

Рабочая группа, объединяющая более 50 прогрессивно мыслящих экспертов сферы социальных преобразований, объявила эффективность требованием времени (The Performance Imperative) и обозначила для организаций некоммерческого сектора семь слагаемых эффективности:

  1. Чуткое восприятие изменений и смелое руководство, осуществляемое при активном содействии со стороны совета директоров;
  2. Дисциплинированное управление, ориентированное на людей;
  3. Тщательно проработанные и последовательно выполняемые программы и стратегии;
  4. Финансовая стабильность и здоровье организации;
  5. Культура, в которой ценится обучение;
  6. Постоянный внутренний мониторинг возможностей для развития и поиска новых идей;
  7. Внешняя оценка прогресса на пути к выполнению миссии.

Основываясь на информации по каждому из этих параметров, НКО смогут определить слабые места в своей работе и наметить план действий по развитию культуры и практики. В этом им поможет управленческая концепция «подотчетности, ориентированной  на результаты» (RBA — results-based accountability), которая  укрепляет идеологическую платформу соответствующими действиями, направленными на повышение качества жизни детей, семей, уязвимых граждан и сообществ. RBA оперирует простыми категориями и предлагает найти ответы вопросы, которые, на первый взгляд, выглядят слишком обыденно: «Насколько мы продвинулись в выполнении миссии?», «Насколько хорошо мы работали?» и «Кто получил пользу?». Тем не менее, использование концепции заметно структурирует рабочие процессы и повышает отдачу от инициатив, ускоряющих общественный прогресс.

Источник: Соответствие императиву эффективности с помощью ‘подотчетности, ориентированной  на результаты’. Адам Лукинг [Achieving the Performance Imperative with Results-Based Accountability. Adam Luecking] Results Leadership Group (США), 2015.

Инициатива ассоциации SIAA. Оценочная деятельность с призывом к действию

Ассоциация аналитиков социальных результатов (SIAA; г. Лондон) предлагает консультантам и сотрудникам НКО упорядочить работу по подготовке публичных отчетов, информирующих внешних стейкхолдеров об эффективности социально значимых программ и проектов. Чтобы сделать первый шаг и продвинуться в решении этой задачи, эксперты SIAA организовали конкурс «Отчет за пять часов» и по итогам анализа комментариев жюри составили описание «образцового отчета», который (помимо выводов и наблюдений) должен включать доказательную информацию (evidence) и соответствовать следующим критериям:

  • Ясность: пользуйтесь простым и доступным языком; иллюстрируйте основные выводы и важные моменты инфографикой, диаграммами или таблицами; кратко разъясняйте значение терминов.
  • Баланс: акцентируйте внимание на программах, которые вызывают у стейкхолдеров наибольший интерес; говорите не только об успехах, но также о допущенных ошибках; качественные показатели сопровождайте сведениями за предыдущие годы; размышляйте, но не утверждайте; вдохновляйте, но убеждайте.
  • Содержание: не увлекайтесь пространным анализом; в сносках сообщайте информацию о методах оценки; подробные таблицы и большие графики включайте в отчеты в виде приложений.
  • Объем: как показывает практика, даже самый большой отчет читается на одном дыхании, если он не перегружен терминами и легко воспринимается читателем.

Также, авторы документа советуют заранее определить читательскую аудиторию: если это доноры и сторонники, то отчет должен быть кратким и наглядным, а если это «дэшборд» для лидеров и/или менеджеров организации, то терминов и количественных сведений может быть больше, но не в ущерб общей логике. А если в роли потребителя информации выступает «широкая общественность», то отчет должен быть не слишком длинным и понятным для людей со средним образованием.

Источник: Инициатива ассоциации SIAA. Оценочная деятельность с призывом к действию. Кейт Рафф [SIAA Challenge. Measurement with a Message. Kate Ruff] The Social Impact Analysts Association (Великобритания). Декабрь 2015.

Получение обещанного социального эффекта. Роль аналитика эффективности

Данный сборник «историй из жизни» некоммерческих организаций демонстрирует отличия между существующими системами управления эффективностью социальных программ (PMS – performance management systems) и акцентирует внимание на преимуществах командной работы, эпицентром которой являются аналитики эффективности (PA — performance analysts). Эти специалисты формируют петли обратной связи с разными стейкхолдерами и содействуют формированию объективного представления о потребностях клиентов и пользователей продуктов / услуг. В силу того, что «КПД» социально значимой деятельности в последние годы стало предметом повышенного интереса со стороны государства, провайдеров услуг, рыночных посредников, благотворителей и социальных инвесторов, ожидания от работы аналитиков значительно возросли. Чтобы поддержать PA-специалистов в этот непростой момент, исследователи сформировали пакет наблюдений и советов, которые помогут скорректировать внутренние процессы и откликнуться на запросы многочисленных причастных субъектов:

  • Следите за тем, чтобы все «истории» сопровождались данными, а данные публиковались в связке с «историями».
  • Объединенные базы данных существенно влияют на качество и полезную отдачу от услуг, предоставляемых многими организациями.
  • Система должна служить людям – и только так!
  • Аналитик эффективности намного ближе к процессу оказания услуг, чем специалист по маркетингу.
  • Успешные системы управления эффективностью ориентируются на качество услуг и опираются на принципы подотчетности.
  • Качественное и профессиональное управление расширяет перспективы получения социальных результатов и помогает коллективу организации воплотить идею подотчетности.
  • Организация, заявляющая о своей «готовности к инвестициям» (readiness to investments), должна быть готова к получению социального эффекта.
  • Сотрудники, участвующие в оказании услуг, являются главными сподвижниками аналитика.

В документе также обозначены (а) тенденции, свидетельствующие об усилении потребности в системах PMS, способных обеспечить высокую отдачу от социальных программ; и (b) проблемы, препятствующие созданию действенных систем управления эффективностью. Данная работа помогает осознать значение достоверной информации для ускорения общественного прогресса и стимулирует развитие аналитических компетенций.

Источник: Получение обещанного социального эффекта. Роль аналитика эффективности. Эмма Томпкинсон [Delivering the Promise of Social Outcomes. The Role of the Performance Analyst. Emma Tompkinson] Laboratorio de Investimento Social (Португалия), Impetus-PEF (Великобритания), Think Impact (Австралия). Февраль 2015

Лидерство и масштабные изменения. Как ускорить обучение и усилить социальный эффект

Данный отчет посвящен методологиям оценки, содействующим формированию представления о вкладе лидеров в широкомасштабные социальные преобразования; опыту лидерских программ;  и  потребностям в лидерах, способных решать разные задачи.  Основываясь на результатах интервью с донорами, оценщиками, практикующими специалистами и исследователями, авторы документа пришли к выводу, что развитию лидерства препятствуют: (1) отсутствие понимания в отношении результатов локального и системного уровня, (2) недооценка значения лидерства для индивидуального роста, и (3) недостаток информации о вкладе лидерских сетей в общественный прогресс. Чтобы справиться с этими проблемами, эксперты советуют игрокам социальной сферы освоить существующий оценочный инструментарий и  воспользоваться следующими рекомендациями:

  • Сделайте оценку фундаментом лидерской программы: с самого начала обозначьте предпосылки, желаемые результаты, и сценарии преобразований. Включите обсуждение результатов оценки в обучающий процесс сетевых структур.
  • Формируйте кейсы: описывайте примеры успешной лидерской практики (индивидуальной, организационной, сетевой и т.д.) в рамках крупных инициатив.
  • Создавайте систему знаний или массив информации об оценке лидерских программ и обсуждайте методологические трудности с коллегами и стейкхолдерами.
  • Разрабатывайте и тестируйте показатели, необходимые для оценки работы лидеров. Используйте их в процессе изучения разных программ или кластеров, и проводите сравнительный анализ полученных данных с целью выявления лучших практик и распространения успешного опыта.

Источник: Лидерство и масштабные изменения. Как ускорить обучение и усилить социальный эффект. Дебра Миан, Клэр Райнельт, Салли Лейдерман [Leadership & Large-Scale Change. How to Accelerate Learning and Deepen Impact. Deborah Meehan, Claire Reinelt, Sally Leiderman] The Leadership Learning Community (США). Июнь 2015

Рынок эффективных практик. Помощь лидерам в применении доказательств с целью принятия оптимальных решений

Эксперты американской организации Bridgespan Group отмечают, что участники социальных преобразований стремятся использовать общественные ресурсы с максимальной отдачей, однако эффективность федеральных государственных затрат на социальную сферу подтверждается надежными доказательствами (evidence) всего лишь в 1% случаев. Читать далее Рынок эффективных практик. Помощь лидерам в применении доказательств с целью принятия оптимальных решений

Использование результатов исследований: портфель социальных услуг

Фонд Уильяма Т. Гранта определяет «доказательную информацию» (evidence) как «эмпирические выводы, сделанные по итогам применения систематических методов исследования и анализа» и стремится расширить представление о том, в каких случаях, каким образом и в каких условиях эти сведения могут внести существенный вклад в создание эффективной социально-экономической политики. Читать далее Использование результатов исследований: портфель социальных услуг

Оценка, которая меняет мир

Ценность оценки определяется практическим применением ее результатов. Чтобы укрепить позиции оценщиков, содействующих общественному прогрессу в разных странах, глобальное движение за развитие национальных оценочных компетенций EvalPartners подготовило сборник «рассказов об оценке», который помогает понять, какую пользу приносят социально значимые инициативы; в чем эта польза  выражается; как ее можно измерить; и как описать ее в экономических или иных терминах. А тщательно подобранные примеры из жизни показывают, что результаты оценки способны заметно ускорить социальные преобразования и улучшить положение людей, которые нуждаются в поддержке больше всего. Авторы документа считают, что игроки социальной сферы должны внести посильный вклад в развитие оценки и, в частности, советуют оценщикам сконцентрировать усилия на оценке социального эффекта; внимательно изучать мнения благополучателей; и обеспечивать высокое качество данных. А пользователям информации (представителям разных групп стейкхолдеров), предлагается поддерживать оценочную деятельность и активно пользоваться материалами оценки в процессе принятия решений. Также, эксперты рекомендуют продолжить дискуссию о значении оценки и дополнить повестку дня двумя важными вопросами:

  1. Каким образом можно активизировать применение результатов профессиональной, высококачественной оценки для принятия решений, определяющих содержание и приоритеты социально-экономической политики?
  2. Какими компетенциями должны обладать оценщики, чтобы ускорить положительные изменения в жизни людей?

Поиск ответов на эти вопросы будет стимулировать появление новых идей и вовлекать в дискуссию государственные и общественные институты, заинтересованные в эффективном использовании ресурсов и повышении качества жизни населения.

Источник:  Оценка, которая меняет мир [Evaluations that-make-a-difference] EvalPartners. 2015

Практика оценки сетей. Подходы и применение результатов

Особенность сетей заключается в том, что они не нуждаются в централизованном (т.н. «нисходящем») управлении (top-down) – их необходимо координировать. При этом они способствуют созданию общественных благ тремя способами: (1) создают новые сочетания талантов и ресурсов, которые стимулируют инновационную деятельность, (2) ускоряют мобилизацию, перегруппировку и концентрацию активов на стратегически важных направлениях, а также (3) помогают реализовать потенциал разных сообществ и освоить новые возможности. Сети подразделяются на разные виды и типы по таким признакам, как цели (обучение, оказание услуг, продвижение инноваций, влияние на политику и т.п.), структура (членская или обычная организация, объединение частных лиц и др.), сфера деятельности (образование, здравоохранение, …, межсекторная или междисциплинарная инициатива), «география» (один или несколько городов / районов, регион, национальный уровень), размер (малые, средние, крупные), жизненный цикл (временная, постоянно действующая, др.) и источники финансирования (муниципальные программы, доноры национального масштаба, семейные фонды, государственные агентства, корпорации и т.д.). Все эти обстоятельства в значительной мере влияют на дизайн и задачи оценочных проектов, нацеленных на оценку сетевых структур. Являясь действенным механизмом социальных преобразований, сети все чаще привлекают внимание доноров и других заинтересованных субъектов. В связи с этим вопросы оценки приобретают особое значение и выходят на передний план. Стремясь откликнуться на этот запрос, группа американских экспертов изучила существующий опыт (в таких сферах, как «развитие аграрных территорий», «борьба с бездомностью», «социальная адаптация беженцев» «гражданские инициативы») и разработала концепцию оценки, которая опирается на три базовых критерия:

  1. Интенсивность и стабильность внутрисетевого взаимодействия. В децентрализованной структуре связи выполняют функцию «цементирующего материала», повышающего степень готовности членов к совместным действиям и обмену полезной информацией.
  2. Здоровье сети. Оно измеряется по трем параметрам: материальные ресурсы, необходимые для стабильной работы (например, внешнее финансирование); внутренняя инфраструктура и системы (правила, процессы, коммуникации); и способность создавать ценности совместными усилиями (если сеть привлекает и удерживает членов, вдохновляя их общими идеями, то она сможет решать свои задачи на протяжении запланированного периода времени).
  3. Результаты сетевой работы. Фонды отдают предпочтение сетям, которые стремятся изменить общество определенным образом, и оценивают (а) их внутренние результаты (способность выполнять намеченные планы), и (b) внешний социальный эффект, возникающий благодаря выполнению программ.

Все выводы и наблюдения экспертов сопровождаются примерами оценки разных типов сетей и подробными комментариями относительно дизайна, методов и результатов работы оценщиков.

Источник: Практика оценки сетей. Подходы и применение результатов. Мадлен Тейлор, Энн Уотли, Джулия Коффман [Network Evaluation in Practice. Approaches and Applications. Madeleine Taylor, Anne Whatley, Julia Coffman] The Foundation Review (США). Июнь 2015

Социальная ценность сегодня

Специалисты некоммерческой организации HouseMark, являющейся официальным поставщиком информации о социальном жилье в Соединенном Королевстве, подготовили отчет о «социальной ценности» (SV – social value) и ее измерении и, в частности, озвучили следующие наблюдения и выводы:

  • Оценка SV становится важным пунктом в повестке дня государственных агентств, фондов, организаций социального сектора, социально ориентированного бизнеса, «инвесторов, поддерживающих преобразование общества» (impact investors), потребителей услуг и пользователей информационных ресурсов.
  • Отчетность по тройному показателю (triple bottom line), охватывающая ключевые аспекты устойчивого развития — «люди», планета» и «выгода» — стала частью жизни для многих крупных организаций и продолжает распространяться в корпоративном сообществе.
  • Частный сектор чаще всего рассматривает SV в качестве потенциальной выгоды для бизнеса, которая может выражаться в укреплении бренда и/или рыночных позиций.
  • Интерес правительства к деятельности социальных предприятий (СП) подогревает стремление крупных провайдеров услуг в жилищной сфере к развитию СП в качестве одного из компонентов создаваемой социальной ценности.
  • Европейская Комиссия отмечает, что добровольный характер отчетности о создании SV не оправдал себя, и субъектам жилищной сферы стоит ждать поправок к действующему законодательству.
  • Крупные игроки жилищного сегмента Англии и Уэльса готовы сделать «создание и измерение SV» обязательным пунктом требований к соискателям заказов. Северная Ирландия в дискуссию пока не вступает, но это всего лишь вопрос времени.
  • Семь принципов, предложенных сетью SROI Network[1], могут послужить основой для разработки стандартизированного подхода к измерению SV, который позволит проводить сравнительный анализ и сопоставлять результаты похожих инициатив.

Эксперты также отмечают, что давление на провайдеров жилья усиливается — стейкхолдеры желают знать, насколько эффективно используются ресурсы налогоплательщиков. Прежде всего, это касается предприятий, выполняющих государственные заказы. Поэтому дискуссия о социальной ценности набирает обороты и приобретает практическую направленность: в настоящий момент обсуждаются возможности для «оцифровки» SV и ведется проработка терминологии, необходимой игрокам ЖКХ для общения на одном языке и согласования единых показателей высокого порядка.

[1] См. «Пособие для начинающих: социальный возврат на инвестиции. Узнайте больше о SROI и измерении социального эффекта.» [The Beginners Guide to Social Return on Investment. Learn more about SROI and how you can measure your impact] Sinzer

Источник: Социальная ценность сегодня. Ричард Томлинс [Social Value Today. Richard Tomlins] HouseMark (Великобритания). Сентябрь 2015