Архив рубрики: Оценка

РЕФЕРАТИВНЫЙ ОБЗОР МАТЕРИАЛОВ ПО ТЕМЕ «ИЗМЕРЕНИЕ И ОЦЕНКА»

В рамках проекта «Школа оценки 3 в 1» АНО «Эволюция и Филантропия» подготовила Специальный выпуск № 3 «Оценка: обзор ключевых международных публикаций за 2018-2019гг.»

Проект выполняется НП «ИнА-Центр» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов.

Материал можно посмотреть здесь.

РАЗВИТАЯ ЭКОСИСТЕМА ДОКАЗАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ – ВАЖНЫЙ ФАКТОР ПРОГРЕССА

Американская Комиссия по доказательному нормотворчеству (Commission on Evidence-Based Policy Making) заявила о том,

что для оценки влияния пандемии и эффективности предпринятых мер необходимы инвестиции в развитие доказательной практики, способной обеспечить получение «социальных результатов» (outcomes) в интересах разных групп населения и нации в целом. Для воплощения этой идеи Проект Evident (Project Evident), занимающий в данной нише одну из лидирующих позиций, предложил ускорить развитие «экосистемы доказательств нового поколения» (The Next Generation of Evidence ecosystem), которая означает, что (1) организации, поддерживающие местные сообщества, должны знать, как составляются планы сбора достоверных данных; (2) инвестиции в обучение социальных и образовательных учреждений должны быть надежными и стабильными; и (3) представители сообществ должны активно участвовать в формировании доказательной базы. Тем не менее, на сегодняшний день существует целый ряд обстоятельств, которые говорят о том, что путь к созданию системы пролегает «через тернии»:

  • Организации сферы образования, здравоохранения и социальной защиты не обладают достаточными возможностями и компетенциями для сбора данных высокого качества, серьезной аналитической работы и использования достоверной информации для обучения и развития. Институты филантропии и государственные агентства (финансирующие стороны), в свою очередь, не уделяют этим проблемам особого внимания, и нередко заботятся лишь о том, чтобы исполнители строго соблюдали их требования.
  • Оценки социальных программ проводятся эпизодически и, как правило, третьими сторонами, которые хорошо выполняют свою работу, но не повышают квалификацию своих заказчиков.
  • Провайдеры социально значимых услуг (чаще всего НКО) не имеют доступа к официальным данным о занятости населения, доходах граждан, получении образования, правонарушениях и т.д. Чтобы повлиять на решения авторитетных инстанций и отчитаться по контрактам, они собирают разнообразную информацию о своих клиентах и затрачивают на это значительные ресурсы. Однако в силу законодательных ограничений и отсутствия стимулов со стороны доноров, все эти сведения не получают должного распространения и не способствуют формированию коллективных компетенций в соответствующих сегментах деятельности.

Исходя из этих обстоятельств, эксперты Проекта Evident подготовили для ключевых игроков целый ряд рекомендаций, которые (при условии их реального воплощения) могли бы ускорить формирование экосистемы нового типа:

  • Государственным агентствам, фондам и частным донорам следует более активно поддерживать стратегическое планирование и развитие инфраструктуры доказательной деятельности. Эти инициативы должны положительно влиять на культуру причастных организаций, и обеспечивать практикующих специалистов необходимыми инструментами и технологиями.
  • Законодателям стоит отрегулировать доступ к официальным базам данных и разработать протоколы, гарантирующие безопасное распространение доказательной информации.
  • Оценщикам, исследователям и рыночным посредникам нужно стремиться к тому, чтобы социальные программы изначально включали механизмы сбора и анализа достоверных данных, а оценка была экономически оправданной, и служила интересам всех ключевых стейкхолдеров — не только доноров и регуляторов, но и поставщиков услуг.
  • Сообществу практиков рекомендуется постоянно взаимодействовать со своими клиентами, и использовать собственные и сторонние сведения для разработки актуальных программ и услуг.

Кризис показал, что упущения в сфере здравоохранения, жилья, образования и экономической безопасности игнорировать больше нельзя. И чтобы справиться с этими трудностями, нужна надежная экосистема, содействующая появлению новых эффективных решений.

Источник: Project Evident

Измеряем социальный эффект качественно

Данная публикация будет полезна специалистам, практикующим проведение оценки эффективности и социального эффекта.

В статье предлагаются конкретные стратегии и рекомендации по вышеобозначенным темам. Исследование предполагало выполнение 2х основных задач:

1)  Изучить, как в оценке применяются качественные методы исследований и как используется соответствующая терминология в отчетности оценщиков.

2)  Подготовить рекомендации для оценщиков, которые могут быть использованы для совершенствования качественных методов в оценке эффективности и социального эффекта.

Исследование базируется на анализе 32 оценочных докладов по ВИЧ/СПИДу, которые были профинансированы за счет USAID. Основные сделанные выводы касались:

1.1. Смешанные методы оценки – это отдельный самостоятельный подход.

1.2. Дизайн оценки как часть методологии заслуживает отдельного внимания; дизайн оценки не следует путать с набором активностей

1.3. Следует гармонизировать и очень четко обозначать, как предлагаемый подход к оценке учитывает все внешние и внутренние контексты.

Материал содержит ключевые рекомендации:

1)  Обеспечить, чтобы использование качественных методов было более продуманным, и уделять больше внимания деталям, пояснительному тексту и транспарентности.

2)  Обеспечить, чтобы оценка учитывала гендерные аспекты надлежащим образом. 

Источник: Сьюзан Петрзайк [Measuring Impact Qualitatively. Susan Pietrzyk] USAID, PEPFAR, MEASURE Evaluation (США).

Оценка больших изменений: преодолевая препятствия, стоящие перед обучением и оценкой, для продвижения системных изменений в местных сообществах

Фонды, инвестирующие в системные изменения в местных сообществах, часто оказываются неспособны расставить приоритеты между вопросами оценки на местном и кросс-секторальном уровнях при разработке своих инициатив,

в результате чего большинству оценок подобных инвестиций не хватает четких выводов, которые могли бы оказаться полезными. Публикация исследует, как коллективное обучение может помочь в решении этой проблемы и с какими трудностями сталкиваются фонды при оценивании системных изменений в местных сообществах. Выделяются три категории сложностей и к каждой приводятся причины и способы борьбы:

1)  Извлечение уроков из прошедших инициатив системного изменения в сообществе  

2)  Планирование и реализация оценки для формирования и использования знаний в дальнейшем

3)  Формирование базы знаний для всего сообщества

В основе данной статьи лежит непрекращающийся обмен знаниями между несколькими фондами, которые составили рекомендации для доноров и оценщиков по вопросам системных изменений в сообществах. Кроме этого, в данной статье делается акцент на вовлечение сообществ в процесс создания и использования местных знаний. Авторы отмечают, с каким трудом они смогли обеспечить, чтобы их оценки были способны предоставить полезные для будущей работы знания, именно поэтому данная статья сфокусирована на стратегиях, с помощью которых можно фиксировать, анализировать, распространять и использовать важные уроки. Качественное увеличение внимания и поддержки к этим урокам и связывание их с существующими знаниями для создания и продвижения между участниками системных изменений в местных сообществах – это главное решение всех трудностей.

Источник: Томас Келли, Пруденс Браун, Хан Цао Ю, Мари Коломбо. [Evaluating for the Bigger Picture: Breaking Through the Learning and Evaluation Barriers to Advancing Community Systems-Change Field Knowledge. Thomas Kelly, Prudence Brown, Hanh Cao Yu, Marie Colombo.]. The Foundation Review. Июнь 2019.

Размышления по поводу применения принципов справедливой оценки

В данной публикации основное внимание уделяется понятию справедливой оценки, ее принципам и их реализации.

С одной стороны, статья будет полезна исследователям, которые изучают способы согласования будущих проектов с интересом доноров к продвижению равенства. С другой стороны, статья поможет и донорам, и исследователям углубить свои познания в применении принципов справедливой оценки и оценить возможное влияние ориентированного на обеспечение равенства подхода к исследованию и оценке.

Под справедливой оценкой авторы статьи подразумевают подход, затрагивающий условия и практики, которые в исторической перспективе обесценивали голоса, знания, мнения, потенциал и опыт всех участников оценки и заинтересованных лиц, в особенности цветного населения и других маргинализированных групп. В публикации выделяется ряд потенциальных возможностей интеграции основных принципов справедливой оценки:

1)  Выбор команды специалистов, проводящих оценку. Эффективная команда должна быть не только мультинациональной и составлена с учетом культурных особенностей, но и в идеале включать индивидов, чьи навыки и жизненный опыт существенно различаются.

2)  Разработка оценочных вопросов. Эти вопросы направляют оценку в процессе анализа системных и институциональных особенностей неравенства.  

3)  Разработка дизайна исследования  и способы сбора информации. Чем больше заинтересованных лиц вовлечено в оценку, тем больше возможностей улучшить процесс исследования и тем точнее будет финальный результат.

4)  Разработка протокола, инструмента  исследований,  а также отбор участников в соответствие с принципами равенства и справедливости значительно повысит качество и авторитет результатов работы.

5)  Сбор информации и кодирование. Оценка – это возможность нарастить потенциал участников местных сообществ, чья помочь могла бы пригодиться в совместной оценке.

6)  Разработка, совершенствование и использование результатов. Удачный конечный продукт должен быть актуальным, прозрачным и доступным для всех заинтересованных лиц, а также полезным как для спонсора, так и для местных партнеров.

Источник: Алексис Стэрн, Сара Гукенберг, Ханна Персон, Энтони Петросино. [Reflections on Applying Principles of Equitable Evaluation. Alexis Stern, Sarah Guckenburg, Hannah Persson, Anthony Petrosino.] WestEd Justice & Prevention Research Center. Май 2019.

Переосмысление нравственных ориентиров в оценке

В данной статье поднимается проблема моральных ориентиров современной оценки в условиях меняющегося мира, где культурный и общественный раскол углубляется с каждым днем.

Поиск ответов и решений связан не сколько с ценностями отдельных оценщиков, сколько с ролью и идентичностью оценщика как профессии или социального института. Чтобы разобраться в этом, в первую очередь надо ответить на вопросы: «Какие действия и результаты могут считаться хорошими и желаемыми в оценке? Что должны делать оценщики?». Автор дает подробное описание классического понимания деятельности и роли оценщиков, а затем объясняет, что, как и почему изменилось сегодня, выделяя несколько основных моментов, повлиявших на это, в частности, революция 4.0, состояние демократии в разных частях мира, переосмысление измерения, состояние публичных дискуссий и пр. Из этого вытекает ряд сложностей для оценки:

  1. Инновации в оценке;
  2. Возвращение политической инициативы к народу;
  3. Восстановление практических рассуждений;
  4. Увеличение важности совместного производства;
  5. Этическая подотчётность.

Автор предлагает несколько ориентиров, которые могут помочь оценщикам пересмотреть нравственную сторону своей работы. Оценку следует рассматривать как борьбу за какие-либо ценности, результаты которой имеют прямое влияние на изменения в обществе; как профессию, позволяющую делиться властью и авторитетом с широким кругом людей.

Источник: ТомасА. Швандт. [Rethinking the Moral Compass for Evaluation. Thomas A. Schwandt]. Апрель 2019.

Учимся вместе — основы: 5 важных вопросов для обсуждения, которые помогут сделать оценку полезной

Данная публикация представляет собой практическое руководство для улучшения оценки, однако в фокусе находятся не технические аспекты самого процесса,

а построение эффективной коммуникации между фондами и другими заинтересованными участниками. Эта статья поможет оценщикам и их клиентам лучше понять друг друга: заказчики смогут более четко объяснить, какого именно результата они ждут от оценки и какие вопросы у них возникают в процессе, а оценщики смогут выработать более индивидуальную и продуманную стратегию, и в итоге провести действительно полезное оценивание. Авторы выделяют 5 основных вопросов, необходимых для эффективного взаимодействия, которые нужно задавать строго по порядку, так как каждый предыдущий вопрос дополняет следующий.

1)  Чему мы реально пытаемся научиться и как эти знания приведут к действиям?

Обсуждения оценки проходят лучше, если внимание сфокусировано на значимости оценки, а не просто на процессе.

2)  Как мы может помогать друг другу учиться?

Если партнеры ценят вклад друг друга в работу, то оценка будет более полезной

3)  Оценка — это правильный подход? Если да, то в каком плане?

Реалистичные ожидания – основа полезной оценки. 

4)  Кто и что будет делать?

Интерес к оценке возрастает, если люди четко осознают, что они должны делать и как им это поможет.

5)  Как мы будем взаимодействовать?

Информацию можно получить из обсуждения, а не из оценочных данных.

Источник: . [LEARNING TOGETHER −THE BASICS: FIVE IMPORTANT DISCUSSION QUESTIONS TO MAKE EVALUATION USEFUL]. Ontario Nonprofit Network.

Учимся вместе: развитие потенциала групп НКО и «волновые» последствия от сотрудничества

Фонды являются основными заказчиками оценок, при этом многие организации, получающие гранты, либо не видят результатов, либо находят их слишком ограниченными.

Фонды-спонсоры, как Edna McConnell Clark Foundation, стараются исправить ситуацию при помощи системы коллективного обучения и размышлений. Программа фонда PropelNext по развитию потенциала  групп НКО как раз разработана для повышения результативности перспективных НКО, помогающих неблагополучной молодежи. Программа реализуется как на региональном, так и на национальном уровнях. Используя сочетание финансовой помощи, индивидуализированного обучения и сессий коллективного обучения, получатели грантов принимали участие в цикле обучения. Данная публикация исследует, как происходит совместное обучение в рамках программы PropelNext и как фонды могут практиковать свои ценности через моделирование осмысленной практики, создание организаций для обучения и распространение своих знаний, которые могут быть полезны для всех заинтересованных участников. Авторы также затрагивают специфические стратегии и инструменты, при помощи которых можно продвигать коллективное обучение и создавать сеть единомышленников, способную ускорить изменения и улучшить взаимодействие между донорами  и грантополучателями.

Программа PropelNext доказала свою эффективность: спустя 5 лет после запуска первой когорты организации-выпускники продолжают совершенствоваться в управлении качеством работы, результатом чего являются значительные сдвиги в организационных практиках, поведении, процессах и культуре. Кроме этого, они продолжают оказывать поддержку нынешним поколениям PropelNext и делиться своим опытом.

Источник: СоняТэдди-Сандино, МэриГрэй, ДаниэллаСкатурро. [Learning Together: Cohort-Based Capacity-Building and the Ripple Effects of Collaboration. Sonia Taddy-Sandino, Mary Gray, Danielle Scaturro.]. The Foundation Review. The Edna McConnell Clark Foundation (США). Июнь 2019.

Оценщики в качестве проводников и поддержки для обучения фондов

Роль оценщиков в поддержке обучения и проектирования программ и стратегий в сфере филантропии чрезвычайно важна,

но оценка и обучение в филантропии недостаточно применяются, что препятствует усилению эффективности социальных преобразований. 

Эта проблема связывается с тем, что филантропическая оценка сфокусирована на нуждах определенных фондов, при этом обмен знаниями с более широким кругом весьма ограничен, поэтому фондам трудно интегрировать оценку и обучение в качестве инструментов управления. В данной публикации обосновывается необходимость общих усилий оценщиков и фондов для развития коллективного потенциала и увеличения вклада в социальные изменения. Статья, помимо прочего, исследует пути развития оценки в филантропии, выделяет первоисточники ограничений и обозревает новые инструменты и практики, с помощью которых оценщики и фонды могут работать вместе.  Среди коренных причин барьеров, возникающих при проведении филантропической оценки, авторы выделяют такие, как:

  1. Ограниченное профессиональное развитие оценщиков непосредственно в области филантропии;
  2. Отсутствие стимулов для сотрудничества и обмена знаниями;
  3. Недостаток практического внедрения темы DEI (разнообразие, равенство и инклюзивность) в оценку;
  4. Большинство филантропических оценок имеет индивидуализированную направленность;
  5. Отсутствие связи между стратегией и решениями.

Оценщики должны выступать в качестве проводников знаний, собирающих и обрабатывающих информацию среди широкого круга организаций. Подобная практика способна ускорить распространение знаний, расширить базу внешних оценщиков, работающих с филантропическими практиками, и повысить значение оценки и обучения не только среди фондов, но и во всем социальном секторе.

Источник: КлэрНолан, МэгЛонг, ДэбраДжоцПерец. [Evaluators as Conduits and Supports for Foundation Learning. Clare Nolan, Meg Long, Debra Joy Pérez]. The Foundation Review. Март 2019.

Формируем успешное партнёрство: когда доноры, оценщики и посредники работают вместе

При работе с изменением сложных систем доноры часто обращаются за помощью к посредникам и оценщикам, и в данной публикации рассматривается, каким образом можно наладить такое партнерство.

Для начала необходимо определить наиболее распространенные точки преткновения, возникающие в процессе сотрудничества между донорами, посредниками и оценщиками, а затем найти способ их преодолеть. Проблема №1 – кто главный? Конкретного ответа – нет. Чтобы выстроить грамотное сотрудничество, все партнеры должны заранее обсудить, кто выступает в качестве руководителя и определяет поток ресурсов. Проблема №2 – определение ролей. Очень важно чётко распределять рабочие обязанности и постоянно их корректировать по мере продвижения работы. Проблема №3 – доверие. Тут помогут дискуссии на ранних этапах взаимодействия, в ходе которых партнёры могут обсудить свой опыт и ожидания. Таким образом база для совместной работы будет заложена сразу, что поможет избежать дальнейших трудностей. Проблема №4 – способы взаимодействия. В общении тоже нужно планирование и посредничество, и назначение сотрудника, ответственного за организацию и проведение встреч, в значительной степени поспособствует успеху проекта. Проблема №5 – ожидание изменений. В подобной деятельности необходимо ставить реалистичные цели и ожидать реалистичных результатов. Если партнёры будут избегать завышенных ожиданий, они смогут создать более доверительные отношения, скорректировать целевые показатели для большей результативности, эффективно использовать стратегические преимущества возникающий возможностей и в итоге добиться желаемого результата работы.

Для наглядности авторы приводят три случая трехстороннего партнёрства, на примере которых анализируют применение вышеупомянутых стратегий для разрешения распространённых противоречий в контексте разных конфигураций среди партнеров.

Источник: [Weaving Successful Partnerships: When Funders, Evaluators, and Intermediaries Work Together]. Engage R+D, Equal Measure, and Harder+Company Community Research.