Архив метки: оценка

Вопросы, на которые должна ответить оценка

Переведены материалы по теме «Вопросы, на которые должна ответить оценка:

  1. Качественные вопросы, на которые должна ответить оценка: Контрольный список для фокусировки оценочной деятельности. Материал можно посмотреть здесь.

2. Контрольный список вопросов, предназначенных для изучения в ходе оценки программы.
Материал можно посмотреть здесь.

3. Подготовка вопросов, на которые должна ответить оценка. Материал можно посмотреть здесь.

Совместная оценка

Новый перевод по теме «Оценка».

Совместная оценка – это подход, при котором лица, заинтересованные в какой-либо программе или курсе, вовлекаются в процесс оценки. Полностью материал можно посмотреть по ссылке.

РЕФЕРАТИВНЫЙ ОБЗОР МАТЕРИАЛОВ ПО ТЕМЕ «ИЗМЕРЕНИЕ И ОЦЕНКА»

В рамках проекта «Школа оценки 3 в 1» АНО «Эволюция и Филантропия» подготовила Специальный выпуск № 3 «Оценка: обзор ключевых международных публикаций за 2019-2020гг.»

Проект выполняется НП «ИнА-Центр» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов.

Материал можно посмотреть здесь.

Опубликован новый перевод по теме оценка

Многим благотворительным организациям, социальным предприятиям приходится принимать сложные решения по поводу их деятельности и имеющихся ресурсов.

Этот рабочий лист может помочь в принятии этих решений и грамотной коммуникации с клиентами, сотрудниками, партнёрами и донорами. Материал можно скачать.

РАЗВИТАЯ ЭКОСИСТЕМА ДОКАЗАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ – ВАЖНЫЙ ФАКТОР ПРОГРЕССА

Американская Комиссия по доказательному нормотворчеству (Commission on Evidence-Based Policy Making) заявила о том,

что для оценки влияния пандемии и эффективности предпринятых мер необходимы инвестиции в развитие доказательной практики, способной обеспечить получение «социальных результатов» (outcomes) в интересах разных групп населения и нации в целом. Для воплощения этой идеи Проект Evident (Project Evident), занимающий в данной нише одну из лидирующих позиций, предложил ускорить развитие «экосистемы доказательств нового поколения» (The Next Generation of Evidence ecosystem), которая означает, что (1) организации, поддерживающие местные сообщества, должны знать, как составляются планы сбора достоверных данных; (2) инвестиции в обучение социальных и образовательных учреждений должны быть надежными и стабильными; и (3) представители сообществ должны активно участвовать в формировании доказательной базы. Тем не менее, на сегодняшний день существует целый ряд обстоятельств, которые говорят о том, что путь к созданию системы пролегает «через тернии»:

  • Организации сферы образования, здравоохранения и социальной защиты не обладают достаточными возможностями и компетенциями для сбора данных высокого качества, серьезной аналитической работы и использования достоверной информации для обучения и развития. Институты филантропии и государственные агентства (финансирующие стороны), в свою очередь, не уделяют этим проблемам особого внимания, и нередко заботятся лишь о том, чтобы исполнители строго соблюдали их требования.
  • Оценки социальных программ проводятся эпизодически и, как правило, третьими сторонами, которые хорошо выполняют свою работу, но не повышают квалификацию своих заказчиков.
  • Провайдеры социально значимых услуг (чаще всего НКО) не имеют доступа к официальным данным о занятости населения, доходах граждан, получении образования, правонарушениях и т.д. Чтобы повлиять на решения авторитетных инстанций и отчитаться по контрактам, они собирают разнообразную информацию о своих клиентах и затрачивают на это значительные ресурсы. Однако в силу законодательных ограничений и отсутствия стимулов со стороны доноров, все эти сведения не получают должного распространения и не способствуют формированию коллективных компетенций в соответствующих сегментах деятельности.

Исходя из этих обстоятельств, эксперты Проекта Evident подготовили для ключевых игроков целый ряд рекомендаций, которые (при условии их реального воплощения) могли бы ускорить формирование экосистемы нового типа:

  • Государственным агентствам, фондам и частным донорам следует более активно поддерживать стратегическое планирование и развитие инфраструктуры доказательной деятельности. Эти инициативы должны положительно влиять на культуру причастных организаций, и обеспечивать практикующих специалистов необходимыми инструментами и технологиями.
  • Законодателям стоит отрегулировать доступ к официальным базам данных и разработать протоколы, гарантирующие безопасное распространение доказательной информации.
  • Оценщикам, исследователям и рыночным посредникам нужно стремиться к тому, чтобы социальные программы изначально включали механизмы сбора и анализа достоверных данных, а оценка была экономически оправданной, и служила интересам всех ключевых стейкхолдеров — не только доноров и регуляторов, но и поставщиков услуг.
  • Сообществу практиков рекомендуется постоянно взаимодействовать со своими клиентами, и использовать собственные и сторонние сведения для разработки актуальных программ и услуг.

Кризис показал, что упущения в сфере здравоохранения, жилья, образования и экономической безопасности игнорировать больше нельзя. И чтобы справиться с этими трудностями, нужна надежная экосистема, содействующая появлению новых эффективных решений.

Источник: Project Evident

Измеряем социальный эффект качественно

Данная публикация будет полезна специалистам, практикующим проведение оценки эффективности и социального эффекта.

В статье предлагаются конкретные стратегии и рекомендации по вышеобозначенным темам. Исследование предполагало выполнение 2х основных задач:

1)  Изучить, как в оценке применяются качественные методы исследований и как используется соответствующая терминология в отчетности оценщиков.

2)  Подготовить рекомендации для оценщиков, которые могут быть использованы для совершенствования качественных методов в оценке эффективности и социального эффекта.

Исследование базируется на анализе 32 оценочных докладов по ВИЧ/СПИДу, которые были профинансированы за счет USAID. Основные сделанные выводы касались:

1.1. Смешанные методы оценки – это отдельный самостоятельный подход.

1.2. Дизайн оценки как часть методологии заслуживает отдельного внимания; дизайн оценки не следует путать с набором активностей

1.3. Следует гармонизировать и очень четко обозначать, как предлагаемый подход к оценке учитывает все внешние и внутренние контексты.

Материал содержит ключевые рекомендации:

1)  Обеспечить, чтобы использование качественных методов было более продуманным, и уделять больше внимания деталям, пояснительному тексту и транспарентности.

2)  Обеспечить, чтобы оценка учитывала гендерные аспекты надлежащим образом. 

Источник: Сьюзан Петрзайк [Measuring Impact Qualitatively. Susan Pietrzyk] USAID, PEPFAR, MEASURE Evaluation (США).

Оценка больших изменений: преодолевая препятствия, стоящие перед обучением и оценкой, для продвижения системных изменений в местных сообществах

Фонды, инвестирующие в системные изменения в местных сообществах, часто оказываются неспособны расставить приоритеты между вопросами оценки на местном и кросс-секторальном уровнях при разработке своих инициатив,

в результате чего большинству оценок подобных инвестиций не хватает четких выводов, которые могли бы оказаться полезными. Публикация исследует, как коллективное обучение может помочь в решении этой проблемы и с какими трудностями сталкиваются фонды при оценивании системных изменений в местных сообществах. Выделяются три категории сложностей и к каждой приводятся причины и способы борьбы:

1)  Извлечение уроков из прошедших инициатив системного изменения в сообществе  

2)  Планирование и реализация оценки для формирования и использования знаний в дальнейшем

3)  Формирование базы знаний для всего сообщества

В основе данной статьи лежит непрекращающийся обмен знаниями между несколькими фондами, которые составили рекомендации для доноров и оценщиков по вопросам системных изменений в сообществах. Кроме этого, в данной статье делается акцент на вовлечение сообществ в процесс создания и использования местных знаний. Авторы отмечают, с каким трудом они смогли обеспечить, чтобы их оценки были способны предоставить полезные для будущей работы знания, именно поэтому данная статья сфокусирована на стратегиях, с помощью которых можно фиксировать, анализировать, распространять и использовать важные уроки. Качественное увеличение внимания и поддержки к этим урокам и связывание их с существующими знаниями для создания и продвижения между участниками системных изменений в местных сообществах – это главное решение всех трудностей.

Источник: Томас Келли, Пруденс Браун, Хан Цао Ю, Мари Коломбо. [Evaluating for the Bigger Picture: Breaking Through the Learning and Evaluation Barriers to Advancing Community Systems-Change Field Knowledge. Thomas Kelly, Prudence Brown, Hanh Cao Yu, Marie Colombo.]. The Foundation Review. Июнь 2019.

Размышления по поводу применения принципов справедливой оценки

В данной публикации основное внимание уделяется понятию справедливой оценки, ее принципам и их реализации.

С одной стороны, статья будет полезна исследователям, которые изучают способы согласования будущих проектов с интересом доноров к продвижению равенства. С другой стороны, статья поможет и донорам, и исследователям углубить свои познания в применении принципов справедливой оценки и оценить возможное влияние ориентированного на обеспечение равенства подхода к исследованию и оценке.

Под справедливой оценкой авторы статьи подразумевают подход, затрагивающий условия и практики, которые в исторической перспективе обесценивали голоса, знания, мнения, потенциал и опыт всех участников оценки и заинтересованных лиц, в особенности цветного населения и других маргинализированных групп. В публикации выделяется ряд потенциальных возможностей интеграции основных принципов справедливой оценки:

1)  Выбор команды специалистов, проводящих оценку. Эффективная команда должна быть не только мультинациональной и составлена с учетом культурных особенностей, но и в идеале включать индивидов, чьи навыки и жизненный опыт существенно различаются.

2)  Разработка оценочных вопросов. Эти вопросы направляют оценку в процессе анализа системных и институциональных особенностей неравенства.  

3)  Разработка дизайна исследования  и способы сбора информации. Чем больше заинтересованных лиц вовлечено в оценку, тем больше возможностей улучшить процесс исследования и тем точнее будет финальный результат.

4)  Разработка протокола, инструмента  исследований,  а также отбор участников в соответствие с принципами равенства и справедливости значительно повысит качество и авторитет результатов работы.

5)  Сбор информации и кодирование. Оценка – это возможность нарастить потенциал участников местных сообществ, чья помочь могла бы пригодиться в совместной оценке.

6)  Разработка, совершенствование и использование результатов. Удачный конечный продукт должен быть актуальным, прозрачным и доступным для всех заинтересованных лиц, а также полезным как для спонсора, так и для местных партнеров.

Источник: Алексис Стэрн, Сара Гукенберг, Ханна Персон, Энтони Петросино. [Reflections on Applying Principles of Equitable Evaluation. Alexis Stern, Sarah Guckenburg, Hannah Persson, Anthony Petrosino.] WestEd Justice & Prevention Research Center. Май 2019.

Переосмысление нравственных ориентиров в оценке

В данной статье поднимается проблема моральных ориентиров современной оценки в условиях меняющегося мира, где культурный и общественный раскол углубляется с каждым днем.

Поиск ответов и решений связан не сколько с ценностями отдельных оценщиков, сколько с ролью и идентичностью оценщика как профессии или социального института. Чтобы разобраться в этом, в первую очередь надо ответить на вопросы: «Какие действия и результаты могут считаться хорошими и желаемыми в оценке? Что должны делать оценщики?». Автор дает подробное описание классического понимания деятельности и роли оценщиков, а затем объясняет, что, как и почему изменилось сегодня, выделяя несколько основных моментов, повлиявших на это, в частности, революция 4.0, состояние демократии в разных частях мира, переосмысление измерения, состояние публичных дискуссий и пр. Из этого вытекает ряд сложностей для оценки:

  1. Инновации в оценке;
  2. Возвращение политической инициативы к народу;
  3. Восстановление практических рассуждений;
  4. Увеличение важности совместного производства;
  5. Этическая подотчётность.

Автор предлагает несколько ориентиров, которые могут помочь оценщикам пересмотреть нравственную сторону своей работы. Оценку следует рассматривать как борьбу за какие-либо ценности, результаты которой имеют прямое влияние на изменения в обществе; как профессию, позволяющую делиться властью и авторитетом с широким кругом людей.

Источник: ТомасА. Швандт. [Rethinking the Moral Compass for Evaluation. Thomas A. Schwandt]. Апрель 2019.

Учимся вместе — основы: 5 важных вопросов для обсуждения, которые помогут сделать оценку полезной

Данная публикация представляет собой практическое руководство для улучшения оценки, однако в фокусе находятся не технические аспекты самого процесса,

а построение эффективной коммуникации между фондами и другими заинтересованными участниками. Эта статья поможет оценщикам и их клиентам лучше понять друг друга: заказчики смогут более четко объяснить, какого именно результата они ждут от оценки и какие вопросы у них возникают в процессе, а оценщики смогут выработать более индивидуальную и продуманную стратегию, и в итоге провести действительно полезное оценивание. Авторы выделяют 5 основных вопросов, необходимых для эффективного взаимодействия, которые нужно задавать строго по порядку, так как каждый предыдущий вопрос дополняет следующий.

1)  Чему мы реально пытаемся научиться и как эти знания приведут к действиям?

Обсуждения оценки проходят лучше, если внимание сфокусировано на значимости оценки, а не просто на процессе.

2)  Как мы может помогать друг другу учиться?

Если партнеры ценят вклад друг друга в работу, то оценка будет более полезной

3)  Оценка — это правильный подход? Если да, то в каком плане?

Реалистичные ожидания – основа полезной оценки. 

4)  Кто и что будет делать?

Интерес к оценке возрастает, если люди четко осознают, что они должны делать и как им это поможет.

5)  Как мы будем взаимодействовать?

Информацию можно получить из обсуждения, а не из оценочных данных.

Источник: . [LEARNING TOGETHER −THE BASICS: FIVE IMPORTANT DISCUSSION QUESTIONS TO MAKE EVALUATION USEFUL]. Ontario Nonprofit Network.