Архив рубрики: Оценка

Коучинг от оценщика: развивайте экспертный потенциал клиента.

В этой публикации опытный американский оценщик Betsy Baum Block (B3) призывает коллег активно развивать навыки коучинга, и рассказывает о том, как их применять для развития оценочных компетенций некоммерческих клиентов.
Эксперт отмечает, что коучинг существенно повышает качество оценки – поскольку оно напрямую зависит от способности заказчика выстраивать системы оценки и сбора/анализа достоверной информации — и для начала предлагает выяснить, чем «коуч» (coach) отличается от «консультанта» и «наставника»:

  • Консультант знает больше клиента, и ему «есть что сказать».
  • Наставник делится знаниями, и клиент следует его советам.
  • Клиент сам является экспертом, а коуч помогает воспользоваться этими знаниями.

Как показывает практика, коуч требуется участникам социальных преобразований в тех случаях, когда организации (1) уходят от создания единичного продукта и приступают к работе на уровне экосистемы производства общественных благ; (2) стремятся выйти за рамки устаревшей системы и существенно изменить ситуацию; и (3) нуждаются в значительном улучшении или мобилизации организационных компетенций. Из вышесказанного следует, что действуя в роли коуча, оценщик (а) взаимодействует с заказчиком «на равных», (б) экспериментирует вместе с командой НКО, и (в) помогает сформировать системный взгляд на проблемы и цели. При этом желательно придерживаться нескольких базовых принципов, которые автор статьи сформулировала следующим образом:

  • Каждый участник – творческая и «ресурсная» личность.
  • Каждая организация изначально обладает богатым интеллектуальным и творческим потенциалом.
  • В каждой организации имеется оценочный инструментарий, который можно использовать в качестве основы.
  • Демонстрация связи между оценкой и выполнением миссии усиливает мотивацию команды.

Размышления авторитетного эксперта о сути и предназначении коучинга сопровождаются наглядными схемами и таблицами, которые помогут внешнему оценщику-коучу (а) правильно выбрать модель сотрудничества, и (б) направить взаимодействие с клиентом в конструктивное русло.

Бетси Баум Блок [Evaluation Coaching: Light up your Client’s Expertise] Betsy Baum Block Center for Evaluation Innovation (США). Январь 2018

Азбука мониторинга и оценки для доноров и исполнителей.

По заказу начинающего фонда, для которого различия между мониторингом и оценкой пока не слишком очевидны, команда авторитетных экспертов подготовила документ, который будет полезен как институтам филантропии, так и получателям грантов. «Азбука» для новичков, в частности, поясняет, что мониторинг – это подсчет или измерение ресурсных вливаний в проект (inputs) — таких как финансы, кадры, оборудование, материалы и т.д.; краткосрочных результатов (outputs) — таких как количество семинаров, раздаточных материалов, вакцинированных детей и т.п., и происходящих изменений (outcomes) — таких как динамика заболеваемости, явка избирателей, уровень загрязнения окружающей среды и пр. А оценка – это попытка выявить причинно-следственные связи и объяснить (а) каким образом вложенные ресурсы привели к наблюдаемым изменениям, (б) не являются ли эти перемены следствием чего-либо другого, и (в) можно ли улучшить результаты, увеличив объем инвестиций. Чтобы показать разницу между этими видами активности, авторы предложили рамочную концепцию, включающую 4 уровня:

  1. Параметры гранта – такие как ресурсы (например, размер гранта) и деятельность исполнителя проекта;
  2. Фиксирование изменений, происходящих в зоне действия грантополучателя (увеличение рабочих мест, количество проведенных тренингов и т.п.);
  3. Оценка работы грантополучателя – выявление агентов  изменений и определение причин и следствий;
  4. Оценка работы донора – выяснение, в какой мере установленные изменения связаны с действиями филантропической организации.

Уровни 1 и 2 – это мониторинг, который обычно не вызывает проблем со сбором данных, а уровни 3 и 4 – это оценка, требующая дополнительных сведений для сравнения и тщательного анализа. Чтобы выводы оценки были объективными и полезными, используемые «средства измерения и сравнения» (comparator) должны быть надежными и беспристрастными.

Поэтому эксперты отдают пальму первенства рандомизированным контролируемым исследованиям (РКИ), генерирующим доказательную информацию (evidence) самого высокого качества. Именно такие данные нужны для принятия аргументированных решений и применения ресурсов с максимальной полезной отдачей для общества. Особенность «Азбуки» заключается в том, что она проводит очень четкие разграничения между «мониторингом» и «оценкой» – двумя понятиями, которые довольно часто путают неопытные организации. А что касается подходов к постановке процессов, то им посвящено достаточно публикаций, которые дадут ответы на многие волнующие вопросы.

Кэролайн Файнс, Наталиа  Киритопулу, Марк Максмайстер [A primer about monitoring and evaluation for funders and implementers] Caroline Fiennes, Natalia Kiryttopoulou, Marc Maxmeister Keystone Accountability (Великобритания), GivingEvidence (США). Октябрь2018

КАК ПОВЫСИТЬ ЭФФЕКТИВНОСТЬ ПРОГРАММ РАЗВИТИЯ МЕСТНЫХ СООБЩЕСТВ

Для улучшения работы программ развития местных сообществ, таких как «Территории возможностей»

(Opportunity Zones) в США, необходимо создать действенный механизм для определения и оценки общественных благ, а также способов их создания. Несмотря на заинтересованность в развитии местных сообществ, добиться конкретных результатов часто не получается. Почему же так происходит? Решить эту проблему можно с помощью методологии анализа получаемых общественных благ в сообществах,  разработкой которой занимается Impact Investment Group. Его поход состоит из пяти компонентов:

1.Обозначить категории получаемой пользы для местного сообщества. Несколько организаций, в том числе ООН-Хабитат (UN-Habitat), уже добились значительных результатов в измерении ключевых аспектов общественных благ. Так, например, в состав индекса Инициативы процветания городов (City Prosperity Initiative) входят шесть измерений: производительность, качество жизни, экологическая устойчивость, инфраструктура, равенство и социальная интеграция, а также управление городским хозяйством.

2. Установить показатели для каждой категории. В качестве показателя производительности, например, можно выделить уровень безработицы, экологической устойчивости – качество воздуха и воды, а управления городским хозяйством – уровень коррупции, а также уровень сотрудничества и партнерства государственного и частного секторов.

3. Разработать базы данных для подкрепления соответствующих показателей. Для оценки изменений сообщества необходимо изучать показатели до и после реализации программы. Для этого можно воспользоваться уже существующими демографическими, экологическими и экономическими данными, а также создать механизмы для изучения потребностей при сотрудничестве с представителями сообщества.

4. Подготовить совместные проекты, а потом контролировать и улучшать их.  Разработчикам нужно работать с представителями сообщества, промышленными партнерами, инвесторами и государственными служащими, чтобы убедиться в эффективности проектов.

Представители Impact Investment Group считают, что методология может помочь предоставить план действий для разработчиков, политических деятелей и представителей сообщества, которые хотят коренным образом повысить качество жизни.

Источник: Stanford social innovation review

ЕВРОПЕЙСКИЕ И АМЕРИКАНСКИЕ ЭКСПЕРТЫ ПРИЗЫВАЮТ БЛАГОТВОРИТЕЛЬНЫЕ ОРГАНИЗАЦИИ ПРОЯВЛЯТЬ «ОТВЕТСТВЕННОЕ ОТНОШЕНИЕ» К ДАННЫМ О ВОЗДЕЙСТВИИ

В опубликованном докладе «Ответственность социального инвестирования» (Impacting Responsibility) говорится, что  благотворительным организациям  необходимо повысить методологическую  структуру  сбора  данных о социальном воздействии и их анализ, а не только описывать истории в годовых отчетах.  В докладе также предложены методы использования данных и стандартизации результатов, приемы привлечения персонала и бенефициаров, а также способы обеспечения конфиденциальности информации для того, чтобы способствовать расширению сферы сотрудничества. Подчеркивается стремление руководителей НКО повысить информированность, когда дело касается данных о социальном воздействии.  Эксперты считают, что существенную роль играет обратная связь с бенефициарами и их мнения о полученных услугах. Особую важность играет влияние доноров, в частности, их работа по поддержке небольших некоммерческих организаций, когда дело касается сбора адекватных данных о социальном воздействии. Вышеперечисленные меры помогут благотворительному сектору стать более прозрачным.  В свою очередь глава аналитического центра «Новый Капитал Филантропии» (New Philanthropy Capital) заявил, что социальная сфера обладает невероятным потенциалом развития и полученные данные можно будет использовать на благо людей. С учетом того, что эти данные поступают из неблагополучных семей, главным станет осознание того, кому эти данные принадлежат  и смогут ли владельцы данных использовать их себе во благо. Стоит отметить, что в докладе рассматриваются следующие вопросы:

•          Каким образом организациям любого размера и бюджета использовать данные о социальном воздействии?

•          Каким образом им улучшить работу с помощью данных о воздействии?

•          Каким образом им обеспечить конфиденциальность и защиту данных?

•          Каким образом им организовать сотрудничество, чтобы получить пользу от использования данных о воздействии?

 «Мы считаем, что благотворительный сектор переживает переломный момент», – заявил Джейкоб Гарольд (Jacob Harold), исполнительный вице-президент аналитического центра Candid. Ввиду технологических изменений, растущих ожиданий и новых партнерских отношений меняется и сам благотворительный сектор.

Источники: Civil society, Philanthropy new digest

Реферативный обзор материалов по теме «Измерение и оценка»

В рамках проекта «Школа оценки 3 в 1» АНО «Эволюция и Филантропия» подготовила реферативный обзор зарубежных материалов по теме «Измерение и оценка». Проект выполняется НП «ИнА-Центр» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов.

новые переводы по теме «Оценка»

Мы разместили новые переводы по теме «Оценка».
Источник: http://www.outcomesstar.org.uk

  1. Звезда Родитель и малыш Краткая шкала.
  2. Звезда Родитель и малыш Руководство специалиста.
  3. Звезда Самостоятельная жизнь Руководство для клиента.
  4. Звезда Самостоятельная жизнь Руководство организации.
  5. Звезда Родитель и малыш. Руководство для клиента.
  6. Интервью в кризисных центрах.
  7. Принципы измерения и сбора обратной связи Outcome stars.

Переходите по ссылке, читайте и скачивайте.

Переводы подготовлены в рамках проекта «Слушай с пользой!», который реализуется АНО «Эволюция и Филантропия» при поддержке Комитета общественных связей и молодежной политики города Москвы и с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

Новый обзор международного опыта «Оценка: теория и практика»

Предлагаем новый обзор международного опыта «Оценка: теория и практика» за ноябрь месяц. Спецвыпуск подготовлен  АНО «Эволюция и Филантропия» в рамках реализации проекта «Общая информационно-технологическая платформа для оценки социальных результатов» (ПИОН-Регион)», который реализуется с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов и при стратегической поддержке Фонда Тимченко.

Читать на сайте онлайн или скачать обзор в формате pdf можно по ссылке.

 

 

 

Секреты полезной оценки: культура работы с данными должна быть на высоте

Уважаемый лектор Стэнфордского университета (The Stanford University; США) Кэтлин Келли Дженас (Kathleen Kelly Janus) на протяжении пяти лет изучала работу НКО и установила очень неприятный факт: несмотря на то что сбором данных занимается подавляющее большинство  опрошенных организаций (75%), всего лишь 6% респондентов уверено заявляют о том, что эта информация используется эффективно. Вывод напрашивается сам собой: культура работы с данными оставляет желать лучшего, и результаты мониторинга и оценки содействуют положительным изменениям в обществе в меньшей степени, чем могли бы. Читать далее Секреты полезной оценки: культура работы с данными должна быть на высоте

РКИ и не только: дискуссия о лучших способах получения доказательств продолжается

В своей книге «Рандомисты: как исследователи-радикалы меняют наш мир» (Randomistas: How radical researchers are changing our world) известный экономист и австралийский парламентарий Эндрю Лей (Andrew Leigh) представил серию «триумфальных достижений», ставших возможными благодаря применению методологии «рандомизированных контролируемых исследований» (РКИ). Автор не просто возражает оппонентам, называющим РКИ «слишком ограниченным инструментом, не способным оценивать системные изменения и формировать знания для постоянного обучения», но и настаивает на том, что именно отказ от РКИ сдерживает общественный прогресс и вызывает стагнацию в сфере образования и в нише борьбы с бедностью. Читать далее РКИ и не только: дискуссия о лучших способах получения доказательств продолжается

Оценка и прикладные исследования: найдите семь отличий

Новички нередко путают оценку с исследованиями — особенно прикладными, потому что и те и другие используют одинаковые методы, формируют похожие виды отчетов и предлагают выводы и заключения для дальнейшего использования. Да, стоит признать, что границы действительно отчасти размыты, однако существенные отличия все же имеются. Если, например, присмотреться к методологии, то можно заметить, что в отличие от традиционных исследовательских форматов планы или так называемые «дизайны» оценки (которые, преимущественно заимствованы у социологов) более разнообразны. Это могут быть «кластерные оценки» (cluster evaluation), «вводное определение оцениваемости программы» (evaluability assessment), «метод успешного случая» (success case method) и многие другие варианты. Читать далее Оценка и прикладные исследования: найдите семь отличий