Архив метки: оценка

Могут ли визуальные инструменты помочь специалистам по оценке в коммуникации и вовлечении участников?

Некоторое время назад Офис Оценки Всемирной продовольственной программы (WFP Office of Evaluation) провел опрос заинтересованных сторон по вопросам оценки коммуникационных продуктов и использования фактических данных. Некоторые выводы приведены ниже:

  • На вопрос о том, как можно лучше упаковать и представить фактические данные, чтобы они были полезными, 31% респондентов указали на более короткие отчеты с более простым языком, 28% выделили фокус с более актуальными вопросами и выводами, 10% доступность и каналы распространения, 9% разнообразие с более индивидуальными продуктами и 5% указали на сроки.
  • В целом более короткие оценочные продукты (такие как сводные отчеты об оценке) имели гораздо более высокий рейтинг полезности, чем полные отчеты об оценке – 81% по сравнению с 58%.
  • Такие продукты, как брифы и инфографика, имели более высокий рейтинг полезности среди директоров и высшего руководства.
  • Хотя из полученных результатов ясно, что существует потребность в более коротком тексте, на вопрос о предпочтительном формате получения оценочной информации большинство аудитории по–прежнему указали на чтение (74%), за которым следуют устные (65%), видео (56%) и затем аудио (39%) форматы.

Перевод информации об оценке на визуальный язык требует специальных навыков, которые могут зависеть от контекста и учитывать культурные особенности. Однако важно учитывать, что определенным аудиториям все еще может потребоваться текстовая информация (используя визуализацию в качестве дополнения к сообщению), в то время как другие могут предпочесть получать все сообщение в визуальном формате. Таким образом, понимание конкретных информационных потребностей аудитории имеет решающее значение для достижения цели оценки и ее использования.

Никола Теуниссен, консультант по коммуникациям Мировой продовольственной программы (Южная Африка).

Выдержка (кейс) «СПраведливая оценка» из обзора «Анализ опыта в области оценки потенциального социального воздействия»

Представляем вашему вниманию кейс, подготовленный АНО «Эволюция и Филантропия» по заказу БФ «Вклад в будущее», 2022 год (ссылка).

Обзор наблюдения и оценки для адаптивного управления

Данная статья входит в сборник работ под названием «Наблюдение и оценка для адаптивного управления», подготовленный фондом BetterEvaluation для содействия применению практик наблюдения и оценки для адаптивного управления.

Под адаптивным менеджментом авторами подразумевается отличный от классического определения менеджмента стиль управления, который использует различные данные для более релевантного принятия решений и действий. Подобный метод предполагает осознанные действия для адаптации организации в условиях продолжающейся неопределенности.

Авторы отмечают, что адаптивный менеджмент должен включать два основных фактора — эффективное сотрудничество и эффективное обучение – которые необходимо поддерживать при помощи человеческого потенциала (знаний и навыков), практики стимулирования и поощрения, а также определёнными возможностями, в том числе, автономным принятием решений и пересмотров планов и бюджета при необходимости.

Согласно статье, наблюдение и оценка могут широко применяться в различные сферах адаптивного управления: для принятия инвестиционных решений, улучшения внедрения каких-либо практик в организацию, обеспечения ответственного поведения организаций, наращивания местного потенциала и так далее. При этом применение наблюдения и оценки должно относиться не только к сбору данных, но и к полному спектру деятельности организации.

Внедрение этих практик может вызывать определённые трудности, и для получения практического результата следует рассматривать наблюдение и оценку как центральную функцию управления, а не «что-то» несущественное, реализованное привлеченными специалистами и отделённое от основных функций.

Патрисия Роджерс, Элис Макфарлан. [An Overview of Monitoring and Evaluation for Adaptive Management. Patricia Rogers, Alice Macfarlan.] BetterEvaluation. Австралия. Сентябрь, 2020.

Как бережливые доноры оценивают свою работу

Этот доклад содержит более детальное описание данных, представленных в Отчете об операциях и управлении фонда Exponent Philanthropy 2020 года, и дополняет его информацией, собранной в ходе интервью с участниками фонда.

Для определения текущего состояние бережливой оценки, в докладе предоставлен обзор методов оценки, которые доноры используют чаще всего и считают наиболее эффектными, а так же как эти методы работают на практике, и как доноры используют данные оценки в своей работе.

Авторы акцентируют внимание на том, что оценка — это не суждение о себе или других. Оценка направлена на определение того, что действительно работает, а что нет, чтобы вы могли уделять больше усилий значимым вопросам. Иными словами, это процесс, в ходе которого вы задаете вопросы, собираете информацию и затем используете полученные данные для ответа на эти вопросы. Доноры, опрошенные Exponent Philanthropy, используют оценку для одной или нескольких из следующих целей:

  • Мониторинг соблюдения требований. Выполняют ли получатели грантов свои обещания?
  • Выявление случаев успеха. Есть ли успешные практики, которые могут мотивировать мое правление, моих сотрудниов или и тех, и других?
  • Проверка предположений. Была ли выдача этого гранта правильным решением, и, если да, должны ли мы продолжать финансировать эту организацию?
  • Получение обратной связи. Как мы можем повысить уровень нашей работы, чтобы лучше поддерживать наших грантополучателей?
  • Определение системных изменений. Как наша работа меняет общую систему, в которой мы функционируем?

Что касается выбора метода оценки, то авторы отмечают, что доноры, наиболее удовлетворенные своими процессами оценки, не обязательно используют самые сложные методы или вкладывают огромные ресурсы. Вместо этого у них есть четкое понимание своих целей и места их фондов в общей экосистеме.

Среди основных методов, которые выбирают опрошенные доноры, можно выделить: посещение объекта или оценку на местах (87% опрошенных), эпизодические отчеты грантополучателей (82%), итоговые отчеты грантополучателей (80%). При этом именно те методы оценки, которые наиболее часто используются, как правило, оцениваются донорами как наиболее эффективные.

В заключение авторы рекомендуют обсуждать постановку общих целей с правлением и стандарты оценивания грантов с грантополучателями на ранних этапах.

Доклад фонда Exponent Philanthropy. [How Lean Funders Evaluate Their Work. Exponent Philanthropy Spotlight Report]. Exponent Philanthropy.

Умное принятие решений

Данная работа затрагивает проблему эффективного использования данных для принятия грамотных и актуальных решений, отвечающих потребностям организаций в условиях постоянно меняющейся внешней среды.

В социальном секторе существует множество исследований, основанных на фактах и доказательствах, но организации чаще всего не могут эффективно использовать их в своей деятельности для улучшения своих результатов. Преодоление разрыва между получением и использованием данных требует более целостного подхода к принятию решений, иными словами, умного принятия решений.

Исследования, посвященные использованию доказательств в благотворительной деятельности, выявили ряд препятствий на пути их более широкого внедрения.

Можно выделить такие препятствия, как нехватка времени, отсутствие возможностей для качественного анализа полученных данных, недостаточное внимание со стороны лиц, принимающих решения, а также организационная структура, игнорирующая ценность данных. 

Поэтому авторы считают, что проблема с использованием информации не всегда связана с недостатком данных — куда чаще руководители организаций сталкиваются с некоторой неточностью получаемых данных и неспособностью их правильно использовать.

Авторы работы выделяют 5 рекомендаций, которые могут помочь применять данные более эффективно: 

  • Отрепетируйте ваши решения. Возможно, самый ясный способ установить более тесную связь между данными и процессом принятия решений — это «отрепетировать» решения, будто вы готовитесь к важной презентации или мероприятию.
  • Попробуйте «инвентаризацию» решений. Команды обычно погружаются в оценку и другие аналитические проекты со знанием того, как эта деятельность связана с их основной работой, но они редко формулируют конкретные решения. Следует создать список решений, которые необходимо вывести из анализа.
  • Используйте программы стратегического обучения в качестве моста между оценкой и разрывом. Преодоление разрыва между оценкой и решениями может увеличить вероятность того, что оценка даст ответы, полезные для принятия решений.
  • Убедитесь, что вспомогательный персонал рассматривает свою деятельность с критической точки зрения.  Сотрудники должны воспринимать себя как экспертов, способных выносить грамотные решения.
  • Не относитесь к решениям как к чему-то, что вы затем передадите на другой уровень. Чтобы добиться лучшей связи между оценкой и принимаемыми решениями, мы рекомендуем объединить экспертов по процессам и экспертов по содержанию.  Вовлечение оценщиков в процесс принятия решений может привести к более правильным решениям. 

Ян Дэвид Мосс, Джулия Коффман, Таня Бир. [Smart Decision-Making. Ian David Moss, Julia Coffman, Tanya Beer]. Stanford Social Innovation Review. Весна, 2020.

Взаимно совместимые, но при этом разные: теоретическая основа для cогласования различных методологий монетизации воздействия и фреймворков

Авторы этой статьи обращаются к следующей проблеме: скрытая оценка имеет место, когда дело касается любых решениях о распределении ресурсов, связанных с социальным воздействием или влиянием на окружающую среду,

в которых оценивание и сравнение различных воздействий обычно зависит от убеждений и ценностей тех, кто принимает решения. 

Однако скрытая оценка может не совпадать с ожиданиями тех, кто испытывает воздействие, а также недооценивать масштабы воздействия.

Прилагаются многочисленные усилия, чтобы сделать эти скрытые оценки более прозрачными, используя понимание воздействия и предпочтения тех, кто испытывает влияние.

Авторы статьи считают, чтобы сделать скрытую оценку более прозрачной, необходимо введение общих показателей; иначе, это становится слишком сложно для неспециалистов, которым приходится описывать воздействие.

Один из подходов к решению данной проблемы – это применение денежных значений, часто называемых монетизацией воздействия. В соответствии с данными подходом, различные научные дисциплины преобразуются в общую денежную меру.

Таким образом, в центре внимания данной статьи — предложить теоретическое объяснение того, как лежащие в основе монетизации ценности, возникающие от различных усилий и подходов, могут отличаться друг от друга, но при этом сосуществовать и применяться совместно.

Чтобы изучить неоднородность подходов к оценке монетизации воздействия, авторы сравнивают различные подходы, а именно подходы Инициативы взвешенного воздействия (IWAI) и Социальной международной ценности (SVI). Первый рассматривает данные вторичного рынка в качестве основы для оценки, а второй — предпочтения заинтересованных сторон, которые конвертируются в денежную стоимость. Авторы приходят к выводу, что эти подходы:

1) оба будут необходимы в экосистеме для увеличения положительного чистого воздействия

2) преобладание первого над вторым будет более актуально для инвесторов, а второго над первым для предприятий

3) могут использовать концепцию ограниченной гибкости для учета специфических условий, избегая при этом занижения или завышения оценки.

Джереми Николлс, Роберт Зоховски. [Mutually Compatible, Yet Different: A Theoretical Framework for Reconciling Different Impact Monetization Methodologies and Frameworks. Jeremy Nicholls, T. Robert Zochowski]

Хороших намерений недостаточно: как сделать оценку более полезной для стратегии и практики фонда

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Авторы статьи считают, что одной из наиболее серьезных вызовов, с которыми сталкивается социальный сектор, является превращение результатов оценки в значимые для фондов знания.

Для решения этой задачи сотрудники фондов, занимающиеся оценкой, и внешние оценщики должны работать сообща, чтобы использовать разные компетенции, позволяющие задействовать больший потенциал для содержательной оценочной работы.

В этом документе представлены шесть пересекающихся областей, на которых нужно сосредоточить внимание. К каждой из шести нижеуказанных сфер авторы предлагают ряд рекомендаций как для доноров, так и для оценщиков, способствующих продвижению сотрудничества.

1. Поймите, чего вы не знаете друг о друге (и узнавайте больше).

2. Разъясните, как принимаются решения и какие основные факторы принимаемых решений.

3. Сопоставьте то, что должны знать лица, принимающие решения, с вопросами, которые направляют оценку.

4. Поддерживайте связь между оценкой и справедливостью и убедитесь, что оценка способствует обеспечению справедливости.

5. Принимайте возможность возникновения конфликтов и разбирайтесь с напряжением в команде.

6. Разберитесь с вопросами собственности результатов оценки.

Призыв к действию FEAN. Сара Стаховяк, Никки Калра, Ким Амманн Ховард. [Good Intentions Are Not Enough: Making Evaluations More Useful for Foundation Strategy and Practice. FEAN Actions Series. Sarah Stachowiak, Nikki Kalra, Kim Ammann Howard]. FEAN.

Аргументы в пользу применения ИИ в повседневной деятельности

В связи с развитием технологий искусственного интеллекта неизбежно встает вопрос о способах его использования и соответствующих выгодах и рисках.

Данная статья рассматривает возможности и преимущества применения искусственного интеллекта в текущей деятельности.

Авторы полагают, что использование ИИ для прогнозирования поведения может привести к серьезным ошибкам в выстраивании политики, в том числе, и в социальном секторе, и поэтому программы, нацеленные на здравоохранение и развитие, должны применять именно причинно-следственные модели, которые лучше объясняют, почему люди ведут себя тем или иным образом, чтобы помочь определить наиболее эффективные рычаги воздействия.

ИИ для повседневной деятельности способен идентифицировать основные причины поведения или события и на этой основе формулировать значимые идеи, которые прогнозные модели не способны предложить. Данная технология может применяться в самых разных отраслях, например, климатические изменения или смертность среди матерей и новорожденных. В какой-бы сфере ИИ не внедрялся, всегда существует ряд сложностей на пути эффективного внедрения этой технологии.

Авторы статьи предлагают ознакомиться с 7 способами повышения эффективности ИИ.

1) Найти более эффективный способ использования данных и непрерывно повышать их качество.

2) Собирайте более полноценные, всеобъемлющие данные.

3) Создавайте масштабируемые, высокопроизводительные инструменты с открытым исходным кодом для применения алгоритмов повседневного ИИ.

4) Продемонстрируйте ценность повседневного ИИ в секторе развития.

5) Повышайте осведомленность и знания основных заинтересованных сторон о технологиях повседневного ИИ.

6) Комбинируйте искусственный интеллект с человеческим интеллектом.

7) Улучшайте способы оценки производительности алгоритмов ИИ.

Сема К. Сгайер, Винсент Хуанг, Грейс Чарльз. [The Case for Causal AL. Sema K. Sgaier, Vincent Huang, Grace Charles]. Stanford Social Innovation Review. Лето, 2020.

Тайная жизнь теории изменений

Теория изменений считается очень полезным инструментом для адаптивного управления сложными интервенциями такими, как, например, пропаганда.

Тем не менее, Теория изменений также подвергается и критике. Одной из наиболее частых претензий является тот факт, что теория изменений часто используется как зафиксированный фреймворк, а не живой, напарвляющий инструмент, который помогает критически мыслить и адаптироваться к существующим условиям.

Однако такие замечания подчеркивают лишь формы контроля, и мало исследований посвящено тому, как Теория изменений и пропагандистская деятельность связаны.

На самом деле, официально утвержденные Теории изменений и реальная ситуация могут быть очень разными, и в этом кратком обзоре авторы исследуют более скрытые аспекты механизма Теорий Изменений.

Отмечается, что Теории изменений помогают организовать коллектив, направляя его в определенное русло и формируя конкретные роли участников, и найти направление деятельности организации. При этом, огромную роль играет выбор достижимых целей и выработка соответствующей стратегии.

Кроме этого, когда дело касается пропагандистской деятельности, персональные активы, например, межличностные связи, могут играть более важную роль в качестве инструмента для повседневного планирования и выработки стратегии, чем Теория изменений.

Учитывая, что пропаганда – это вид деятельности, которому присущ высокий уровень неопределённости и спонтанности, Теория изменений не должна использоваться как карта с запланированными результатами. Вместо этого её следует воспринимать как балансирующий фактор между индивидуальной свободой действий и коллективными целями, который помогает в случае необходимости возвращаться к изначально намеченным целям.

Подводя итоги, авторы отмечают, что для реализации потенциала Теории изменений ее исполнение необходимо перестать контролировать. Для пропагандистской деятельности подобный шаг может облегчить применение персональных активов, которые в наибольшей степени способствуют эффективности данных практик. 

Венни Хо, Маргит Ван Вессель, Питер Тама. [The Hidden Life of Theories of Change. Wenny Ho, Margit Van Wessel, Peter Tama]. Wageningen University&Research, Hivos.

Фреймворк для эффективной оценки собрания/конференции

Собрания и другие профессиональные встречи считаются важным элементом в филантропическом секторе,

и в связи с этим авторы статьи поднимают вопрос соответствия издержек, понесенных на организацию, и полезности и эффективности самого мероприятия как инструмента развития сотрудничества, повышения осведомлённ ости и содействия социальным изменениям.

Под собранием подразумевается некоторое «пространство» для различных групп заинтересованных сторон, которые стремятся повлиять на будущий коллектив и индивидуальные действия, ориентированные на конкретные действия в какой-либо сфере. Данный документ представляет собой базу для более продуманного, стратегического и систематического планирования оценки собраний. Фреймворк состоит из трех частей:

  1. Условия, предшествующие собранию. В этот раздел авторы включают причины проведения собрания и ресурсы, доступные для будущего мероприятия.
  2. Непосредственно проведение собрания, то есть используемые ресурсы и материалы и показатели качества мероприятия. К последней категории относятся такие индикаторы, как уровень вовлеченности, уровень удовлетворенности, субъективное соответствие ожиданиям и приверженность правильным практикам.
  3. Результаты собрания, в частности, установка и налаживание контактов, актуальность и значимость мероприятия, а также наличие практических достижений.

      Для проведения грамотной и эффективной оценки собрания каждый раздел фреймворка необходимо поэтапно и всесторонне прорабатывать.

Джаред Рейнор, Иджеома Эцеофор. [A Framework for the Effective Evaluation of Convening. Jared Raynor, Ijeoma Ezeofor.] TCC Group. США.