Архив рубрики: Оценка

Обзор наблюдения и оценки для адаптивного управления

Данная статья входит в сборник работ под названием «Наблюдение и оценка для адаптивного управления», подготовленный фондом BetterEvaluation для содействия применению практик наблюдения и оценки для адаптивного управления.

Под адаптивным менеджментом авторами подразумевается отличный от классического определения менеджмента стиль управления, который использует различные данные для более релевантного принятия решений и действий. Подобный метод предполагает осознанные действия для адаптации организации в условиях продолжающейся неопределенности.

Авторы отмечают, что адаптивный менеджмент должен включать два основных фактора — эффективное сотрудничество и эффективное обучение – которые необходимо поддерживать при помощи человеческого потенциала (знаний и навыков), практики стимулирования и поощрения, а также определёнными возможностями, в том числе, автономным принятием решений и пересмотров планов и бюджета при необходимости.

Согласно статье, наблюдение и оценка могут широко применяться в различные сферах адаптивного управления: для принятия инвестиционных решений, улучшения внедрения каких-либо практик в организацию, обеспечения ответственного поведения организаций, наращивания местного потенциала и так далее. При этом применение наблюдения и оценки должно относиться не только к сбору данных, но и к полному спектру деятельности организации.

Внедрение этих практик может вызывать определённые трудности, и для получения практического результата следует рассматривать наблюдение и оценку как центральную функцию управления, а не «что-то» несущественное, реализованное привлеченными специалистами и отделённое от основных функций.

Патрисия Роджерс, Элис Макфарлан. [An Overview of Monitoring and Evaluation for Adaptive Management. Patricia Rogers, Alice Macfarlan.] BetterEvaluation. Австралия. Сентябрь, 2020.

Как бережливые доноры оценивают свою работу

Этот доклад содержит более детальное описание данных, представленных в Отчете об операциях и управлении фонда Exponent Philanthropy 2020 года, и дополняет его информацией, собранной в ходе интервью с участниками фонда.

Для определения текущего состояние бережливой оценки, в докладе предоставлен обзор методов оценки, которые доноры используют чаще всего и считают наиболее эффектными, а так же как эти методы работают на практике, и как доноры используют данные оценки в своей работе.

Авторы акцентируют внимание на том, что оценка — это не суждение о себе или других. Оценка направлена на определение того, что действительно работает, а что нет, чтобы вы могли уделять больше усилий значимым вопросам. Иными словами, это процесс, в ходе которого вы задаете вопросы, собираете информацию и затем используете полученные данные для ответа на эти вопросы. Доноры, опрошенные Exponent Philanthropy, используют оценку для одной или нескольких из следующих целей:

  • Мониторинг соблюдения требований. Выполняют ли получатели грантов свои обещания?
  • Выявление случаев успеха. Есть ли успешные практики, которые могут мотивировать мое правление, моих сотрудниов или и тех, и других?
  • Проверка предположений. Была ли выдача этого гранта правильным решением, и, если да, должны ли мы продолжать финансировать эту организацию?
  • Получение обратной связи. Как мы можем повысить уровень нашей работы, чтобы лучше поддерживать наших грантополучателей?
  • Определение системных изменений. Как наша работа меняет общую систему, в которой мы функционируем?

Что касается выбора метода оценки, то авторы отмечают, что доноры, наиболее удовлетворенные своими процессами оценки, не обязательно используют самые сложные методы или вкладывают огромные ресурсы. Вместо этого у них есть четкое понимание своих целей и места их фондов в общей экосистеме.

Среди основных методов, которые выбирают опрошенные доноры, можно выделить: посещение объекта или оценку на местах (87% опрошенных), эпизодические отчеты грантополучателей (82%), итоговые отчеты грантополучателей (80%). При этом именно те методы оценки, которые наиболее часто используются, как правило, оцениваются донорами как наиболее эффективные.

В заключение авторы рекомендуют обсуждать постановку общих целей с правлением и стандарты оценивания грантов с грантополучателями на ранних этапах.

Доклад фонда Exponent Philanthropy. [How Lean Funders Evaluate Their Work. Exponent Philanthropy Spotlight Report]. Exponent Philanthropy.

Умное принятие решений

Данная работа затрагивает проблему эффективного использования данных для принятия грамотных и актуальных решений, отвечающих потребностям организаций в условиях постоянно меняющейся внешней среды.

В социальном секторе существует множество исследований, основанных на фактах и доказательствах, но организации чаще всего не могут эффективно использовать их в своей деятельности для улучшения своих результатов. Преодоление разрыва между получением и использованием данных требует более целостного подхода к принятию решений, иными словами, умного принятия решений.

Исследования, посвященные использованию доказательств в благотворительной деятельности, выявили ряд препятствий на пути их более широкого внедрения.

Можно выделить такие препятствия, как нехватка времени, отсутствие возможностей для качественного анализа полученных данных, недостаточное внимание со стороны лиц, принимающих решения, а также организационная структура, игнорирующая ценность данных. 

Поэтому авторы считают, что проблема с использованием информации не всегда связана с недостатком данных — куда чаще руководители организаций сталкиваются с некоторой неточностью получаемых данных и неспособностью их правильно использовать.

Авторы работы выделяют 5 рекомендаций, которые могут помочь применять данные более эффективно: 

  • Отрепетируйте ваши решения. Возможно, самый ясный способ установить более тесную связь между данными и процессом принятия решений — это «отрепетировать» решения, будто вы готовитесь к важной презентации или мероприятию.
  • Попробуйте «инвентаризацию» решений. Команды обычно погружаются в оценку и другие аналитические проекты со знанием того, как эта деятельность связана с их основной работой, но они редко формулируют конкретные решения. Следует создать список решений, которые необходимо вывести из анализа.
  • Используйте программы стратегического обучения в качестве моста между оценкой и разрывом. Преодоление разрыва между оценкой и решениями может увеличить вероятность того, что оценка даст ответы, полезные для принятия решений.
  • Убедитесь, что вспомогательный персонал рассматривает свою деятельность с критической точки зрения.  Сотрудники должны воспринимать себя как экспертов, способных выносить грамотные решения.
  • Не относитесь к решениям как к чему-то, что вы затем передадите на другой уровень. Чтобы добиться лучшей связи между оценкой и принимаемыми решениями, мы рекомендуем объединить экспертов по процессам и экспертов по содержанию.  Вовлечение оценщиков в процесс принятия решений может привести к более правильным решениям. 

Ян Дэвид Мосс, Джулия Коффман, Таня Бир. [Smart Decision-Making. Ian David Moss, Julia Coffman, Tanya Beer]. Stanford Social Innovation Review. Весна, 2020.

Взаимно совместимые, но при этом разные: теоретическая основа для cогласования различных методологий монетизации воздействия и фреймворков

Авторы этой статьи обращаются к следующей проблеме: скрытая оценка имеет место, когда дело касается любых решениях о распределении ресурсов, связанных с социальным воздействием или влиянием на окружающую среду,

в которых оценивание и сравнение различных воздействий обычно зависит от убеждений и ценностей тех, кто принимает решения. 

Однако скрытая оценка может не совпадать с ожиданиями тех, кто испытывает воздействие, а также недооценивать масштабы воздействия.

Прилагаются многочисленные усилия, чтобы сделать эти скрытые оценки более прозрачными, используя понимание воздействия и предпочтения тех, кто испытывает влияние.

Авторы статьи считают, чтобы сделать скрытую оценку более прозрачной, необходимо введение общих показателей; иначе, это становится слишком сложно для неспециалистов, которым приходится описывать воздействие.

Один из подходов к решению данной проблемы – это применение денежных значений, часто называемых монетизацией воздействия. В соответствии с данными подходом, различные научные дисциплины преобразуются в общую денежную меру.

Таким образом, в центре внимания данной статьи — предложить теоретическое объяснение того, как лежащие в основе монетизации ценности, возникающие от различных усилий и подходов, могут отличаться друг от друга, но при этом сосуществовать и применяться совместно.

Чтобы изучить неоднородность подходов к оценке монетизации воздействия, авторы сравнивают различные подходы, а именно подходы Инициативы взвешенного воздействия (IWAI) и Социальной международной ценности (SVI). Первый рассматривает данные вторичного рынка в качестве основы для оценки, а второй — предпочтения заинтересованных сторон, которые конвертируются в денежную стоимость. Авторы приходят к выводу, что эти подходы:

1) оба будут необходимы в экосистеме для увеличения положительного чистого воздействия

2) преобладание первого над вторым будет более актуально для инвесторов, а второго над первым для предприятий

3) могут использовать концепцию ограниченной гибкости для учета специфических условий, избегая при этом занижения или завышения оценки.

Джереми Николлс, Роберт Зоховски. [Mutually Compatible, Yet Different: A Theoretical Framework for Reconciling Different Impact Monetization Methodologies and Frameworks. Jeremy Nicholls, T. Robert Zochowski]

Хороших намерений недостаточно: как сделать оценку более полезной для стратегии и практики фонда

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Авторы статьи считают, что одной из наиболее серьезных вызовов, с которыми сталкивается социальный сектор, является превращение результатов оценки в значимые для фондов знания.

Для решения этой задачи сотрудники фондов, занимающиеся оценкой, и внешние оценщики должны работать сообща, чтобы использовать разные компетенции, позволяющие задействовать больший потенциал для содержательной оценочной работы.

В этом документе представлены шесть пересекающихся областей, на которых нужно сосредоточить внимание. К каждой из шести нижеуказанных сфер авторы предлагают ряд рекомендаций как для доноров, так и для оценщиков, способствующих продвижению сотрудничества.

1. Поймите, чего вы не знаете друг о друге (и узнавайте больше).

2. Разъясните, как принимаются решения и какие основные факторы принимаемых решений.

3. Сопоставьте то, что должны знать лица, принимающие решения, с вопросами, которые направляют оценку.

4. Поддерживайте связь между оценкой и справедливостью и убедитесь, что оценка способствует обеспечению справедливости.

5. Принимайте возможность возникновения конфликтов и разбирайтесь с напряжением в команде.

6. Разберитесь с вопросами собственности результатов оценки.

Призыв к действию FEAN. Сара Стаховяк, Никки Калра, Ким Амманн Ховард. [Good Intentions Are Not Enough: Making Evaluations More Useful for Foundation Strategy and Practice. FEAN Actions Series. Sarah Stachowiak, Nikki Kalra, Kim Ammann Howard]. FEAN.

Аргументы в пользу применения ИИ в повседневной деятельности

В связи с развитием технологий искусственного интеллекта неизбежно встает вопрос о способах его использования и соответствующих выгодах и рисках.

Данная статья рассматривает возможности и преимущества применения искусственного интеллекта в текущей деятельности.

Авторы полагают, что использование ИИ для прогнозирования поведения может привести к серьезным ошибкам в выстраивании политики, в том числе, и в социальном секторе, и поэтому программы, нацеленные на здравоохранение и развитие, должны применять именно причинно-следственные модели, которые лучше объясняют, почему люди ведут себя тем или иным образом, чтобы помочь определить наиболее эффективные рычаги воздействия.

ИИ для повседневной деятельности способен идентифицировать основные причины поведения или события и на этой основе формулировать значимые идеи, которые прогнозные модели не способны предложить. Данная технология может применяться в самых разных отраслях, например, климатические изменения или смертность среди матерей и новорожденных. В какой-бы сфере ИИ не внедрялся, всегда существует ряд сложностей на пути эффективного внедрения этой технологии.

Авторы статьи предлагают ознакомиться с 7 способами повышения эффективности ИИ.

1) Найти более эффективный способ использования данных и непрерывно повышать их качество.

2) Собирайте более полноценные, всеобъемлющие данные.

3) Создавайте масштабируемые, высокопроизводительные инструменты с открытым исходным кодом для применения алгоритмов повседневного ИИ.

4) Продемонстрируйте ценность повседневного ИИ в секторе развития.

5) Повышайте осведомленность и знания основных заинтересованных сторон о технологиях повседневного ИИ.

6) Комбинируйте искусственный интеллект с человеческим интеллектом.

7) Улучшайте способы оценки производительности алгоритмов ИИ.

Сема К. Сгайер, Винсент Хуанг, Грейс Чарльз. [The Case for Causal AL. Sema K. Sgaier, Vincent Huang, Grace Charles]. Stanford Social Innovation Review. Лето, 2020.

Тайная жизнь теории изменений

Теория изменений считается очень полезным инструментом для адаптивного управления сложными интервенциями такими, как, например, пропаганда.

Тем не менее, Теория изменений также подвергается и критике. Одной из наиболее частых претензий является тот факт, что теория изменений часто используется как зафиксированный фреймворк, а не живой, напарвляющий инструмент, который помогает критически мыслить и адаптироваться к существующим условиям.

Однако такие замечания подчеркивают лишь формы контроля, и мало исследований посвящено тому, как Теория изменений и пропагандистская деятельность связаны.

На самом деле, официально утвержденные Теории изменений и реальная ситуация могут быть очень разными, и в этом кратком обзоре авторы исследуют более скрытые аспекты механизма Теорий Изменений.

Отмечается, что Теории изменений помогают организовать коллектив, направляя его в определенное русло и формируя конкретные роли участников, и найти направление деятельности организации. При этом, огромную роль играет выбор достижимых целей и выработка соответствующей стратегии.

Кроме этого, когда дело касается пропагандистской деятельности, персональные активы, например, межличностные связи, могут играть более важную роль в качестве инструмента для повседневного планирования и выработки стратегии, чем Теория изменений.

Учитывая, что пропаганда – это вид деятельности, которому присущ высокий уровень неопределённости и спонтанности, Теория изменений не должна использоваться как карта с запланированными результатами. Вместо этого её следует воспринимать как балансирующий фактор между индивидуальной свободой действий и коллективными целями, который помогает в случае необходимости возвращаться к изначально намеченным целям.

Подводя итоги, авторы отмечают, что для реализации потенциала Теории изменений ее исполнение необходимо перестать контролировать. Для пропагандистской деятельности подобный шаг может облегчить применение персональных активов, которые в наибольшей степени способствуют эффективности данных практик. 

Венни Хо, Маргит Ван Вессель, Питер Тама. [The Hidden Life of Theories of Change. Wenny Ho, Margit Van Wessel, Peter Tama]. Wageningen University&Research, Hivos.

Как сделать результаты более значимыми для общества: влияние организаций достижение демографических целей с помощью программы Дети и Семья фонда Casey

Данная работа описывает практику программы Дети и Семья, разработанную фондом Annie E. Casey и ориентированную на создание лучшего будущего для детей и семей.

Сама программа представляет собой интенсивный курс для руководителей, который дает возможность лидерам некоммерческих, благотворительных и общественных организаций приобрести необходимые навыки для реализации изменений, способствующих повышению благосостояния детей и семей.

В период с 2016 по 2019 год ICF в партнерстве с Casey провели оценку эффективности данной программы, изучив, как участники и их организации постепенно внедряли практики, ориентированные на результат, в свою ежедневную деятельность. Среди основных результатов оценки можно выделить следующие:

  • Сбалансированное распространение практик, ориентированных на результат. Результаты оценки показали, что по мере развития своих навыков ориентации на результат лидеры начали делиться своими знаниями с коллегами и распространять изученные подходы в своих организациях.
  • Персональное профессиональное развития как инструмент организационных изменений. Результаты оценки продемонстрировали, что приспособление инструментов и подходов, изученных в ходе программы, к организационным стратегиям и программной деятельности оказало значительное влияние на текущую деятельность организаций.
  • Трансформация корпоративной культуры и рабочих практик для достижения больших результатов. Оценка выявила, что изменение рутинной работы организаций в сторону внедрения фокуса на результат содействует достижению желаемых результатов для детей и семей.

В целом, результаты оценки продемонстрировали способность программы Дети и Семьи «превращать» руководителей НКО в трансформационных лидеров, способных привносить значительные улучшения в жизнь детей и семей.

[Making results count: Influencing Organizations to Achieve Population Results Through Casey Children and Family Fellowship]. ICF.

Призыв к действию. Обмен знаниями – это императив нашей миссии: почему мы не можем позволить себе скрывать результаты оценки, и как мы можем достичь лучших результатов

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Авторы статьи считают, что в социальном секторе не принято открыто и активно делиться результатами своей работы. Подобная ситуация подрывает коллективную способность организаций выполнять свой долг перед обществом – повышать социальное благосостояние, так как масштаб и сложность задач, с которыми сталкивается социальный сектор, требуют совместных усилий и опору на успехи и неудачи друг друга.

Улучшение сложившегося положения потребует от организаций изменений в рабочих практиках, и авторы статьи советуют установить нормы, которые увеличивают ценность обмена знаниями, сводя к минимуму реальные и воспринимаемые риски, а также выдвигают следующие рекомендации:

  • Разработка политики «открытых знаний», содержащий сведения касательно того, как вы будете делиться материалами, которые финансируются или создаются вашей организацией.
  • Применение такого подхода к интеллектуальной собственности, который позволит вам распространять знания.
  • Попросите получателей грантов, партнеров по оценке и спонсоров выложить их знания о ваших услугах и материалах в открытых источниках.
  • Использование открытых стандартов и идентификаторов цифровых объектов для информационных материалов на вашем веб-сайте.

[FEAN Call to Action Series. Knowledge Sharing is a Mission Imperative: Why We Cannot Afford to Keep Evaluation Findings to Ourselves and How We Can Do Better]. FEAN. 2020.