Архив рубрики: 2020

Обзор наблюдения и оценки для адаптивного управления

Данная статья входит в сборник работ под названием «Наблюдение и оценка для адаптивного управления», подготовленный фондом BetterEvaluation для содействия применению практик наблюдения и оценки для адаптивного управления.

Под адаптивным менеджментом авторами подразумевается отличный от классического определения менеджмента стиль управления, который использует различные данные для более релевантного принятия решений и действий. Подобный метод предполагает осознанные действия для адаптации организации в условиях продолжающейся неопределенности.

Авторы отмечают, что адаптивный менеджмент должен включать два основных фактора — эффективное сотрудничество и эффективное обучение – которые необходимо поддерживать при помощи человеческого потенциала (знаний и навыков), практики стимулирования и поощрения, а также определёнными возможностями, в том числе, автономным принятием решений и пересмотров планов и бюджета при необходимости.

Согласно статье, наблюдение и оценка могут широко применяться в различные сферах адаптивного управления: для принятия инвестиционных решений, улучшения внедрения каких-либо практик в организацию, обеспечения ответственного поведения организаций, наращивания местного потенциала и так далее. При этом применение наблюдения и оценки должно относиться не только к сбору данных, но и к полному спектру деятельности организации.

Внедрение этих практик может вызывать определённые трудности, и для получения практического результата следует рассматривать наблюдение и оценку как центральную функцию управления, а не «что-то» несущественное, реализованное привлеченными специалистами и отделённое от основных функций.

Патрисия Роджерс, Элис Макфарлан. [An Overview of Monitoring and Evaluation for Adaptive Management. Patricia Rogers, Alice Macfarlan.] BetterEvaluation. Австралия. Сентябрь, 2020.

Как бережливые доноры оценивают свою работу

Этот доклад содержит более детальное описание данных, представленных в Отчете об операциях и управлении фонда Exponent Philanthropy 2020 года, и дополняет его информацией, собранной в ходе интервью с участниками фонда.

Для определения текущего состояние бережливой оценки, в докладе предоставлен обзор методов оценки, которые доноры используют чаще всего и считают наиболее эффектными, а так же как эти методы работают на практике, и как доноры используют данные оценки в своей работе.

Авторы акцентируют внимание на том, что оценка — это не суждение о себе или других. Оценка направлена на определение того, что действительно работает, а что нет, чтобы вы могли уделять больше усилий значимым вопросам. Иными словами, это процесс, в ходе которого вы задаете вопросы, собираете информацию и затем используете полученные данные для ответа на эти вопросы. Доноры, опрошенные Exponent Philanthropy, используют оценку для одной или нескольких из следующих целей:

  • Мониторинг соблюдения требований. Выполняют ли получатели грантов свои обещания?
  • Выявление случаев успеха. Есть ли успешные практики, которые могут мотивировать мое правление, моих сотрудниов или и тех, и других?
  • Проверка предположений. Была ли выдача этого гранта правильным решением, и, если да, должны ли мы продолжать финансировать эту организацию?
  • Получение обратной связи. Как мы можем повысить уровень нашей работы, чтобы лучше поддерживать наших грантополучателей?
  • Определение системных изменений. Как наша работа меняет общую систему, в которой мы функционируем?

Что касается выбора метода оценки, то авторы отмечают, что доноры, наиболее удовлетворенные своими процессами оценки, не обязательно используют самые сложные методы или вкладывают огромные ресурсы. Вместо этого у них есть четкое понимание своих целей и места их фондов в общей экосистеме.

Среди основных методов, которые выбирают опрошенные доноры, можно выделить: посещение объекта или оценку на местах (87% опрошенных), эпизодические отчеты грантополучателей (82%), итоговые отчеты грантополучателей (80%). При этом именно те методы оценки, которые наиболее часто используются, как правило, оцениваются донорами как наиболее эффективные.

В заключение авторы рекомендуют обсуждать постановку общих целей с правлением и стандарты оценивания грантов с грантополучателями на ранних этапах.

Доклад фонда Exponent Philanthropy. [How Lean Funders Evaluate Their Work. Exponent Philanthropy Spotlight Report]. Exponent Philanthropy.

Умное принятие решений

Данная работа затрагивает проблему эффективного использования данных для принятия грамотных и актуальных решений, отвечающих потребностям организаций в условиях постоянно меняющейся внешней среды.

В социальном секторе существует множество исследований, основанных на фактах и доказательствах, но организации чаще всего не могут эффективно использовать их в своей деятельности для улучшения своих результатов. Преодоление разрыва между получением и использованием данных требует более целостного подхода к принятию решений, иными словами, умного принятия решений.

Исследования, посвященные использованию доказательств в благотворительной деятельности, выявили ряд препятствий на пути их более широкого внедрения.

Можно выделить такие препятствия, как нехватка времени, отсутствие возможностей для качественного анализа полученных данных, недостаточное внимание со стороны лиц, принимающих решения, а также организационная структура, игнорирующая ценность данных. 

Поэтому авторы считают, что проблема с использованием информации не всегда связана с недостатком данных — куда чаще руководители организаций сталкиваются с некоторой неточностью получаемых данных и неспособностью их правильно использовать.

Авторы работы выделяют 5 рекомендаций, которые могут помочь применять данные более эффективно: 

  • Отрепетируйте ваши решения. Возможно, самый ясный способ установить более тесную связь между данными и процессом принятия решений — это «отрепетировать» решения, будто вы готовитесь к важной презентации или мероприятию.
  • Попробуйте «инвентаризацию» решений. Команды обычно погружаются в оценку и другие аналитические проекты со знанием того, как эта деятельность связана с их основной работой, но они редко формулируют конкретные решения. Следует создать список решений, которые необходимо вывести из анализа.
  • Используйте программы стратегического обучения в качестве моста между оценкой и разрывом. Преодоление разрыва между оценкой и решениями может увеличить вероятность того, что оценка даст ответы, полезные для принятия решений.
  • Убедитесь, что вспомогательный персонал рассматривает свою деятельность с критической точки зрения.  Сотрудники должны воспринимать себя как экспертов, способных выносить грамотные решения.
  • Не относитесь к решениям как к чему-то, что вы затем передадите на другой уровень. Чтобы добиться лучшей связи между оценкой и принимаемыми решениями, мы рекомендуем объединить экспертов по процессам и экспертов по содержанию.  Вовлечение оценщиков в процесс принятия решений может привести к более правильным решениям. 

Ян Дэвид Мосс, Джулия Коффман, Таня Бир. [Smart Decision-Making. Ian David Moss, Julia Coffman, Tanya Beer]. Stanford Social Innovation Review. Весна, 2020.

Взаимно совместимые, но при этом разные: теоретическая основа для cогласования различных методологий монетизации воздействия и фреймворков

Авторы этой статьи обращаются к следующей проблеме: скрытая оценка имеет место, когда дело касается любых решениях о распределении ресурсов, связанных с социальным воздействием или влиянием на окружающую среду,

в которых оценивание и сравнение различных воздействий обычно зависит от убеждений и ценностей тех, кто принимает решения. 

Однако скрытая оценка может не совпадать с ожиданиями тех, кто испытывает воздействие, а также недооценивать масштабы воздействия.

Прилагаются многочисленные усилия, чтобы сделать эти скрытые оценки более прозрачными, используя понимание воздействия и предпочтения тех, кто испытывает влияние.

Авторы статьи считают, чтобы сделать скрытую оценку более прозрачной, необходимо введение общих показателей; иначе, это становится слишком сложно для неспециалистов, которым приходится описывать воздействие.

Один из подходов к решению данной проблемы – это применение денежных значений, часто называемых монетизацией воздействия. В соответствии с данными подходом, различные научные дисциплины преобразуются в общую денежную меру.

Таким образом, в центре внимания данной статьи — предложить теоретическое объяснение того, как лежащие в основе монетизации ценности, возникающие от различных усилий и подходов, могут отличаться друг от друга, но при этом сосуществовать и применяться совместно.

Чтобы изучить неоднородность подходов к оценке монетизации воздействия, авторы сравнивают различные подходы, а именно подходы Инициативы взвешенного воздействия (IWAI) и Социальной международной ценности (SVI). Первый рассматривает данные вторичного рынка в качестве основы для оценки, а второй — предпочтения заинтересованных сторон, которые конвертируются в денежную стоимость. Авторы приходят к выводу, что эти подходы:

1) оба будут необходимы в экосистеме для увеличения положительного чистого воздействия

2) преобладание первого над вторым будет более актуально для инвесторов, а второго над первым для предприятий

3) могут использовать концепцию ограниченной гибкости для учета специфических условий, избегая при этом занижения или завышения оценки.

Джереми Николлс, Роберт Зоховски. [Mutually Compatible, Yet Different: A Theoretical Framework for Reconciling Different Impact Monetization Methodologies and Frameworks. Jeremy Nicholls, T. Robert Zochowski]

Хороших намерений недостаточно: как сделать оценку более полезной для стратегии и практики фонда

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Авторы статьи считают, что одной из наиболее серьезных вызовов, с которыми сталкивается социальный сектор, является превращение результатов оценки в значимые для фондов знания.

Для решения этой задачи сотрудники фондов, занимающиеся оценкой, и внешние оценщики должны работать сообща, чтобы использовать разные компетенции, позволяющие задействовать больший потенциал для содержательной оценочной работы.

В этом документе представлены шесть пересекающихся областей, на которых нужно сосредоточить внимание. К каждой из шести нижеуказанных сфер авторы предлагают ряд рекомендаций как для доноров, так и для оценщиков, способствующих продвижению сотрудничества.

1. Поймите, чего вы не знаете друг о друге (и узнавайте больше).

2. Разъясните, как принимаются решения и какие основные факторы принимаемых решений.

3. Сопоставьте то, что должны знать лица, принимающие решения, с вопросами, которые направляют оценку.

4. Поддерживайте связь между оценкой и справедливостью и убедитесь, что оценка способствует обеспечению справедливости.

5. Принимайте возможность возникновения конфликтов и разбирайтесь с напряжением в команде.

6. Разберитесь с вопросами собственности результатов оценки.

Призыв к действию FEAN. Сара Стаховяк, Никки Калра, Ким Амманн Ховард. [Good Intentions Are Not Enough: Making Evaluations More Useful for Foundation Strategy and Practice. FEAN Actions Series. Sarah Stachowiak, Nikki Kalra, Kim Ammann Howard]. FEAN.

Аргументы в пользу применения ИИ в повседневной деятельности

В связи с развитием технологий искусственного интеллекта неизбежно встает вопрос о способах его использования и соответствующих выгодах и рисках.

Данная статья рассматривает возможности и преимущества применения искусственного интеллекта в текущей деятельности.

Авторы полагают, что использование ИИ для прогнозирования поведения может привести к серьезным ошибкам в выстраивании политики, в том числе, и в социальном секторе, и поэтому программы, нацеленные на здравоохранение и развитие, должны применять именно причинно-следственные модели, которые лучше объясняют, почему люди ведут себя тем или иным образом, чтобы помочь определить наиболее эффективные рычаги воздействия.

ИИ для повседневной деятельности способен идентифицировать основные причины поведения или события и на этой основе формулировать значимые идеи, которые прогнозные модели не способны предложить. Данная технология может применяться в самых разных отраслях, например, климатические изменения или смертность среди матерей и новорожденных. В какой-бы сфере ИИ не внедрялся, всегда существует ряд сложностей на пути эффективного внедрения этой технологии.

Авторы статьи предлагают ознакомиться с 7 способами повышения эффективности ИИ.

1) Найти более эффективный способ использования данных и непрерывно повышать их качество.

2) Собирайте более полноценные, всеобъемлющие данные.

3) Создавайте масштабируемые, высокопроизводительные инструменты с открытым исходным кодом для применения алгоритмов повседневного ИИ.

4) Продемонстрируйте ценность повседневного ИИ в секторе развития.

5) Повышайте осведомленность и знания основных заинтересованных сторон о технологиях повседневного ИИ.

6) Комбинируйте искусственный интеллект с человеческим интеллектом.

7) Улучшайте способы оценки производительности алгоритмов ИИ.

Сема К. Сгайер, Винсент Хуанг, Грейс Чарльз. [The Case for Causal AL. Sema K. Sgaier, Vincent Huang, Grace Charles]. Stanford Social Innovation Review. Лето, 2020.

Тайная жизнь теории изменений

Теория изменений считается очень полезным инструментом для адаптивного управления сложными интервенциями такими, как, например, пропаганда.

Тем не менее, Теория изменений также подвергается и критике. Одной из наиболее частых претензий является тот факт, что теория изменений часто используется как зафиксированный фреймворк, а не живой, напарвляющий инструмент, который помогает критически мыслить и адаптироваться к существующим условиям.

Однако такие замечания подчеркивают лишь формы контроля, и мало исследований посвящено тому, как Теория изменений и пропагандистская деятельность связаны.

На самом деле, официально утвержденные Теории изменений и реальная ситуация могут быть очень разными, и в этом кратком обзоре авторы исследуют более скрытые аспекты механизма Теорий Изменений.

Отмечается, что Теории изменений помогают организовать коллектив, направляя его в определенное русло и формируя конкретные роли участников, и найти направление деятельности организации. При этом, огромную роль играет выбор достижимых целей и выработка соответствующей стратегии.

Кроме этого, когда дело касается пропагандистской деятельности, персональные активы, например, межличностные связи, могут играть более важную роль в качестве инструмента для повседневного планирования и выработки стратегии, чем Теория изменений.

Учитывая, что пропаганда – это вид деятельности, которому присущ высокий уровень неопределённости и спонтанности, Теория изменений не должна использоваться как карта с запланированными результатами. Вместо этого её следует воспринимать как балансирующий фактор между индивидуальной свободой действий и коллективными целями, который помогает в случае необходимости возвращаться к изначально намеченным целям.

Подводя итоги, авторы отмечают, что для реализации потенциала Теории изменений ее исполнение необходимо перестать контролировать. Для пропагандистской деятельности подобный шаг может облегчить применение персональных активов, которые в наибольшей степени способствуют эффективности данных практик. 

Венни Хо, Маргит Ван Вессель, Питер Тама. [The Hidden Life of Theories of Change. Wenny Ho, Margit Van Wessel, Peter Tama]. Wageningen University&Research, Hivos.

Призыв к действию. Вместе лучше: Как сотрудничество между оценщиками может укрепить благотворительность и повысить уровень коллективных знаний

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Авторы этой статьи считают, что партнерские отношения между оценочными фирмами имеют много преимуществ для фондов и оценщиков, включая повышение качества оценки, большую справедливость для всех заинтересованных сторон и усиление потенциала для обучения.

В данной работе вы можете найти ключевые причины для установления таких партнерских отношений, а также новые передовые методы создания и поддержания успешных партнерских отношений; прочитать о, препятствиях меша ющих налаживать партнерские отношения, и некоторые практические стратегии по борьбе с этим препятствиями.

К причинам создания партнерств авторы относят такие выгоды для оценщиков, как усиление конкурентных преимуществ, эффективность человеческого капитала профессиональное развитие для команды и другие, и преимущества для фондов, в частности, более широкий доступ к разнообразным техникам и знаниям и диверсификация команд.

Однако существуют и определенные барьеры на пути создания партнёрств. Фонды зачастую не располагают достаточным количеством времени и объемом знаний для грамотного выбора партнёра, а оценщики сталкиваются с противодействием фондов и некоторыми трудностями в поиске партнёров.

Для преодоления всех вышеуказанных барьеров необходимо создать благоприятный климат для развития партнёрств, основой которого могут стать неформальные встречи или конференции с заинтересованными сторонами, а также обновленные рабочие политики и процедуры, способствующие продвижению партнёрств.

Кендалл Гатри, Рэйчел Мошер-Уильямс, Ивонн Беланжер. [FEAN Call to Action Series. Better Together: How Evaluator Collaborations Can Strengthen Philanthropy and Increase Collective Knowledge. Kendall Guthrie, Yvonne Belanger, Rachel Mosher-Williams.] FEAN (Funder & Evaluator Affinity Network). 2020.

Возможности управлять доказательствами для практикующих специалистов: создание нового поколения доказательств

Авторы данной статьи предполагают, что спрос на эффективные социальные программы, нацеленные на решение насущных проблем, значительно превышает предложение,

и этот факт обусловлен тем, что пользователи и фонды не располагают достаточно достоверными и надежными доказательствами результативности программ. Именно по этой причине необходимо разработать новое поколение доказательств, которые будут способствовать более широкому и эффективному внедрению социальных практик.

Оценка является инструментом для разработки всеобъемлющих доказательств, и лидеры НКО должны использовать результаты оценки в качестве компонента своего стратегического планирования. Чтобы раскрыть потенциал оценки в полной мере, руководителям НКО следует использовать полученные данные для принятия решений и улучшения своих программ.

Согласно концепции новых доказательств, оценщики и исследователи должны не только выступать в качестве аудиторов программы, но и играть ключевую роль в реализации и адаптации социальных практик. Кроме этого, статья указывает на необходимость повышения тщательности исследования и выявления доказательств эффективности программы.

В заключение авторы отмечают, что постепенно современная социально ориентированная практика переходит к новому поколению доказательств, и основополагающую роль в этом процессе играет именно повышение роли оценщиков.

Дженнифер Брукс, Бет Боулай, Ребекка Мейнард. [Empowering Practitioners to Drive the Evidence Train: Building the Next Generation of Evidence. Jennifer Brooks, Beth Boulay, Rebecca Maynard.] Project Evident. 27, март, 2019.

Раскрываем Теорию изменений

«Теория изменений» — популярный и широко известный термин в социальном секторе, однако не все пользователи понимают, какой смысл заключен в этом понятии.

Данная статья даёт четкое представление о различных интерпретациях Теории изменений и помогает оценщикам повышать эффективность своей деятельности и более объективно оценивать результаты проделанной работы.

     Автор считает, что понятие «теория изменений» имеет достаточно расплывчатый характер и допускает множество толкований. Чтобы разобраться в значении данного термина, для начала следует взглянуть на теорию изменений как на «покров» для так называемой черновой оценки, которая фокусируется не столько на процессе интервенции, сколько на вложенных ресурсах и полученных результатах. Несмотря на то, что определение результатов является фундаментом оценки, исследователи уже давно заметили, что одного подведения итогов недостаточно для определения и реализации эффективных стратегий социальных изменений, что привела к созданию теоретической оценки. Иными словами, это подход, который требует формулирования предположений, лежащих в основе вмешательства, событий и процессов, посредством которых оно происходит, а также краткосрочных и долгосрочных результатов.

     Возвращаясь к вопросу о расплывчатости обсуждаемого термина, автор детально анализирует две его составляющих — «теория» и «изменения» — и выделает по два значения для каждой из них. «Теория» может рассматриваться как доказательная база или некий тезис, в то время как «изменение» — либо процесс, либо результат.

     Взяв за основу вышеизложенные рассуждения, Маоз Браун формулирует фреймворк, представляющий собой квадрант из 4 частей, по вертикали которого располагаются значения «теории», а по горизонтали значения «изменения», и каждому сочетанию двух значений соответствует определенный стратегический вопрос, ответ на который определят наиболее подходящую интерпретацию Теории изменений.

    Теория изменений способна объяснять и даже в некоторой степени предсказывать процесс реализации программ, но для этого необходимо изменить подход к интерпретации данной теории и рассматривать ее как инструмент анализа, влияющий на принятие стратегических решений.

Маоз Браун. [Unpacking the Theory of Change. Maoz Brown.] Stanford Social Innovation Review. Осень, 2020.