Архив метки: оценка

Раскрываем Теорию изменений

«Теория изменений» — популярный и широко известный термин в социальном секторе, однако не все пользователи понимают, какой смысл заключен в этом понятии.

Данная статья даёт четкое представление о различных интерпретациях Теории изменений и помогает оценщикам повышать эффективность своей деятельности и более объективно оценивать результаты проделанной работы.

     Автор считает, что понятие «теория изменений» имеет достаточно расплывчатый характер и допускает множество толкований. Чтобы разобраться в значении данного термина, для начала следует взглянуть на теорию изменений как на «покров» для так называемой черновой оценки, которая фокусируется не столько на процессе интервенции, сколько на вложенных ресурсах и полученных результатах. Несмотря на то, что определение результатов является фундаментом оценки, исследователи уже давно заметили, что одного подведения итогов недостаточно для определения и реализации эффективных стратегий социальных изменений, что привела к созданию теоретической оценки. Иными словами, это подход, который требует формулирования предположений, лежащих в основе вмешательства, событий и процессов, посредством которых оно происходит, а также краткосрочных и долгосрочных результатов.

     Возвращаясь к вопросу о расплывчатости обсуждаемого термина, автор детально анализирует две его составляющих — «теория» и «изменения» — и выделает по два значения для каждой из них. «Теория» может рассматриваться как доказательная база или некий тезис, в то время как «изменение» — либо процесс, либо результат.

     Взяв за основу вышеизложенные рассуждения, Маоз Браун формулирует фреймворк, представляющий собой квадрант из 4 частей, по вертикали которого располагаются значения «теории», а по горизонтали значения «изменения», и каждому сочетанию двух значений соответствует определенный стратегический вопрос, ответ на который определят наиболее подходящую интерпретацию Теории изменений.

    Теория изменений способна объяснять и даже в некоторой степени предсказывать процесс реализации программ, но для этого необходимо изменить подход к интерпретации данной теории и рассматривать ее как инструмент анализа, влияющий на принятие стратегических решений.

Маоз Браун. [Unpacking the Theory of Change. Maoz Brown.] Stanford Social Innovation Review. Осень, 2020.

Призыв к действию. Совершенствование практики оценки для решения глобальных проблем: призыв к действиям и размышлениям

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Глобализация – неизбежный феномен сегодняшнего дня, оказывающий существенное влияние на все сферы нашей жизни, в том числе и на социальный сектор, и мы должны воспользоваться присущими ей, уникальными возможностями и научиться бороться с вызовами, которые она несет.

      Авторы данной работы считают, что совместная работа фондов и оценщиков будет способствовать глобальным преобразованиям, необходимым для решения наиболее насущных мировых проблем. Рекомендации, изложенные в этом документе, представляют собой «отправную точку» для дальнейших размышлений и действий. Статья исследует, как фонды и оценщики могут развивать устойчивую, инклюзивную экосистему оценки для глобальной трансформации ОГТ (англ. EGT), необходимую для создания путей, с помощью которых фонды и оценщики могут стимулировать новаторское мышление и предпринимать скоординированные действия с другими стейкхолдерами в целях поддержки глобальных преобразований. Авторы анализируют текущее состояние ОГТ и ресурсы, которые потребуются для продвижения глобальных преобразований,  начиная с определения понятия глобальной трансформации и ее значимости и затем излагая тенденции глобального развития и усиливающейся роли, которую филантропия играет в этой сфере.

     Благотворительный сектор обладает широкими возможностями для развития инноваций и партнерства, необходимого для ускорения глобальных преобразований. Однако авторы статьи считают, что экосистема ОГТ находится на ранней стадии развития, и для эффективного воздействия ей не хватает инфраструктуры. Работая сообща, фонды и оценщики могут изменить сложившуюся ситуацию. В статье изложено несколько потенциальных преимуществ ОГТ, их текущее состояние и рекомендации по развитию, которые фонды и специалисты по оценке могут использовать в своей деятельности.

  • Чувство общности
  • Трансформационное лидерство и взаимодействие участников
  • Финансирование и поддержка
  • База знаний
  • Практические кейсы

Хизер Бритт, Клэр Нола. [FEAN Call to Action Series. Advancing Evaluation Practice to Meet Global Challenges: A Call to Action and Reflection. Heather Britt, Clare Nola] FEAN (Funder & Evaluator Affinity Network). 2020.

Как сделать результаты более значимыми для общества: влияние организаций достижение демографических целей с помощью программы Дети и Семья фонда Casey

Данная работа описывает практику программы Дети и Семья, разработанную фондом Annie E. Casey и ориентированную на создание лучшего будущего для детей и семей.

Сама программа представляет собой интенсивный курс для руководителей, который дает возможность лидерам некоммерческих, благотворительных и общественных организаций приобрести необходимые навыки для реализации изменений, способствующих повышению благосостояния детей и семей.

В период с 2016 по 2019 год ICF в партнерстве с Casey провели оценку эффективности данной программы, изучив, как участники и их организации постепенно внедряли практики, ориентированные на результат, в свою ежедневную деятельность. Среди основных результатов оценки можно выделить следующие:

  • Сбалансированное распространение практик, ориентированных на результат. Результаты оценки показали, что по мере развития своих навыков ориентации на результат лидеры начали делиться своими знаниями с коллегами и распространять изученные подходы в своих организациях.
  • Персональное профессиональное развития как инструмент организационных изменений. Результаты оценки продемонстрировали, что приспособление инструментов и подходов, изученных в ходе программы, к организационным стратегиям и программной деятельности оказало значительное влияние на текущую деятельность организаций.
  • Трансформация корпоративной культуры и рабочих практик для достижения больших результатов. Оценка выявила, что изменение рутинной работы организаций в сторону внедрения фокуса на результат содействует достижению желаемых результатов для детей и семей.

В целом, результаты оценки продемонстрировали способность программы Дети и Семьи «превращать» руководителей НКО в трансформационных лидеров, способных привносить значительные улучшения в жизнь детей и семей.

[Making results count: Influencing Organizations to Achieve Population Results Through Casey Children and Family Fellowship]. ICF.

Призыв к действию. Обмен знаниями – это императив нашей миссии: почему мы не можем позволить себе скрывать результаты оценки, и как мы можем достичь лучших результатов

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Авторы статьи считают, что в социальном секторе не принято открыто и активно делиться результатами своей работы. Подобная ситуация подрывает коллективную способность организаций выполнять свой долг перед обществом – повышать социальное благосостояние, так как масштаб и сложность задач, с которыми сталкивается социальный сектор, требуют совместных усилий и опору на успехи и неудачи друг друга.

Улучшение сложившегося положения потребует от организаций изменений в рабочих практиках, и авторы статьи советуют установить нормы, которые увеличивают ценность обмена знаниями, сводя к минимуму реальные и воспринимаемые риски, а также выдвигают следующие рекомендации:

  • Разработка политики «открытых знаний», содержащий сведения касательно того, как вы будете делиться материалами, которые финансируются или создаются вашей организацией.
  • Применение такого подхода к интеллектуальной собственности, который позволит вам распространять знания.
  • Попросите получателей грантов, партнеров по оценке и спонсоров выложить их знания о ваших услугах и материалах в открытых источниках.
  • Использование открытых стандартов и идентификаторов цифровых объектов для информационных материалов на вашем веб-сайте.

[FEAN Call to Action Series. Knowledge Sharing is a Mission Imperative: Why We Cannot Afford to Keep Evaluation Findings to Ourselves and How We Can Do Better]. FEAN. 2020.

Четыре принципа, позволяющих использовать продвинутую аналитику для работы с детьми и семьями

Достижения в области компьютерной обработки данных расширяют спектр доступных возможностей и оказывают значительное влияние практически на все сферы нашей жизни.

В данной работе представлена практика использования фондом Annie E. Casey продвинутой аналитики для реализации социальных программ. Помимо этого, документ содержит набор принципов, которые помогают понять различие между полезным, приемлемым и нежелательным применением новых инструментов. Среди этих принципов можно отметить:

  • Расширение возможностей. Продвинутая аналитика должна применяться в целях обеспечения больших возможностей для детей и семей, а не просто постепенно улучшать статус-кво.
  • Обеспечение транспарентности. Компании, которые оказываювают услуги, имеющие фундаментально важное значение для благосостояния семей и сообществ, обязаны предоставлять публичные доказательства касательно использования и последствий их аналитики в процессе принятия решений.
  • Расширение полномочий сообществ. Инструменты обработки данных должны дать сообществам возможность привлекать общественные системы к ответственности за их деятельность.
  • Содействие справедливым результатам. Новые инструменты должны использоваться для активного продвижения более справедливых результатов для исторически неблагополучных групп.

Все вышеуказанные принципы были разработаны при участии научных работников, правозащитных групп, общественных лидеров и семейных адвокатов. Пандемия COVID-19 выявила неравенство во многих публичных системах, и теперь организации, работающие с семьями и затронутыми сообществами, должны найти более эффективные подходы к конструктивному использованию новых технологий для повышения благосостояния общества.

[Four principles to make advanced data analytics work for children and families.] The Annie E. Casey Foundation. Baltimore, Maryland. 2020.

Призыв к действию. Вместе лучше: Как сотрудничество между оценщиками может укрепить благотворительность и повысить уровень коллективных знаний

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Авторы этой статьи считают, что партнерские отношения между оценочными фирмами имеют много преимуществ для фондов и оценщиков, включая повышение качества оценки, большую справедливость для всех заинтересованных сторон и усиление потенциала для обучения.

В данной работе вы можете найти ключевые причины для установления таких партнерских отношений, а также новые передовые методы создания и поддержания успешных партнерских отношений; прочитать о, препятствиях меша ющих налаживать партнерские отношения, и некоторые практические стратегии по борьбе с этим препятствиями.

К причинам создания партнерств авторы относят такие выгоды для оценщиков, как усиление конкурентных преимуществ, эффективность человеческого капитала профессиональное развитие для команды и другие, и преимущества для фондов, в частности, более широкий доступ к разнообразным техникам и знаниям и диверсификация команд.

Однако существуют и определенные барьеры на пути создания партнёрств. Фонды зачастую не располагают достаточным количеством времени и объемом знаний для грамотного выбора партнёра, а оценщики сталкиваются с противодействием фондов и некоторыми трудностями в поиске партнёров.

Для преодоления всех вышеуказанных барьеров необходимо создать благоприятный климат для развития партнёрств, основой которого могут стать неформальные встречи или конференции с заинтересованными сторонами, а также обновленные рабочие политики и процедуры, способствующие продвижению партнёрств.

Кендалл Гатри, Рэйчел Мошер-Уильямс, Ивонн Беланжер. [FEAN Call to Action Series. Better Together: How Evaluator Collaborations Can Strengthen Philanthropy and Increase Collective Knowledge. Kendall Guthrie, Yvonne Belanger, Rachel Mosher-Williams.] FEAN (Funder & Evaluator Affinity Network). 2020.

Возможности управлять доказательствами для практикующих специалистов: создание нового поколения доказательств

Авторы данной статьи предполагают, что спрос на эффективные социальные программы, нацеленные на решение насущных проблем, значительно превышает предложение,

и этот факт обусловлен тем, что пользователи и фонды не располагают достаточно достоверными и надежными доказательствами результативности программ. Именно по этой причине необходимо разработать новое поколение доказательств, которые будут способствовать более широкому и эффективному внедрению социальных практик.

Оценка является инструментом для разработки всеобъемлющих доказательств, и лидеры НКО должны использовать результаты оценки в качестве компонента своего стратегического планирования. Чтобы раскрыть потенциал оценки в полной мере, руководителям НКО следует использовать полученные данные для принятия решений и улучшения своих программ.

Согласно концепции новых доказательств, оценщики и исследователи должны не только выступать в качестве аудиторов программы, но и играть ключевую роль в реализации и адаптации социальных практик. Кроме этого, статья указывает на необходимость повышения тщательности исследования и выявления доказательств эффективности программы.

В заключение авторы отмечают, что постепенно современная социально ориентированная практика переходит к новому поколению доказательств, и основополагающую роль в этом процессе играет именно повышение роли оценщиков.

Дженнифер Брукс, Бет Боулай, Ребекка Мейнард. [Empowering Practitioners to Drive the Evidence Train: Building the Next Generation of Evidence. Jennifer Brooks, Beth Boulay, Rebecca Maynard.] Project Evident. 27, март, 2019.

Данные для описания социального воздействия

Институт социальных исследований и действий графства Канаваха (Kanawaha Institute for Social Research & Action, KISRA), НКО, располагается в штате Западная Вирджиния, США.

Предоставляет возможности трудоустройства, обучения и другие услуги детям и семьям.

Сначала организация собирала данные, особо не задумываясь, зачем она это делает, просто копируя методы других НКО. Но как-то журналистка задала неожиданный вопрос о том, как организация описывает ценность своих программ; что будет, если вычеркнуть KISRA из жизни местного сообщества?

Carl Chadband, руководитель организации, мог рассуждать на тот момент только в терминах индикаторов для трудоустройства, о почасовой оплате, присутствии и т.д., но не задумывался о том, как рассказать о той ценности, которую создает организация. С этого момента организация начала анализировать информацию и фиксировать показатели.

Развитие подхода началось с изучения данных переписи населения. В сравнительных целях и для более точной демонстрации ценности услуг организации использовались различные консервативные цифры по здоровым детям из отчета по штату Западная Вирджиния.

На следующем этапе предстояло понять, какие из данных нужны для разных аудиторий – доноров, жертвователей, других стейкхолдеров, потому что невозможно и бессмысленно сообщать всем аудиториям все имеющиеся данные. Организация отказалась от идеи одного отчета для всех с типичным описанием создаваемой ценности. Было понимание, что нужно адаптировать набор данных для каждой аудитории разных сообщений.

НКО, как правило, вынуждены много о себе рассказывать. Но для того, чтобы собрать эффективные данные, НКО научилась слушать клиентов, которым она оказывает услуги; сообщества, с которыми она работает; доноров – для того, чтобы понять, что они все хотят. С пониманием их мотиваций приходит понимание, хотят ли услышать они точные цифры или эмоциональную историю. Или они хотят поддерживать отношения, или знать о детях, чью жизнь изменила программа; или о семьях, которые НКО хочет укрепить.

Во всех случая это должна быть история, но каждый раз наполненная разными данными. Например, вы хотите раскрыть всю сложность проблемы, связанной с темой осужденных. На протяжении времени вы собираете сведения о переполненности тюрем, об исправительных учреждениях, повторных судимостях, проблеме воспитания детей осужденных, стоимости содержания и прочих сопутствующих расходах и представляется эти данные в одном документе – целый клубок проблем, которые имеют денежное выражение и серьезно обременяют государственный бюджет. Такая подача будет понятна чиновнику, а простого слушателя вдохновят реальные истории, которые  сами становятся аргументами для поддержки.  

Когда организация располагает разными данными о своей деятельности, это придает ей большей уверенности во взаимоотношениях с новыми партнерами, которых можно убедить фактами о результатах деятельности.

Источник: Рhilanthropy

Реальная стоимость

Международный комитет спасения (The International Rescue Committee) oснован группой интеллектуалов под предводительством Альберта Эйнштейна в 1933г. для оказания помощи евреям, спасавшимся из нацистской Германии.

Штаб-квартира – Нью-Йорк, США. Бюджет организации в прошлом году составил $744 млн. В IRC работают 13 тыс человек. В 2013 году, когда David Miliband возглавил организацию, ее доход составлял $456 млн. В 2018 году — $744 млн. Основной источник дохода – государственные контракты, доля вложений от компаний, фондов и частных лиц уверенно растет. В прошлом году Комитет занял 67-ое место в рейтинге Chronicles 100 благотворительных организаций,  привлекших наибольшие частные пожертвования.

David Miliband, сын беженцев во время Второй мировой войны, известный марксистский социолог, получил образование в Оксфорде и MIT, в молодости был многообещающим политиком, членом Лейбористской партии, служил одним из первых советников Премьер-Министра Тони Блэра в качеств министра экологии и министра иностранных дел.

Комитет оказывает помощь десяткам миллионов беженцев во всем мире. Доставляет воду и пропитание в Йемен, переживающий худший гуманитарный кризис во всем мире. Содержит больницы в Сирии, школы для детей народа Рохинджа в Бангладеш, раздает наличность без дальнейших обязательств беженцам из Венесуэлы в Колумбии. Предоставляет психологические консультации и юридическую поддержку жертвам, пережившим сексуальное насилие в Демократической республике Конго, где царят военный конфликт, экономический коллапс и эбола. Тем счастливчикам, которым удалось добраться до США, IRC оказывает услуги по адаптации, включая временное жилище, уроки английского, подготовка к трудоустройству и займы для малого бизнеса.

Но насколько в действительности значима эта масштабная и разносторонняя работа, которую выполняет Комитет? Каким образом организация, работающая зачастую в условиях чрезвычайной обстановки, может реально оценить, ведет ли ее деятельность к каким-либо изменениям? В мире порядка 68 млн человек, которым требуется срочная помощь – гуманитарным организациям крайне необходимо становиться результативными и эффективными. Однако гуманитарные организации разрозненны и редко оперируют доказанными практиками.

David Miliband, исполнительный директор IRC, считает, что эффективной системы оказания помощи беженцам и перемещенным лицам в данный момент не существует. Систему гуманитарной помощи следует реформировать, она должна стать более результативной и экономически оправданной.

В разделе «влияние» или «результаты» на сайтах большинства гуманитарных организаций можно найти либо истории людей, которым помогли, либо цифры, которые особенно ничего не сообщают (даже если это «миллионы детей в нашей программе оздоровления»). НКО редко сообщают о реальном изменениях. Детей лечили, но стали ли они здоровее? Школы построены, но учатся ли дети? И, немаловажно, во сколько обошлись эти программы? Ответов чаще всего нет.

Очень мало гуманитарных программ прошли строгую оценку – их цифра теряется на фоне тысяч оценок глобального здравоохранения и программ по борьбе с бедностью, которые проводят в стабильных странах. За отсутствием надежных данных, мир гуманитарной помощи оперирует допущениями, опытом и интуицией вместо результатами исследований, фактами и свидетельствами. Начать менять существующее положение дел означает, отказаться от подсчета непосредственных результатов и перейти к отслеживанию согласованных результатов – от количества распределенных учебников к как изменилось благополучие или обучение? И далее – нужно понять, как добиться этих результатов наиболее экономичным образом.

Типичная картина для лагеря беженцев: караван грузовиков с мешками еды, одеялами, одеждой, палатками, водой. Многие исследование говорят о том, что есть способ помощи лучше: раздать беженцам наличные деньги. Если это сделать правильно, помощь доходит до беженцев быстрее, и она эффективнее, чем натуральная помощь. Эти деньги еще и вклад в местную экономику, это делает беженцев более привлекательными для принимающей стороны.

Первое исследование, сравнившее положение беженцев, которым были вручены наличные деньги, с теми, кто их не получил, IRC провел в Ливане в 2014 году- результаты были удивительными. Тех, кто получил наличность, отказались от детского труда, их дети стали посещать школу, доллары простимулировали местную экономику.

Как часть пятилетней стратегии, Miliband обещал, что к 2020 году программы IRC либо начнут оперировать доказательствами, либо уже будут привычно собирать данные о работающих практиках. Комитет близок к намеченной цели.

Первым в мире Комитет провел рандомизированное контролируемое исследование программ родительства и социально-эмоционального обучения в пост-конфликтных зонах и с беженцами. Список примеров можно продолжить, но основное – наличие массы данных и свидетельств привлекает больше доноров.

Комитет также пообещал улучшить учет расходов, но на деле оказалось сложной задачей. Организация разработала инструмент, позволяющий подсчитать стоимость программы для клиента, он используется сегодня в 12 странах присутствия. Предполагается, что в случае, если эта стоимость превысит $100 на одного клиента, в предложении будет обоснование высокой стоимости (текущая медиана — $46, 30% текущих проектов превышает порог $100 на одного клиента).  Ведется работа по разработке более осмысленного метода подсчета стоимости услуги, оказываемой одному клиенту. Все данные будут публиковаться и предоставляться донорам, это в русле существующей общей практики глобальных НКО.

Под руководством David Milliband Комитет продолжает аналитическую и исследовательскую работу, накапливая лучшие, доказанные практики в сфере образования, здоровья и безопасности, которые можно будет адаптировать; находится в поиске снижения стоимости программ, чтобы помочь большему числу людей. Эти знания Комитет использует для убеждения доноров и бюрократов, привлечения средств и создания институциональных синергии. 

Исследования, которые проводит Комитет импонируют многим — правительству США, европейских агентствам, ООН. Правительственная гуманитарная помощь редко оперирует свидетельствами доказанного влияния: доноры много говорят о необходимости оценки на основе доказательств, но они редко их требуют на самом деле. 

Бизнес и фонды увеличили размеры своей поддержки Комитета. Доля поддержки со стороны частного сектора увеличилась с 15% в 2014 до 32%.

Источник: Рhilanthropy