Архив рубрики: Оценка

Фреймворк для эффективной оценки собрания/конференции

Собрания и другие профессиональные встречи считаются важным элементом в филантропическом секторе,

и в связи с этим авторы статьи поднимают вопрос соответствия издержек, понесенных на организацию, и полезности и эффективности самого мероприятия как инструмента развития сотрудничества, повышения осведомлённ ости и содействия социальным изменениям.

Под собранием подразумевается некоторое «пространство» для различных групп заинтересованных сторон, которые стремятся повлиять на будущий коллектив и индивидуальные действия, ориентированные на конкретные действия в какой-либо сфере. Данный документ представляет собой базу для более продуманного, стратегического и систематического планирования оценки собраний. Фреймворк состоит из трех частей:

  1. Условия, предшествующие собранию. В этот раздел авторы включают причины проведения собрания и ресурсы, доступные для будущего мероприятия.
  2. Непосредственно проведение собрания, то есть используемые ресурсы и материалы и показатели качества мероприятия. К последней категории относятся такие индикаторы, как уровень вовлеченности, уровень удовлетворенности, субъективное соответствие ожиданиям и приверженность правильным практикам.
  3. Результаты собрания, в частности, установка и налаживание контактов, актуальность и значимость мероприятия, а также наличие практических достижений.

      Для проведения грамотной и эффективной оценки собрания каждый раздел фреймворка необходимо поэтапно и всесторонне прорабатывать.

Джаред Рейнор, Иджеома Эцеофор. [A Framework for the Effective Evaluation of Convening. Jared Raynor, Ijeoma Ezeofor.] TCC Group. США.

Раскрываем Теорию изменений

«Теория изменений» — популярный и широко известный термин в социальном секторе, однако не все пользователи понимают, какой смысл заключен в этом понятии.

Данная статья даёт четкое представление о различных интерпретациях Теории изменений и помогает оценщикам повышать эффективность своей деятельности и более объективно оценивать результаты проделанной работы.

     Автор считает, что понятие «теория изменений» имеет достаточно расплывчатый характер и допускает множество толкований. Чтобы разобраться в значении данного термина, для начала следует взглянуть на теорию изменений как на «покров» для так называемой черновой оценки, которая фокусируется не столько на процессе интервенции, сколько на вложенных ресурсах и полученных результатах. Несмотря на то, что определение результатов является фундаментом оценки, исследователи уже давно заметили, что одного подведения итогов недостаточно для определения и реализации эффективных стратегий социальных изменений, что привела к созданию теоретической оценки. Иными словами, это подход, который требует формулирования предположений, лежащих в основе вмешательства, событий и процессов, посредством которых оно происходит, а также краткосрочных и долгосрочных результатов.

     Возвращаясь к вопросу о расплывчатости обсуждаемого термина, автор детально анализирует две его составляющих — «теория» и «изменения» — и выделает по два значения для каждой из них. «Теория» может рассматриваться как доказательная база или некий тезис, в то время как «изменение» — либо процесс, либо результат.

     Взяв за основу вышеизложенные рассуждения, Маоз Браун формулирует фреймворк, представляющий собой квадрант из 4 частей, по вертикали которого располагаются значения «теории», а по горизонтали значения «изменения», и каждому сочетанию двух значений соответствует определенный стратегический вопрос, ответ на который определят наиболее подходящую интерпретацию Теории изменений.

    Теория изменений способна объяснять и даже в некоторой степени предсказывать процесс реализации программ, но для этого необходимо изменить подход к интерпретации данной теории и рассматривать ее как инструмент анализа, влияющий на принятие стратегических решений.

Маоз Браун. [Unpacking the Theory of Change. Maoz Brown.] Stanford Social Innovation Review. Осень, 2020.

Призыв к действию. Совершенствование практики оценки для решения глобальных проблем: призыв к действиям и размышлениям

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Глобализация – неизбежный феномен сегодняшнего дня, оказывающий существенное влияние на все сферы нашей жизни, в том числе и на социальный сектор, и мы должны воспользоваться присущими ей, уникальными возможностями и научиться бороться с вызовами, которые она несет.

      Авторы данной работы считают, что совместная работа фондов и оценщиков будет способствовать глобальным преобразованиям, необходимым для решения наиболее насущных мировых проблем. Рекомендации, изложенные в этом документе, представляют собой «отправную точку» для дальнейших размышлений и действий. Статья исследует, как фонды и оценщики могут развивать устойчивую, инклюзивную экосистему оценки для глобальной трансформации ОГТ (англ. EGT), необходимую для создания путей, с помощью которых фонды и оценщики могут стимулировать новаторское мышление и предпринимать скоординированные действия с другими стейкхолдерами в целях поддержки глобальных преобразований. Авторы анализируют текущее состояние ОГТ и ресурсы, которые потребуются для продвижения глобальных преобразований,  начиная с определения понятия глобальной трансформации и ее значимости и затем излагая тенденции глобального развития и усиливающейся роли, которую филантропия играет в этой сфере.

     Благотворительный сектор обладает широкими возможностями для развития инноваций и партнерства, необходимого для ускорения глобальных преобразований. Однако авторы статьи считают, что экосистема ОГТ находится на ранней стадии развития, и для эффективного воздействия ей не хватает инфраструктуры. Работая сообща, фонды и оценщики могут изменить сложившуюся ситуацию. В статье изложено несколько потенциальных преимуществ ОГТ, их текущее состояние и рекомендации по развитию, которые фонды и специалисты по оценке могут использовать в своей деятельности.

  • Чувство общности
  • Трансформационное лидерство и взаимодействие участников
  • Финансирование и поддержка
  • База знаний
  • Практические кейсы

Хизер Бритт, Клэр Нола. [FEAN Call to Action Series. Advancing Evaluation Practice to Meet Global Challenges: A Call to Action and Reflection. Heather Britt, Clare Nola] FEAN (Funder & Evaluator Affinity Network). 2020.

Как сделать результаты более значимыми для общества: влияние организаций достижение демографических целей с помощью программы Дети и Семья фонда Casey

Данная работа описывает практику программы Дети и Семья, разработанную фондом Annie E. Casey и ориентированную на создание лучшего будущего для детей и семей.

Сама программа представляет собой интенсивный курс для руководителей, который дает возможность лидерам некоммерческих, благотворительных и общественных организаций приобрести необходимые навыки для реализации изменений, способствующих повышению благосостояния детей и семей.

В период с 2016 по 2019 год ICF в партнерстве с Casey провели оценку эффективности данной программы, изучив, как участники и их организации постепенно внедряли практики, ориентированные на результат, в свою ежедневную деятельность. Среди основных результатов оценки можно выделить следующие:

  • Сбалансированное распространение практик, ориентированных на результат. Результаты оценки показали, что по мере развития своих навыков ориентации на результат лидеры начали делиться своими знаниями с коллегами и распространять изученные подходы в своих организациях.
  • Персональное профессиональное развития как инструмент организационных изменений. Результаты оценки продемонстрировали, что приспособление инструментов и подходов, изученных в ходе программы, к организационным стратегиям и программной деятельности оказало значительное влияние на текущую деятельность организаций.
  • Трансформация корпоративной культуры и рабочих практик для достижения больших результатов. Оценка выявила, что изменение рутинной работы организаций в сторону внедрения фокуса на результат содействует достижению желаемых результатов для детей и семей.

В целом, результаты оценки продемонстрировали способность программы Дети и Семьи «превращать» руководителей НКО в трансформационных лидеров, способных привносить значительные улучшения в жизнь детей и семей.

[Making results count: Influencing Organizations to Achieve Population Results Through Casey Children and Family Fellowship]. ICF.

Призыв к действию. Обмен знаниями – это императив нашей миссии: почему мы не можем позволить себе скрывать результаты оценки, и как мы можем достичь лучших результатов

Данная работа входит в сборник рекомендаций под названием «Призыв к действию», подготовленный FEAN и касающийся тех сфер, которые больше всего нуждаются в изменениях.

Авторы статьи считают, что в социальном секторе не принято открыто и активно делиться результатами своей работы. Подобная ситуация подрывает коллективную способность организаций выполнять свой долг перед обществом – повышать социальное благосостояние, так как масштаб и сложность задач, с которыми сталкивается социальный сектор, требуют совместных усилий и опору на успехи и неудачи друг друга.

Улучшение сложившегося положения потребует от организаций изменений в рабочих практиках, и авторы статьи советуют установить нормы, которые увеличивают ценность обмена знаниями, сводя к минимуму реальные и воспринимаемые риски, а также выдвигают следующие рекомендации:

  • Разработка политики «открытых знаний», содержащий сведения касательно того, как вы будете делиться материалами, которые финансируются или создаются вашей организацией.
  • Применение такого подхода к интеллектуальной собственности, который позволит вам распространять знания.
  • Попросите получателей грантов, партнеров по оценке и спонсоров выложить их знания о ваших услугах и материалах в открытых источниках.
  • Использование открытых стандартов и идентификаторов цифровых объектов для информационных материалов на вашем веб-сайте.

[FEAN Call to Action Series. Knowledge Sharing is a Mission Imperative: Why We Cannot Afford to Keep Evaluation Findings to Ourselves and How We Can Do Better]. FEAN. 2020.

Данные для описания социального воздействия

Институт социальных исследований и действий графства Канаваха (Kanawaha Institute for Social Research & Action, KISRA), НКО, располагается в штате Западная Вирджиния, США.

Предоставляет возможности трудоустройства, обучения и другие услуги детям и семьям.

Сначала организация собирала данные, особо не задумываясь, зачем она это делает, просто копируя методы других НКО. Но как-то журналистка задала неожиданный вопрос о том, как организация описывает ценность своих программ; что будет, если вычеркнуть KISRA из жизни местного сообщества?

Carl Chadband, руководитель организации, мог рассуждать на тот момент только в терминах индикаторов для трудоустройства, о почасовой оплате, присутствии и т.д., но не задумывался о том, как рассказать о той ценности, которую создает организация. С этого момента организация начала анализировать информацию и фиксировать показатели.

Развитие подхода началось с изучения данных переписи населения. В сравнительных целях и для более точной демонстрации ценности услуг организации использовались различные консервативные цифры по здоровым детям из отчета по штату Западная Вирджиния.

На следующем этапе предстояло понять, какие из данных нужны для разных аудиторий – доноров, жертвователей, других стейкхолдеров, потому что невозможно и бессмысленно сообщать всем аудиториям все имеющиеся данные. Организация отказалась от идеи одного отчета для всех с типичным описанием создаваемой ценности. Было понимание, что нужно адаптировать набор данных для каждой аудитории разных сообщений.

НКО, как правило, вынуждены много о себе рассказывать. Но для того, чтобы собрать эффективные данные, НКО научилась слушать клиентов, которым она оказывает услуги; сообщества, с которыми она работает; доноров – для того, чтобы понять, что они все хотят. С пониманием их мотиваций приходит понимание, хотят ли услышать они точные цифры или эмоциональную историю. Или они хотят поддерживать отношения, или знать о детях, чью жизнь изменила программа; или о семьях, которые НКО хочет укрепить.

Во всех случая это должна быть история, но каждый раз наполненная разными данными. Например, вы хотите раскрыть всю сложность проблемы, связанной с темой осужденных. На протяжении времени вы собираете сведения о переполненности тюрем, об исправительных учреждениях, повторных судимостях, проблеме воспитания детей осужденных, стоимости содержания и прочих сопутствующих расходах и представляется эти данные в одном документе – целый клубок проблем, которые имеют денежное выражение и серьезно обременяют государственный бюджет. Такая подача будет понятна чиновнику, а простого слушателя вдохновят реальные истории, которые  сами становятся аргументами для поддержки.  

Когда организация располагает разными данными о своей деятельности, это придает ей большей уверенности во взаимоотношениях с новыми партнерами, которых можно убедить фактами о результатах деятельности.

Источник: Рhilanthropy

Реальная стоимость

Международный комитет спасения (The International Rescue Committee) oснован группой интеллектуалов под предводительством Альберта Эйнштейна в 1933г. для оказания помощи евреям, спасавшимся из нацистской Германии.

Штаб-квартира – Нью-Йорк, США. Бюджет организации в прошлом году составил $744 млн. В IRC работают 13 тыс человек. В 2013 году, когда David Miliband возглавил организацию, ее доход составлял $456 млн. В 2018 году — $744 млн. Основной источник дохода – государственные контракты, доля вложений от компаний, фондов и частных лиц уверенно растет. В прошлом году Комитет занял 67-ое место в рейтинге Chronicles 100 благотворительных организаций,  привлекших наибольшие частные пожертвования.

David Miliband, сын беженцев во время Второй мировой войны, известный марксистский социолог, получил образование в Оксфорде и MIT, в молодости был многообещающим политиком, членом Лейбористской партии, служил одним из первых советников Премьер-Министра Тони Блэра в качеств министра экологии и министра иностранных дел.

Комитет оказывает помощь десяткам миллионов беженцев во всем мире. Доставляет воду и пропитание в Йемен, переживающий худший гуманитарный кризис во всем мире. Содержит больницы в Сирии, школы для детей народа Рохинджа в Бангладеш, раздает наличность без дальнейших обязательств беженцам из Венесуэлы в Колумбии. Предоставляет психологические консультации и юридическую поддержку жертвам, пережившим сексуальное насилие в Демократической республике Конго, где царят военный конфликт, экономический коллапс и эбола. Тем счастливчикам, которым удалось добраться до США, IRC оказывает услуги по адаптации, включая временное жилище, уроки английского, подготовка к трудоустройству и займы для малого бизнеса.

Но насколько в действительности значима эта масштабная и разносторонняя работа, которую выполняет Комитет? Каким образом организация, работающая зачастую в условиях чрезвычайной обстановки, может реально оценить, ведет ли ее деятельность к каким-либо изменениям? В мире порядка 68 млн человек, которым требуется срочная помощь – гуманитарным организациям крайне необходимо становиться результативными и эффективными. Однако гуманитарные организации разрозненны и редко оперируют доказанными практиками.

David Miliband, исполнительный директор IRC, считает, что эффективной системы оказания помощи беженцам и перемещенным лицам в данный момент не существует. Систему гуманитарной помощи следует реформировать, она должна стать более результативной и экономически оправданной.

В разделе «влияние» или «результаты» на сайтах большинства гуманитарных организаций можно найти либо истории людей, которым помогли, либо цифры, которые особенно ничего не сообщают (даже если это «миллионы детей в нашей программе оздоровления»). НКО редко сообщают о реальном изменениях. Детей лечили, но стали ли они здоровее? Школы построены, но учатся ли дети? И, немаловажно, во сколько обошлись эти программы? Ответов чаще всего нет.

Очень мало гуманитарных программ прошли строгую оценку – их цифра теряется на фоне тысяч оценок глобального здравоохранения и программ по борьбе с бедностью, которые проводят в стабильных странах. За отсутствием надежных данных, мир гуманитарной помощи оперирует допущениями, опытом и интуицией вместо результатами исследований, фактами и свидетельствами. Начать менять существующее положение дел означает, отказаться от подсчета непосредственных результатов и перейти к отслеживанию согласованных результатов – от количества распределенных учебников к как изменилось благополучие или обучение? И далее – нужно понять, как добиться этих результатов наиболее экономичным образом.

Типичная картина для лагеря беженцев: караван грузовиков с мешками еды, одеялами, одеждой, палатками, водой. Многие исследование говорят о том, что есть способ помощи лучше: раздать беженцам наличные деньги. Если это сделать правильно, помощь доходит до беженцев быстрее, и она эффективнее, чем натуральная помощь. Эти деньги еще и вклад в местную экономику, это делает беженцев более привлекательными для принимающей стороны.

Первое исследование, сравнившее положение беженцев, которым были вручены наличные деньги, с теми, кто их не получил, IRC провел в Ливане в 2014 году- результаты были удивительными. Тех, кто получил наличность, отказались от детского труда, их дети стали посещать школу, доллары простимулировали местную экономику.

Как часть пятилетней стратегии, Miliband обещал, что к 2020 году программы IRC либо начнут оперировать доказательствами, либо уже будут привычно собирать данные о работающих практиках. Комитет близок к намеченной цели.

Первым в мире Комитет провел рандомизированное контролируемое исследование программ родительства и социально-эмоционального обучения в пост-конфликтных зонах и с беженцами. Список примеров можно продолжить, но основное – наличие массы данных и свидетельств привлекает больше доноров.

Комитет также пообещал улучшить учет расходов, но на деле оказалось сложной задачей. Организация разработала инструмент, позволяющий подсчитать стоимость программы для клиента, он используется сегодня в 12 странах присутствия. Предполагается, что в случае, если эта стоимость превысит $100 на одного клиента, в предложении будет обоснование высокой стоимости (текущая медиана — $46, 30% текущих проектов превышает порог $100 на одного клиента).  Ведется работа по разработке более осмысленного метода подсчета стоимости услуги, оказываемой одному клиенту. Все данные будут публиковаться и предоставляться донорам, это в русле существующей общей практики глобальных НКО.

Под руководством David Milliband Комитет продолжает аналитическую и исследовательскую работу, накапливая лучшие, доказанные практики в сфере образования, здоровья и безопасности, которые можно будет адаптировать; находится в поиске снижения стоимости программ, чтобы помочь большему числу людей. Эти знания Комитет использует для убеждения доноров и бюрократов, привлечения средств и создания институциональных синергии. 

Исследования, которые проводит Комитет импонируют многим — правительству США, европейских агентствам, ООН. Правительственная гуманитарная помощь редко оперирует свидетельствами доказанного влияния: доноры много говорят о необходимости оценки на основе доказательств, но они редко их требуют на самом деле. 

Бизнес и фонды увеличили размеры своей поддержки Комитета. Доля поддержки со стороны частного сектора увеличилась с 15% в 2014 до 32%.

Источник: Рhilanthropy

Отчетность по социальному воздействию и сотрудники НКО

В своей работе Джулия Морли (Julia Morley), доцент кафедры бухгалтерского учета London School of Economics,

выдвигает гипотезу о том, что на самом деле многие некоммерческие организации вынуждены в своих внешних коммуникациях переходить на язык, больше характерный для бизнеса, чем для некоммерческого сектора. И делают они это потому, что есть необходимость обосновывать полезность и результативность деятельности благотворительных организаций, которые от этого бизнеса получают финансирование.

Для развития и подкрепления этой гипотезы ученая провела небольшое исследование и опросила 26 сотрудников 25 социальных предприятий и благотворительных организаций. Кратко результаты этого исследования можно суммировать следующим образом.

Первое. Требование предоставить сведения или даже целый отчет в концепции и терминах доказанного социального воздействия исходит от мира социальных инвестиций, оно вызывает определенного рода стресс, напряжение и внутреннюю диссоциацию у сотрудников благотворительных организаций, которые не только им не владеют, но которым он глубоко чужд и не свойственен.

Сотрудники НКО чаще всего работают в этих организациях в силу своих убеждений и представлений о своем предназначении в обществе, их выбор организации совершенно не случаен, поэтому перемена тональности и стилистики во внешних коммуникациях этой организации (а именно – переход с эмоциональных сообщений, личных историй на сухой язык и изобилие количественных данных) переживается ими как определенный разрыв с первоначальным пониманием смыслов, моральных ценностей, социального служения и т.д. Другими словами, эти «политические» изменения влияют на самоидентификацию сотрудников и делают это не в самом позитивном ключе, в частности демотивируют их. 

Похожие процессы во внутренней сфере НКО происходят и в тех случаях, когда новые практики лишь декларируются организацией, на вооружение берется лишь новый язык социального воздействия, но в реальной организационной практике НКО ничего не меняется, или когда новые практики адаптируются организациями не в полной мере или внедряются неверным способом (по разным причинам, в том числе и в силу отсутствия финансов).

Второе. Благотворительные организации и социальные предприятия могут, предположительно, взять на вооружение новую практику отчетности о социальном воздействии, однако совершенно неочевидно, что это повлияет на распределение ресурсов – ведь цели отчетности социального воздействия «насаждаются» сверху и не согласуются с целями  организации (аналогичный процесс произошел в сфере образования, где рейтинги оказывают неправомерное давление, а попытка улучшить показатели рейтинга может означать отказ от хороших проектов).

По аналогии с «зеленой агитацией», которой занимаются некоторые компании, некоторые НКО занимаются «бизнес агитацией», как они объясняют, под давлением рынка, намеренно искажая достигнутое воздействие, сигнализируя таким образом о принятии бизнес-логики, но не имея реального намерения оценивать свою эффективность.

Другими словами, примеры НКО действительно способных самостоятельно, независимо от своих инвесторов воспринять идеи отчетности о социальном воздействии, внедрить их в организации и безболезненно перейти на язык отчетности о социальном эффекте маловероятны.

Вместе с тем, пишет автор статьи, даже символическое использование нового для сотрудников НКО языка отчетности о результатах деятельности с использованием экономической и финансовой терминологии имеет на них негативное влияние с точки зрения мотивации и личной идентификации. Даже если при этом организация ничего не меняет в своей практике. Даже если этот тип отчетности используется просто как средство удовлетворения интересов стейкхолдеров и внутренне не принимается организацией.

«Экономия денег налогоплательщиков» по-разному резонирует с внутренней мотивацией сотрудников, может не быть их намеренным выбором, в то время как они вполне готовы «изменить жизнь человека к лучшему». Если это так, то самая простая «бизнес агитация» благотворительными организациями и социальными предприятиями будет иметь негативный эффект на мотивацию персонала уже на уровне сдвига в дискурсе.

Источник: Static1.squarespace

Charity Navigator начинает измерять результаты, а не затраты

Как известно, до сих пор Charity Navigator оценивал эффективность НКО только по финансовым показателям и видам подотчетности.

По мнению некоторых, это вело к определенной переоценке значимости непрямых расходов, включающих зарплаты, расходы на фандрайзинг и аренду. Многие считали это плохим методом оценки эффективности НКО.

При поддержке фонда Билла и Мелинды Гейтс Charity Navigator приобрел ImpactMatters — организацию, которая предоставляет донорам сведения и помогает им понять, какая из НКО достигнет максимально возможного результата наиболее экономичным способом. Фонд Гейтс помог также обновленному рейтингу развить критерий оценки влияния. Рейтинг, таким образом, начнет оценивать что-то более важное, чем простое соотношение доли непрямых и программных/прочих расходов. По мнению некоторых НКО, функционал рейтинга Charity Navigator не просто расширяется, а в корне меняется.

ImpactMatters относительный новичок в деле рейтингов НКО, до этого сравнивала между собой только НКО, работающие в одной сфере, относительно полученных организациями результатов на каждый вложенный доллар пожертвования.

Обновленный рейтинг Charity Navigator  присваивает 60% веса достигаемому НКО социальному воздействию и 40% — финансовым показателям и отчетности. Со временем вес финансовых показателей будет снижаться, он никогда не исчезнет, и на данный момент общественность все еще хочет видеть финансовые отчеты.

Charity Navigator увеличит число рейтингуемых благотворительных организаций с учетом показателей социального воздействия, это потребует расширения штата, что не входит в ближайшие планы организации. Некоторые функции оценки социального воздействия  будут автоматизированы, если НКО предоставят необходимые данные. Оценка социального воздействия  — более трудоемкое занятие, чем финансовые сведения и данные о подотчетности, которые можно получить из единой налоговой системы.

Определенные типы НКО сложно измерять с точки зрения социального эффекта. Так, ImpactMatters не оценивает членские или религиозные НКО – экономичность не является основным стимулом для их жертвователей. Не оцениваются правозащитные НКО и занимающиеся научно-исследовательской деятельностью.

Обновленный подход рейтинга будет способствовать тому, что НКО начнут предоставлять данные для получения баллов социального эффекта, и все больше доноров начнут доверять этим данным. Какие-то сведения о социальном эффекте можно найти на сайтах НКО, например, финансовые отчеты. Какие-то данные НКО публикуют отчеты социального воздействия. ImpactMatters уже начал разработку специального портала для сбора и обработки данного типа данных НКО. Если данные окажутся прикладными с точки зрения фандрайзинга, больше НКО будут готовы делиться данными о своем социальном воздействии.

Источник: Рhilanthropy