Позитивные изменения. Том 2, № 1 (2022). Positive changes. Volume 2, Issue 1 (2022)

Monitoring and Evaluation Consultant, member of the Board of the Russian Evaluation Association, former President of the International Organization for Cooperation in Evaluation (2013–2014)

The word "outcome” in social designing means a change that has occurred due to some activities of a project, but is already beyond its control. It's like when you give a man a fishing rod, but you cannot make him start fishing. But if he puts out a rod and line, it means the project is a success and the designers have achieved the desired outcome.

Outcome Mapping is based on systemic, or perhaps even ecosystemic approach. A team of project executors is a system in itself. People, groups, and organizations with which it interacts directly are situated on its outside borders. In the terms of Outcome Mapping method, they are called "boundary partners”, or a project's immediate partners.

A team of project executors is a system in itself. People, groups, and organizations with which it interacts directly are situated on its outside borders.

Creating a map of behavioral change implies holding one or several meeting in order to devise a system for monitoring and assessment as well as the plan of the project itself. Outcome Mapping process has three stages.

STAGE 1. FROM MISSION TO STRATEGY

The first stage involves coming up with a vision or a mission of a project, and identifying all groups and organizations with which the project will be in direct contact. A separate description is created for each of such group or organization, including a note on how its behavior must change as a result of the project's implementation. The IDRC method calls such descriptions “outcome challenge”, or, in other words, expected changes.

Then the team compiles a list of “progress markers” for each partner. This list includes specific changes in behavior that can be observed due to the project's impact. All these behavioral changes are spread across the scale that at the same time measures the comparative value and the probably of the expected changes actually happening according to project designers: “we expect to see”, “we would like to see” and “we would love to see”. It is obvious that such scale is very emotionally loaded, which is its distinctive advantage. After all, social projects involve people giving their hearts with a sincere desire to change something for the best, and it is a good thing when a planning method allows people to openly express their feelings.

A separate description of behavioral change is created for each group or organization. The IDRC method calls such descriptions “outcome challenge”.

Then the project creators define strategies for ensuring the desired changes and specific working principles that the project will adhere to. This is an interesting feature of the method: it implies right from the start that as the project proceeds, the authors will need to adjust their actions based on the data provided by monitoring and assessment system.

* * *

An example of progress markets for desired changes in behavior of local communities as an outcome of Model Forest program.

OUTCOME CHALLENGE

The program intends to see local communities that recognize the importance of, and engage in the planning of resource management activities in partnership with other resource users in their region. These communities have gained the trust of the other members of the partnership and the recognition of government officials so that they can contribute constructively to debates and decision-making processes. They are able to clearly plan and articulate a vision of their forest management activities and goals that is relative to their context and needs. They call upon external technical support and expertise as appropriate. They act as champions for model forest concepts in their communities and motivate others in the partnership to continue their collaborative work.

PROGRESS MARKERS

Expect to see local communities:

1. Participating in regular Model Forest (MF) partnership meetings.

2. Establishing a structure for cooperation in the partnership that ensures that all local interests are represented (mechanics of setting up the structure).

3. Acquiring new skills for involvement in the MF.

4. Contributing the minimum human and financial resources necessary to get the MF operational.

Like to see local communities:

1. Articulating a vision for the MF that is locally relevant.

2. Promoting the MF concept and their experiences with MFs.

3. Expanding the partnership to include all the main forest users.

4. Calling upon external experts when necessary to provide information or meet technical needs.

5. Requesting new opportunities for training and extension.

6. Producing and disseminating concrete examples of benefits arising from MF examples.

7. Identifying opportunities for collaboration with other institutions and actors.

8. Identifying opportunities for, and successfully obtaining funding from a range of sources.

Love to see local communities:

1. Playing a lead role in resources management with view to long- and medium-term benefits.

2. Sharing lessons and experiences with other communities nationally and internationally to encourage other MFs.

3. Influencing national policy debate and policy formulation on resource use and management.

STAGE 2. MONITORING SYSTEM

The second stage in Outcome Mapping focuses on developing the monitoring system. The team sets up a working plan regarding the monitoring which identifies the actors, the methods and the timings of gathering information on progress markers, as well as who and how will use this data. At this stage, project authors create three journals based on offered templates: for monitoring changes among partners, for strategy implementation, and for the activities that are being conducted in accordance with the chosen principles.

The Outcome Mapping method can be considered very human-centered, because all of its descriptions are focused on human activities and on their emotional evaluation. Meanwhile, neuropsychologists claim that a human brain finds it most comfortable to operate within the categories of action, and the brain in general is tailored to observe other people.

STAGE 3. PROJECT ASSESSMENT PLAN

The third stage is coming up with a plan for project assessment. At this stage, project designers decide on who and how will use the assessment results, what questions need answering, who and how will collect the data required for evaluation, the timeframe for assessment process, and the related costs. A detailed assessment plan does not necessarily need to be devised immediately during project planning, it can be done on course of its implementation.

The Outcome Mapping method can be considered very human-centered, because all of its descriptions are focused on human activities and on their emotional evaluation. Meanwhile neuropsychologists claim that a human brain finds it most comfortable to operate within the categories of action, and the brain in general is tailored to observe other people. Over the past twenty years since the method was was developed, a whole community of users has grown around it.

Unfortunately, Outcome Mapping failed to get traction among the Russian users. One possible reason is that the IDRC never had any presence in our region. The community website does not have any publications in the Russian language. It is hard to find an organization in Russia that would be interested in trying out the method, because monitoring and assessment consultants are usually invited then the project is at least has already been developed and has received funding.

Up to this day, many NGOs consider filling out an application form for a grant as the primary method for project development. A situation when an organization first develops a project, and only then fills in the application, is often frowned upon. But in the future this may change.

Outcome Mapping, or creating maps of behavioral changes, can prove useful in many ways. Let's imagine a project that is aimed at social integration of teenagers. How can we assume that the integration has in fact taken place? If we make a description of what behavioral models are typical of socially integrated and non-socially integrated teenagers, it may help us come up with a system of measurement. Therefore, Outcome Mapping method would be of great help to any organization that deals primarily with people and that aims to make the world a better place through the behavior of the people who inhabit it.

Further reading:

• the first guide to Outcome Mapping (in English);

https://clck.ru/eBYAz

• website of the community that uses this method.

https://clck.ru/eBYBN

«Универсальная линейка» оценки социального воздействия: подход Глобальной сети импакт-инвесторов

Елена Авраменко

DOI 10.55140/2782-5817-2022-2-1-22-43

У представителей менеджмента и инвесторов часто возникает вопрос: а существует ли в мире унифицированная, опробованная и широко распространенная методика оценки социально-экономического воздействия некоммерческих проектов? Вопрос закономерный, ведь каждый проект имеет широкое, многофакторное и нередко уникальное воздействие. Как уложить все это многообразие в стандартную схему оценки? И можно ли, выразив результаты нескольких проектов в денежном эквиваленте, получить показатели, сравнимые между собой? Оказывается, можно, при помощи систематизированной методологии, созданной организацией Global Impact Investing Network.

Елена Авраменко

Эксперт проекта «Разработка модели оценки социально-экономического воздействия НКО» фонда GLADWAY, мастер Lean 6 Sigma уровня Green Belt

МЕТОДОЛОГИЯ GIIN: ИСТОРИЯ СОЗДАНИЯ И ОСНОВНЫЕ ПРИНЦИПЫ

В последнее десятилетие потребность в стандартизации методологии оценки социальных проектов ощущается особенно остро. Конечно, инвесторы давно научились замерять количественные результаты проекта: количество рабочих мест, объем предоставленных услуг, число обученных бенефициаров и т. п. Но для полноценной оценки, охватывающей весь комплекс полученных результатов воздействия, необходима стандартизированная и принятая всеми методология. Первым шагом к созданию такой методологии стали наборы метрик «Цели устойчивого развития ООН (ЦУР)», «Стандарты импакт-инвестирования и отчетности GIIN (IRIS)» и Impact Management Project.

Источник: GIIN. The State of Impact Measurement and Management Practice.

Первую систематизированную методологию, демонстрирующую новый подход к оценке импакта, предложила организация Global Impact Investing Network (GIIN, Глобальная сеть импакт-инвесторов). Эта организация была создана в 2009 году и представляет собой крупное объединение социальных инвесторов со всего мира. В нее входит более 2000 участников. Идею создания сети, способной координировать усилия социальных инвесторов, впервые выдвинул Фонд Рокфеллера. После ряда обсуждений эта идея вылилась в создание GIIN. К настоящему моменту в состав учредителей GIIN входят Oxfam и Shell Foundation, Royal Bank of Canada, Министерство международного развития Великобритании, Министерство иностранных дел Нидерландов, Big Society Capital, BNP Paribas, Credit Suisse, Deutsche Bank, JPMorgan Chase, Morgan Stanley, National Australia Bank, Standard Chartered Bank, UBS, Международная финансовая корпорация, Сеть Омидьяра, Фонд Билла и Мелинды Гейтс, Фонд Рокфеллера, Фонд Сколла, Фонд Форда, фонд «Наше будущее», Accion, Acumen, Gray Ghost Ventures, Oikocredit, Root Capital, Triodos и другие. Штаб-квартира Global Impact Investing Network находится в Нью-Йорке, США. Финансирует деятельность организации в основном Фонд Рокфеллера, но есть поддержка и других инвесторов.

Главные направления деятельности GIIN:

• пропаганда инвестиций социального воздействия;

• объединение игроков рынка инвестиций социального воздействия;

• создание базы знаний по рынку инвестиций социального воздействия Impact Base;

• разработка методики оценки социального эффекта инвестиций, воздействия и стандартов для этой сферы (англ. Impact Reporting and Investment Standards, IRIS).

Методология оценки социального воздействия, которую предложила Global Impact Investing Network (GIIN), создана по образцу методологии оценки финансовых показателей в бизнес-инвестициях. К разработке этой методологии были привлечены сообщества инвесторов, ученых, специалистов по мониторингу и оценке и других участников, стремящихся продвинуть практику инвестирования для достижения социальных или экологических целей. Данная методика официально опубликована GIIN и открыта для обсуждений и дополнений. Разработчики считают, что дальнейшие обсуждения могут расширить и укрепить принципы методологии.

Оценка социального воздействия по методологии GIIN базируется на замере разных типов результатов — от промежуточных до конечных (см. таблицу 1).

Методика рассматривает результаты проектов в концепции запасов и потоков, которая обычно используется в экономической теории и теории бухгалтерского учета.

Запасы — количество определенного результата, достигнутого к определенному моменту времени (t1), отражающее масштаб, глубину и характер этого воздействия. Анализируя результаты воздействия, полученные к определенному времени, инвесторы могут понять относительную эффективность инвестиционных возможностей в конкретный момент времени, оценить базовый уровень эффективности до осуществления инвестиций и задать ожидания эффективности соответственно базовому уровню.

Потоки — изменение результатов воздействия в течение определенного периода времени (t1–0). Такой подход позволяет инвесторам сравнить объем изменений, достигнутых в результате конкретного транша инвестиционного капитала или комплекса мероприятий, включающих продукты, услуги или деятельность объекта инвестиций. Таким образом, инвесторы могут лучше сопоставить показатели своих инвестиций и портфеля с показателями аналогичных портфелей за тот же период времени, а также с темпами изменений, необходимых для достижения заданных социальных или экологических целей.

В некоторых случаях показатели запасов в определенный момент времени могут подразумевать большую производительность или потенциал данной инвестиции.

Рассмотрим три проекта: А, В, С. К определенному моменту времени t1 по каждому проекту достигнуты результаты At1, Bt1, Ct1. Пусть соотношение результатов будет таким, как показано на рисунке выше, где At0, Bt0, Ct0 — значения показателей на момент старта проектов. Мы видим, что Bt1 больше, чем At1, но меньше, чем Ct1, и на уровне запасов это указывает на больший потенциал проекта С. Однако если мы оценим потоки или изменения показателей, то увидим другое относительное положение вещей: AB больше, чем AC, но меньше, чем AA. Это значит, что проект А имеет больший эффект воздействия на свой показатель с течением времени. Это также позволяет оценить направленность результатов: хотя At1 остается отрицательным, AA указывает на положительное воздействие, учитывая, что At1 движется в положительном направлении относительно At0. Например, выбросы парниковых газов являются негативным воздействием, но сокращение этих выбросов представляет собой положительный результат. Обратную ситуацию мы видим по результату проекта С: его поток отрицательно направлен, значит, следует ожидать снижения показателя с течением времени.

В зависимости от цели анализа эффективности воздействия эта методология может применяться для понимания запасов или потоков.

ПРИНЦИПЫ МЕТОДОЛОГИИ GIIN:

1. Строгость. Методология должна генерировать статистически обоснованные, учитывающие контекст выводы о положительных и отрицательных социальных и экологических результатах, связанных с инвестициями воздействия.

2. Независимость. Методологический выбор и анализ будут основываться на данных третьих лиц и статистических данных в той степени, в которой такие данные доступны.

3. Воспроизводимость. Учитывая одинаковые исходные данные, любая организация, использующая эту методологию, придет к одинаковым результатам и выводам.

4. Прозрачность. Все методологические решения и допущения будут задокументированы и опубликованы в открытом доступе, документ также будет открыт для обсуждения и комментариев общественности.