Помоги проекту - поделись книгой:
As mentioned earlier, one of the stages in the development of a profession is a professional standard. Why do we need a professional standard in any activity? As noted in Decree No.23 of the Russian Government dated January 22, 2013 professional standards are applied[19]: in developing the personnel policy, preparing job descriptions, in developing vocational education programs and standards.
According to Alexey Kuzmin, an attempt was made in 2015 to develop a professional standard for a specialist in program and policy evaluation in the social sphere. It was initiated by an independent business expert, Alexander Ovchinnikov. The application for development was registered at the Ministry of Labor of Russia website. A working group was established, including representatives of Process Consulting Company and ASPPE, basic research and analysis of the professional activities were conducted, the first draft of the professional standard was developed, and a public discussion took place; however, the work on the document was halted at some point, and the professional standard was not approved by the Ministry.
“I think it is a little premature to develop such a professional standard today. There is no profession yet, it has not yet been established. The big picture, as seen by the Ministry of Labor, still lacks both supply and demand for this profession,” Alexey Kuzmin explains.
Natalia Kosheleva suggests that the ministry’s job was to develop professional standards for basic professions, something that a program and policy evaluation specialist clearly isn’t so far.
“The Ministry of Labor had different expectations at the time, and it had a mission to cover all mass occupations. Ours is definitely not one of those. I think that was the reason. But the standard may indeed emerge at some point, as the profession develops further. When we gain enough visibility for the state to decide we need regulation. It’s like the story of licensing all kinds of activities. To be seen, there must be a lot of you,” says Natalia Kosheleva.
The National Council for Professional Qualifications under the President of the Russian Federation also reviews drafts of professional standards in Russia. Based on the National Council’s conclusions, a decision is made to approve professional standards. As explained by Artem Shadrin, General Director of the National Agency for the Development of Qualifications, when developing a professional standard, it is important not to duplicate existing ones, approved under a similar name. It would be good to get the support of some reputable organizations working in this area, as well as the relevant federal ministry, which would confirm the need for developing such a document.
Once a professional standard has been approved by the Ministry of Labor of Russia, it is then sent to the National Council for Professional Qualifications under the President of the Russian Federation. If approved by the National Council, which represents leading employers’ organizations, such as the Russian Union of Industrialists and Entrepreneurs, the Chamber of Commerce and Industry, trade unions and federal ministries, the standard is then enacted by order of the Ministry of Labor and registered with the Ministry of Justice.
Why does the professional standard story remain unfinished? What could be the reasons?
“First, the Ministry of Labor may see no need for such a professional standard. This is a classic unsolved problem. For example, as for a director per se, there is no such professional standard, and the ministry believes that it is not necessary. Likewise, there is no professional standard for an entrepreneur. On the one hand, this doesn’t seem like a job function; but, on the other hand, it can be considered a type of professional activity. The Ministry of Labor has not yet agreed to develop a professional standard for this activity,” Artem Shadrin says.
He explains it may also happen that an initiative group tasked with developing a professional standard fails to have it approved by the relevant ministry, or the project might not win support from professional associations.
“You cannot get a standard approved without a consensus in the professional community. That’s the challenge: developing a professional standard is a search for touching points. Its development is a long story, but nevertheless, nothing is impossible. As long as there is a desire and support from the relevant ministry, which is always important,” Artem Shadrin adds.
The American philosopher Thomas Schwandt wrote an article in 2017, in which he outlined the need to discuss the ethos of evaluation[20]. That is, the lifestyle of a social group that associates itself with evaluation. According to him, right now, most of the professional community is just talking about competencies and training. Specifically, he writes:
“…Most glaring is the lack of active discussion about what professionalism in evaluation means and what the profession itself seeks to bring to the society.”… “The critical question for the global evaluation community is how that community understands its role in relation to its clients and the society at large.”
What do members of the Russian program and policy evaluation community think about this, and how would they answer the question posed by Thomas Schwandt?
“To me, the profession of an evaluator means objectivity and a competent approach to management decision-making. Because evaluation is based on the principle of triangulation. Before you make any decisions, you have to consider your issue from different perspectives. There is triangulation by attribute, by method, by data source. You cannot make a decision based on any single fact,” Alena Bogomolova reasons.
Irina Efremova-Garth believes that evaluation gives the public a sense of confidence in the quality of management and the appropriate level of effectiveness of the programs implemented by the state, a company, or a nonprofit organization.
“If we talk about the nonprofit sector, the focus is often on how many projects have been supported, how many beneficiaries are covered, and how many grants have been awarded. These are important indicators, but they don’t give us any information about what changes are taking place because of that nonprofit’s work. At best, these numbers only describe the grant manager’s performance. But they do not explain how our lives or the lives of certain groups change for the better,” the expert says.
When you have the evidence base and can show what actions have been taken to address a social problem and what their effect was, this is a highly valuable step, because it helps build confidence in the society.
Irina Sinelina of the International Labor Organization believes that the public benefit provided by evaluation is the accountability in the use of money.
“The ILO, as an international organization, uses taxpayers’ money that comes from different countries. Evaluation is an opportunity to understand how well the funds were spent, and how they can be spent better in the future, how the projects can be improved, and how change can be effected. We collect data, we learn, we study the degree of usefulness of our activities. This knowledge guides our future decisions”, Irina Sinelina explains.
Natalia Kosheleva agrees that evaluation helps use resources more effectively to improve people’s lives. She recalls that evaluation of social projects and programs originated in the United States and was first used in projects aimed at fighting poverty and overcoming social inequality.
“Globally, evaluation is about improving the lives of the most vulnerable people. When I began to specialize in evaluation, I realized it was really an analysis that allowed me to improve the quality of the program. It is a tool for informing your actions, learning from experience, and improving from empirical data. After all, this is not just any evaluation: this is about evaluating social projects, ensuring a more efficient use of resources and a higher effectiveness of social projects,” she says.
The profession of evaluator will certainly be in demand in the future all over the world, the experts agree. “It’s already the gold standard in the public and private sector,” Irina Sinelina says.
“Evaluation has everything it takes to become a profession, and it will certainly become one. But this will be the result of an evolutionary process, through accumulation of knowledge, understanding of the reasons why it is needed, the growing demand for evaluation professionals, establishment of a community that can raise those professionals, and the emergence of educational products,” Marina Mikhailova forecasts.
The future is often associated with artificial intelligence. “Who is a project and program evaluator?”, we asked ChatGPT. This is what the AI told us: “A project and program evaluator is a professional expert engaged in assessing the value of projects and programs. He or she can work in various sectors of the economy, as well as in the legal market. To be successful, the professional needs to be educated and experienced in financial analytics, be able to work with various forms of assets, to develop valuation models, analyze information, and produce recommendations on improving property values.”
As we can see from this definition, the neural network does not yet understand the difference between a property evaluator and a project and program evaluator. This means that the Russian professional community still has a lot of work to do to make itself known. After all, the profession is still in its infancy. And it still has a long journey ahead, building the demand, ensuring full employment of specialists, setting up professional training schools, developing and approving professional standards, the code of ethics, and establishing an image for itself. As they say, time will tell how the professionalization of evaluation will develop and whether artificial intelligence can compete with it.
Оценка в настоящем и будущем: взгляд грантодающих организаций
Ирина Ефремова-Гарт, Татьяна Печегина
DOI 10.55140/2782–5817–2023–3–1–28–33
Какие значимые изменения произошли в 2022 году в сфере оценки в целом и в практике проведения оценки в грантодающих организациях? Каким вопросам стоит уделить внимание профессиональному сообществу в 2023 году? Редакция журнала «Позитивные изменения» спросила об этом представителей Форума Доноров – ассоциации крупнейших грантодающих организаций, системно занимающихся благотворительностью, и чья работа направлена на повышение прозрачности фондов и НКО.
Ирина Ефремова-Гарт
Татьяна Печегина
В современном обществе в последние годы происходит трансформация социальной сферы – все чаще стали говорить о социальном воздействии, качественных изменениях в обществе и эффективных результатах реализации соответствующих проектов и программ.
2022 год продемонстрировал реальный потенциал и пользу оценки. На сегодняшний момент доноры рассматривают ее как инструмент, позволяющий сделать выводы об эффективности поддержанной или самостоятельно реализованной проектной деятельности. При этом у большинства уже есть понимание, что оценка – это в первую очередь источник информации для разработки дальнейшей стратегии: развитие или прекращение проектной деятельности, сонастройка с меняющимися внешними условиями, обеспечение устойчивости имеющихся позитивных изменений и возможности тиражирования технологий, успешно прошедших стадию пилотирования.
Неизменно растет число доноров, умеющих описывать ожидаемые результаты программ в измеряемых и конкретных формулировках, с привязкой к определенному сроку. Еще одним качественным изменением стала практика разработки цепочки результатов: от немедленных к долгосрочным, что позволяет отследить последовательность позитивных изменений, которые происходят во внешней среде благодаря поддержке донора.
Всё чаще стал встречаться гибридный подход к процессу оценки, когда сторонние эксперты участвуют в разработке методологии, анализе данных и выработке рекомендаций, а сбор информации, интерпретация данных, презентация результатов коллегам и контроль за процессом их использования остается за заказчиком. Ранее внешние специалисты привлекались преимущественно на полный цикл.
Что касается использования донорами результатов оценки, то чаще всего они направлены на повышение эффективности программной деятельности. Чуть реже их применяют для пересмотра целей программы или направлений деятельности, зафиксированных в программных портфелях. Наиболее серьезным был скачок, произошедший за последние несколько лет, в использовании результатов оценки для уточнения стратегических приоритетов. Сегодня для этой цели ее используют подавляющее большинство крупных донорских структур, то есть она становится не только инструментом оперативного, но и стратегического управления благотворительной деятельностью и социальными инвестициями.
Еще одним трендом, оформившимся в течение 2022 года, стало внимание доноров к оценке институционального развития НКО. Все чаще они оказываются готовы инвестировать в укрепление и развитие организационного потенциала НКО, а не только в проектную деятельность, поскольку очевидно, что сильные проекты не может делать слабая организация. Но и в вопросе финансирования проектов доноры стали обращать внимание на уровень организационной зрелости потенциальных партнеров и грантополучателей из числа некоммерческих организаций. Как отстроены процессы стратегического планирования и управления операционной деятельности, процессы фандрайзинга, внешних и внутренних коммуникаций, управления человеческими ресурсами и их развитием – все это является крайне важным. При этом оценка может быть проведена как самим донором или нанятыми им внешними экспертами, так и НКО, претендующей на получение финансирования. Это не только вносит вклад в формирование культуры оценки в НКО, но помогает ей определить зоны своего организационного развития.
Важно отметить, что до сих пор многие организации ошибочно считают социальный эффект от реализации программ синонимом оценки социальных результатов. Эти понятия, безусловно, взаимосвязаны. Социальный эффект – это изменения в сообществе и качестве жизни благополучателей, которые могут произойти благодаря достижению запланированных социальных результатов. В связи с этим особую важность приобретает умение декомпозировать цели благотворительных инициатив со стратегического уровня до проектного. Еще один важный признак оценки социального эффекта – возможность отнести происшедшие изменения на счет программы. Но, к сожалению, методологию сбора данных, позволяющую доказательно подтвердить это, пока используют лишь единицы.
Неизменно растет число доноров, умеющих описывать ожидаемые результаты программ в измеряемых и конкретных формулировках, с привязкой к определенному сроку. Еще одним качественным изменением стала практика разработки цепочки результатов.
Результатом сформировавшихся в 2022 году трендов, а также требующих оперативного реагирования сложностей, с которыми столкнулось сообщество грантодающих организаций, стала актуализация «Позиции по развитию культуры оценки в донорском сообществе». Это документ, разработанный и принятый членами Форума Доноров в 2015 году, в Международный год оценки, когда ей были посвящены ежегодная конференция и первое в России исследование о ее месте и роли в фондах. Роль эта велика, учитывая, что для донорских организаций оценка – это непрерывный процесс получения новых знаний о реализуемых программах и проектах и возможность улучшения благотворительной деятельности и социальных инвестиций. В Позиции отражены основные направления приложения усилий доноров по формированию и продвижению культуры оценки у них самих и в организациях, которым они оказывают поддержку. За несколько лет из разовых разрозненных инициатив оценка стала инструментом управления не только отдельными программами и проектами, но и всем портфелем.
Растет внимание доноров к оценке институционального развития НКО. Все чаще они оказываются готовы инвестировать в укрепление и развитие организационного потенциала НКО.
За прошедшее с момента принятия документа время оценка перестала восприниматься как просто «проверка», став важным элементом дизайна проектов. Уровень экспертизы сотрудников стал значительно выше, появились новые зоны роста. Исходя из важности формирования и продвижения культуры оценки и значимости развития ее потенциала и среди донорских организаций, и среди их грантополучаталей, членами Форума Доноров было принято решение актуализировать положения Позиции по ключевым, критически важным направлениям[21].
А именно:
• Интеграция оценки в деятельность донорских организаций Фонды или компании, занимающиеся благотворительностью и социальными инвестициями, будут стремиться сделать оценку неотъемлемой и естественной частью своей деятельности, разрабатывать и внедрять практики и системы оценки, адаптированные к специфике своей деятельности, и продвигать оценку среди своих партнеров и грантополучателей.
• Повышение полезности оценки, практическое использование ее результатов
Оценка имеет смысл лишь в случае, если используется для принятия решений и усиления достигаемых эффектов. Ее результаты должны приносить максимальную пользу всем стейкхолдерам программы, включая самого донора, грантополучателей, благополучателей и других партнеров.
• Создание возможностей для роста компетентности в области оценки
Сотрудники, ответственные за реализацию программ, должны получать и развивать знания и навыки, необходимые для качественного планирования и проведения оценки. В интересах организации создать необходимые условия для этого.
В российском и в международном донорских сообществах формируется тренд на повышение внимания к качеству управления воздействием.
• Развитие оценочного потенциала грантополучателей
Донорские организации будут стремиться к созданию условий для усиления оценочного потенциала грантополучателей. В случае недостаточности ресурсов последних донорская организация будет стараться предоставить им доступ к недостающим ресурсам через дополнительное финансирование, обучение и консультации, и привлечение профильных специалистов по оценке.
• Соблюдение и продвижение профессиональных принципов и стандартов
Организации, внедряющие у себя систему оценки, должны руководствоваться профессиональными принципами и стандартами, среди которых: открытость процесса оценки, обеспечение безопасности ее участников, уважение их достоинства и особенностей.
• Развитие и обмен знаний об использовании результатов проведенных оценок и практиках оценки
Для формирования культуры обмена знаниями и повышения синергетического эффекта от проведения оценки донорские организации будут стремиться сделать информацию открытой, доступной и понятной широкому кругу заинтересованных сторон. Также важно организовать обмен опытом с донорским сообществом, грантополучателями и профессиональными тематическими сообществами.
Безусловно, культура оценки должна быть сонастроена с миссией организации и более широкой организационной культурой, поэтому к работе по ее продвижению предполагается привлекать всех ключевых стейкхолдеров благотворительности и социальных инвестиций, включая учредителей, сотрудников, грантополучателей и партнеров по реализации социальных и экологических программ и проектов.
Сегодня буквально на наших глазах в российском и в международном донорских сообществах формируется тренд на повышение внимания к качеству управления воздействием. Фонды и социально ответственный бизнес, инвестирующие в снижение уровня бедности, улучшение доступа к услугам и ресурсам, сохранение и защиту окружающей среды, заинтересованы в оценке эффективности своей работы. Подобный анализ дает понимание, достигаются ли поставленные цели, какие механизмы и технологии максимально эффективны, каковы критерии достижения запланированного воздействия.
Также наблюдается тренд использования прогностической оценки, для разработки инструментов которой доноры работают в партнерстве с экспертным сообществом. Решения, разрабатываемые специалистами, используются не только для оценки фактически достигнутого результата, но и для анализа потенциала организаций и проектов, желающих снизить риски и гарантировать высокую эффективность инвестиций.
К примеру, проводится анализ потенциального воздействия не только на уровне проекта непосредственно для его заинтересованных сторон, но и на уровне рынка в целом. Оцениваются вклад проекта в создание системных рыночных эффектов, показатель уровня интенсивности – иными словами то, как проект способен устранить обозначенную проблему. Анализируется ситуация, которая имела бы место, если бы проект не был реализован (фактор контрфактуальности), оценивается потенциальный негативный эффект.
Безусловно, такие методики и решения нельзя отнести к категории простых, их использование потребует отдельных инвестиций, но потенциальная польза и эффект от их внедрения гарантируют достойный возврат на эти инвестиции.
Еще один аспект, которому доноры в настоящее время стали уделять все больше внимания, – использование принципов справедливой оценки (equitable evaluation). Подход позволяет осознавать и учитывать всю сложность человеческого опыта, накопленного в процессе преобразований, инициированных деятельностью донорских организаций. Соблюдение этих принципов, их сонастроенность с российской действительностью дает возможность максимально вовлечь благополучателей и другие заинтересованные стороны в процесс анализа эффективности потенциального и фактически произведенного воздействия. Это необходимо, чтобы учитывать их ценности и видение, а также свое временно включать их в дизайн проектов и стратегию работы фондов и социально ответственных компаний.
The Present and the Future of Evaluation: The Donors’ View
Irina Efremova-Garth, Tatiana Pechegina
DOI 10.55140/2782–5817–2023–3–1–28–33
What significant changes have taken place in 2022 in the field of evaluation in general and in the practice of evaluation in donor organizations? What issues should the professional community pay attention to in 2023? The Positive Changes Journal editors asked these questions to the participants of the Donors Forum, a association of major donor organizations that systematically engage in charitable activities and whose work is aimed at improving the transparency of foundations and non-profit organizations.
Irina Efremova-Garth
Tatiana Pechegina
The contemporary society is experiencing a transformation of the social sphere in recent years, as more and more people are talking about social impact, qualitative societal changes and effective implementation of relevant projects and programs.
2022 has shown that evaluation is a very useful instrument with high potential. Donors currently see it as a tool enabling them to draw conclusions about the effectiveness of the project activities being supported or independently implemented. At the same time, most already have an understanding that evaluation is primarily a source of information for further strategy development: deciding whether to continue or stop project activities, adjusting to the changes in the environment, managing the sustainability of existing positive changes and the possibility of replicating the technologies that have successfully passed the piloting stage.
The number of donors who are able to describe expected program results in measurable and specific terms, with a specific timeframe, is steadily growing. Another qualitative change is the practice of developing a chain of results: from immediate to long-term, which makes it possible to track the sequence of positive changes that occur in the external environment thanks to that donor’s support.
A hybrid approach to the evaluation process is becoming increasingly common, with outside experts participating in the methodology development, data analysis and providing recommendations, leaving it up to the client to collect information, interpret data, present the results to colleagues, and manage their implementation. Previously, external specialists were mainly engaged for the full cycle.
As for the use of evaluation results by donors, these are most often aimed at improving the effectiveness of program activities. They are used less often to revise program goals or activities set forth in program portfolios. The most dramatic leap of the past few years is related to the use of evaluation results to refine strategic priorities. Today it is used for this purpose by the overwhelming majority of large donor organizations; that is, it becomes a tool not just for day-to-day steering, but also for strategic management of charitable activities and social investment.
Another trend that took shape during 2022 was the donors’ focus on evaluating the institutional development of nonprofits. Increasingly they are willing to invest in building and developing the organizational capacity of the nonprofits rather than merely in project activities, since it is obvious that a weak organization is not in the position to do strong projects. But donors have also started to pay attention to the organizational maturity of prospective partners and grantees from non-profit organizations when it comes to financing projects. It is extremely important to see how the strategic planning and operations management processes, fundraising, external and internal communications, human resource management and development are built up. Evaluation can be carried out by the donor directly, by third-party experts hired by the donor, or by the actual non-profit organization applying for funding. This not only contributes to the development of an evaluation culture in the world of nonprofits, but also helps the organizations to identify priorities of their organizational development.
Поделиться книгой: