Индексы научного цитирования. Возможности и перспективы в оценке результатов научной деятельности

Таблица 4. Показатели цитирования публикаций научно-исследовательских организаций и вузов Вологодской области в РИНЦ (данные НЭБ на 10.10.2014)

С целью уточнения и углубления оценки публикационной активности организаций, основанной на данных о цитировании, в таблице приведены также значения индекса Хирша (h-индекс).

Согласно данным РИНЦ, среди научно-исследовательских организаций и вузов Вологодской области только три учреждения имеют значение индекса Хирша равное 10 и выше. К ним относятся Институт социально-экономического развития территорий РАН (h-индекс – 13), Вологодский государственный университет (h-индекс – 13) и Череповецкий государственный университет (h-индекс – 10). Наукометрическая отечественная практика признает такие значения индекса Хирша как свидетельства устойчивости качества научной продукции исследовательского коллектива. Остальные организации имеют значения h-индекса 5 и ниже.

Таким образом, результаты анализа публикационной активности научно-исследовательских организаций Вологодской области, основанного на данных Российского индекса научного цитирования, могут служить подтверждением того, что на сегодняшний день основной удельный вес в национальном индексе цитирования имеют три организации региона. Это учреждения высшего образования Вологодский государственный и Череповецкий государственный университеты, а также научная организация – Институт социально-экономического развития территорий РАН. На их долю приходится около 80 % всех публикаций научных организаций Вологодской области за 2009–2013 гг. в РИНЦ, а также более 90 % цитирований за указанный период.

Кроме того, подтверждена крайняя важность работы по занесению публикаций в информационно-аналитическую систему РИНЦ. Сравнительный анализ публикационной активности научных институтов и учреждений высшего образования может быть использован как инструмент выявления слабых сторон их научно-исследовательской деятельности и поиска путей ее совершенствования. Первостепенные задачи, связанные с улучшением положения научных институтов и вузов в индексах цитирования, предполагают планомерное увеличение числа публикаций в высокоцитируемых научных журналах, более широкое представление в статьях результатов совместных исследований с зарубежными учеными, увеличение числа публикаций в журналах, индексированных в ведущих мировых базах данных.

Подводя итоги первой главы, следует отметить очевидную потребность в более широком представлении в РИНЦ результатов научно-исследовательской деятельности учреждений. Реализация этой задачи позволит объективно и в полной мере оценить научный потенциал регионов и страны в целом.

Глава 2. Импакт-фактор РИНЦ как инструмент сопоставления и ранжирования научных журналов

2.1. Понятие «импакт-фактор». История создания

В число базовых наукометрических показателей входит импакт-фактор научного журнала. В настоящее время данный показатель всё чаще применяется библиотеками для принятия решения о подписке на те или иные периодические издания, учеными при выборе журнала для публикации статьи, редакторами и издателями в качестве инструмента оценки и продвижения научных журналов.

В то же время среди экспертов расширяется дискуссия по поводу целесообразности использования импакт-фактора. Наряду с учеными, признающими роль библиометрических показателей как инструментов измерения значимости научных результатов, многие эксперты подвергают сомнению оценку академической ценности журналов, основанную на данных о цитировании[13].

В настоящей главе мы изложим нашу точку зрения по вопросу применения импакт-фактора как инструмента ранжирования научных журналов, а также представим обзор методик формирования данного показателя и проанализируем возможности Российского индекса научного цитирования в расчёте импакт-факторов отечественных научных журналов.

Импакт-фактор был предложен Ю. Гарфилдом как инструмент измерения ценности журналов путём вычисления среднего числа цитирований на статью за определённый промежуток времени [Garfield, 1963]. Продвигая идею индекса цитирования, ученый впервые употребил термин «импакт-фактор» в статье, которая была опубликована в журнале Science в 1955 году. Говоря о его практическом применении, Гарфилд отмечал, что в случае весьма значимых работ индекс цитирования может помочь в измерении степени влияния работы, т. е. её «импакт-фактора» [Garfield, 1955]. И уже в начале 1960-х годов Юджин Гарфилд и Ирвинг Г. Шер рассчитали импакт-фактор журналов, чтобы отобрать научные издания для нового индекса цитирования Science Citation Index (SCI) [Garfield, 2005]. С 1964 года индекс цитирования Science Citation Index стал регулярно определяться Институтом научной информации в Филадельфии, которым руководил Гарфилд. Изначально в данном ресурсе была систематизирована информация о цитировании научных статей по библиографической базе данных, которая первоначально охватывала около 600 научных журналов. В течение нескольких десятилетий данные, собранные в этом указателе цитирования, расширялись. В 1992 году Институт научной информации вошел в корпорацию Thomson.

Выросший из индекса цитирования SCI современный библиографический ресурс Web of Science (WoS) в настоящее время включает семь баз данных, охватывающих практически все области знаний, три из которых обрабатывают порядка 12 тысяч журналов (Social Science Citation Index[14], Science Citation Index Expanded[15]и Arts and Humanity Science Citation Index[16]). В классификаторе WoS около 250 тематических разделов по фундаментальным и инженерным наукам, медицине, сельскому хозяйству, социальным и гуманитарным наукам [Кириллова, О. В.; 2013: 7–8]. Кроме того, WoS включает библиометрический инструмент Journal Citation Reports (JCR), содержащий ряд показателей цитируемости, среди которых наиболее известным является импакт-фактор.

2.2. Методики формирования импакт-фактора

В настоящее время сложились различные методики формирования импакт-фактора.

Традиционной методикой является подсчёт двухлетнего импакт-фактора. Двухлетний импакт-фактор – это классический показатель, который рассчитывается самой авторитетной базой данных Web of Science и признаётся во всём мире как основа ранжирования журналов по отношению друг к другу. «Классический импакт-фактор, т. е. то, что понимают под ним по умолчанию, – отмечает В. В. Писляков, – это в строгом определении синхронный двухлетний импакт-фактор, без учёта текущего года… Именно он в наше время чаще всего фигурирует при сравнении уровня журналов» [Писляков В. В., 2007: 131].

Двухлетний период, используемый при определении импакт-фактора журнала, предназначается для того, чтобы сделать статистический показатель современным. Как отмечал Гарфилд, высокоцитируемые статьи, которые достигают наибольшего «влияния», как правило, цитируются в течение нескольких месяцев с момента публикации и, конечно, в течение года после выхода в свет. И два года достаточно, чтобы выявить так называемые «горячие публикации» (hot papers), оказавшие наибольшее влияние в той или иной сфере научного знания [Garfield, 2005: 8].

Соответственно, использование двухлетнего окна цитирования в подсчёте импакт-фактора обусловлено стремлением в процессе ранжирования научных журналов относительно друг друга выявить издания, публикующие высокоцитируемые с момента выхода в свет статьи, которые оказывают наибольшее влияние в своей области.

Эксперты подчёркивают, что «под термином “импакт-фактор”, если не сделано каких-либо уточнений, принято подразумевать именно двухлетний показатель» [Бедный Б. И., 2012: 20].

Альтернативными импакт-фактору WoS являются показатели, рассчитываемые базой данных Scopus, в которой используются другие показатели, являющиеся нормированными и учитывающие не только количество, но и качество ссылок на конкретные статьи – SJR и SNIP[17].

SJR – SCImago Journal Ranking – рейтинг журналов, разработанный университетом Гранады, учитывающий как общее количество цитирований, так и взвешенные показатели цитирований по годам и качественные показатели, такие как авторитетность ссылок.

В базе данных Scopus используется еще один показатель – SNIP. Он был разработан в Лейденском университете профессором Х. Ф. Моэдом. Поскольку данный показатель учитывает уровень цитирований в каждой научной области, он может быть использован для сравнения публикаций в разных научных направлениях. Основные особенности расчёта этого показателя заключаются в том, что учитываются ссылки, сделанные в текущем году, на статьи, вышедшие в течение трёх предыдущих лет.

Вместе с тем существует ряд «нетрадиционных» импакт-факторов, среди которых выделяется пятилетний. В WoS рассчитывают данный показатель в дополнение в двухлетнему, используя следующие обозначения: Impact factor – двухлетний импакт-фактор; 5-year impact factor – пятилетний импакт-фактор.

Пятилетний импакт-фактор – это средний показатель цитирования статей за определённый год, опубликованных в журнале в течение последних пяти лет. Этот показатель можно использовать для более качественного измерения импакт-фактора журналов в областях, где влияние опубликованных исследований необходимо учитывать на протяжении долгого периода времени[18](т. е. статьи цитируются не в первые два года, а спустя более длительный период времени; это прежде всего касается математических исследований).

По мнению экспертов, ранжирование по пятилетнему импакт-фактору снижает рейтинг журналов, получающих основное число ссылок на статьи менее чем трёхлетней давности, и повышает рейтинг журналов, на статьи в которых следует более медленная реакция научного сообщества [Бедный Б. И., 2012: 23].

Преимуществом пятилетнего импакт-фактора является сглаживание «выбросов» от отдельных статей с аномальной цитируемостью. Недостатком же пятилетнего импакт-фактора эксперты считают слишком большое запаздывание (не менее 6 лет) при отражении в рейтинге новых журналов, какое бы признание за это время они ни завоевали [Бедный Б. И., 2012: 23].

Для журналов экономической тематики, в которых основное цитирование приходится на статьи за 2–3 года, использование пятилетнего импакт-фактора, на наш взгляд, нецелесообразно.

2.3. Возможности применения значений импакт-фактора РИНЦ для ранжирования российских журналов по экономике

Импакт-фактор в РИНЦ рассчитывается на основе данных о цитировании журнала в этой базе данных за предыдущие два года (или пять лет). При этом данные берутся из публикаций того года, для которого рассчитывается импакт-фактор. При определении импакт-фактора число ссылок, сделанных в расчётном году во всех обрабатываемых в РИНЦ журналов на статьи, опубликованные в данном журнале за предыдущие два года (или пять лет), делится на общее число этих статей. То есть, по сути, полученный показатель отражает среднее число цитирований одной статьи данного журнала. Необходимым условием для расчёта двухлетнего импакт-фактора является наличие в РИНЦ всех выпусков журнала за три года (год расчёта импакт-фактора плюс два предыдущих года)[19].

Для журналов, зарегистрированных в РИНЦ, рассчитывается несколько значений импакт-фактора:

– двухлетний импакт-фактор РИНЦ, т. е. отношение числа цитирований в текущем году статей, опубликованных в журнале за предыдущие два года, к числу этих статей; учитывается, в частности, самоцитирование (ссылки в журнале на статьи этого же журнала);

– двухлетний импакт-фактор РИНЦ без самоцитирования, т. е. отношение числа ссылок в текущем году, сделанных в других журналах на статьи в данном журнале, опубликованные за предыдущие два года, к числу этих статей;

– пятилетний импакт-фактор РИНЦ, т. е. отношение числа цитирований в текущем году статей, опубликованных в журнале за предыдущие пять лет, к числу этих статей (учитывается самоцитирование);

– пятилетний импакт-фактор РИНЦ без самоцитирования, т. е. отношение числа ссылок в текущем году, сделанных в других журналах на статьи в данном журнале, опубликованные за предыдущие пять лет, к числу этих статей.

На основе значений импакт-фактора осуществляется ранжирование журналов.

Учитывая то, что импакт-фактор сильно варьируется в зависимости от выбора дисциплины [Amin – Mabe, 2000], т. к. традиции цитирования отличаются от дисциплины к дисциплине и использование ссылок имеет различную частоту и различные причины, можно прийти к заключению о некорректности сравнения научных журналов с помощью импакт-фактора.

Данное обстоятельство принято во внимание в современных системах цитирования. В частности, РИНЦ позволяет ранжировать журналы по многим признакам, в том числе и по импакт-фактору, выбирая сходные по тематике издания.

Чтобы проанализировать то, каким образом в РИНЦ осуществляется ранжирование российских экономических журналов по значению импакт-фактора, мы выбрали их рейтинг по тематике «Экономика. Экономические науки», обновлённый по состоянию на 2012 год. В общем списке здесь представлены 256 научных журналов.

Система позволяет провести ранжирование журналов по двухлетнему и пятилетнему импакт-фактору, с учётом и без учета самоцитирования.

Однако при этом возникает вопрос: какой показатель целесообразно использовать, чтобы получить наиболее объективную картину? Очевидно, что положение в рейтинге будет меняться при сопоставлении их по значениям двухлетнего и пятилетнего импакт-фактора. Так, рейтинговые позиции журналов, получающих основное число ссылок на статьи менее чем трёхлетней давности, снижаются при использовании пятилетнего импакт-фактора.

Следовательно, журналы, на статьи которых следует более медленная реакция научного сообщества, имеют лучшие показатели по пятилетнему импакт-фактору. Кроме того, на позиции в рейтинге по импакт-фактору может существенно влиять учёт самоцитирования в журнале.

Мы составили «топ-30» российских экономических журналов по значению импакт-фактора в РИНЦ в 2012 году. За основу выстраивания этого списка журналов приняли результаты ранжирования по двухлетнему импакт-фактору (ИФ₂) на том основании, что данный показатель, как традиционный и базовый для ранжирования научных изданий, является общепринятым для оценки влиятельности журнала (табл. 5).

Таблица 5. Позиции журналов по импакт-фактору РИНЦ в рейтинге журналов по тематике «Экономика. Экономические науки» в 2012 году (данные НЭБ на 17.06.2014)

Для всех изданий, которые вошли в «топ-30» экономических журналов по двухлетнему импакт-фактору РИНЦ в 2012 году, в таблице приводятся значения пятилетнего импакт-фактора (ИФ₅), а также указываются значения ИФ₂ и ИФ₅ без самоцитирования. Красным цветом выделены значения импакт-факторов, по которым журналы выходят за пределы «топ-30».

В списке представлены журналы по экономике, издаваемые в России на протяжении многих лет, и сравнительно новые.

Данные таблицы 5 наглядно свидетельствуют о том, что большинство журналов (22 наименования, выделенные зеленым цветом) вне зависимости от значения импакт-фактора, взятого за основу ранжирования, входят в рейтинг 30 первых журналов экономической тематики по импакт-фактору.

Ряд изданий занимают первые позиции по всем показателям импакт-фактора: например, ведущий экономический журнал «Вопросы экономики». Причём показатели его импакт-факторов в РИНЦ существенно выше, чем у остальных журналов, представленных в списке.

Вместе с тем позиции некоторых журналов, попавших по состоянию двухлетнего импакт-фактора в «топ-30» российских журналов по экономическим дисциплинам, по дополнительным значениям импакт-фактора, главным образом в рейтингах по ИФ₂ и ИФ₅ без учета самоцитирования, существенно снизились.

Здесь обращает на себя внимание тот факт, что в рейтинг журналов по двухлетнему импакт-фактору РИНЦ попал журнал, у которого ИФ₂ без самоцитирования равен 0,00. Такое соотношение показателей свидетельствует о том, что все цитирования этого журнала сделаны им самим. В мировой практике высокие показатели самоцитирования квалифицируются как случаи недобросовестного цитирования и рассматриваются как недобросовестные тактики искусственного повышения импакт-фактора и других наукометрических показателей. Ведущие мировые индексы цитирования исключают из рейтингов журналы, которые злоупотребляют самоцитированием.

Результаты проведенного анализа показывают, что в РИНЦ накоплен определённый ресурс, который может быть использован и для ранжирования научных журналов по наукометрическим показателям, в частности по импакт-фактору. Но, как очевидно, для более объективного отражения уровня влиятельности журналов, оцениваемого на основе цитирования, рейтинговая база должна содержать более жесткий «входной фильтр», который обеспечивает «расписывание» журналов по формальным и содержательным признакам.

Одним из критериев отбора журналов в ведущих мировых базах данных Web of Science и Scopus является превышение импакт-фактором журнала-кандидата некоего минимального порогового значения. На наш взгляд, подобный норматив было бы полезно использовать и в РИНЦ, так же как и практику установления порогового значения показателя самоцитирования для журналов в каждой предметной области, что позволило бы не включать в рейтинги журналы с завышенным уровнем самоцитирования.

Говоря в целом о возможностях применения импакт-фактора к оцениванию научных изданий, мы считаем, что данный наукометрический показатель, являясь вполне вполне обоснованным, необходим для сопоставления журналов. Но при этом он должен использоваться с обязательным учётом других показателей, влияющих на цитируемость. И конечно, важной составляющей общей оценки должно быть мнение экспертов.

Заключение

Результаты исследования свидетельствуют о том, что сегодня для принятия эффективных управленческих решений в сфере науки необходимо создание системы объективной оценки результатов научной деятельности, позволяющей сконцентрировать государственные средства на перспективных направлениях исследований, результаты которых будут востребованы обществом и экономикой страны.

Частью такой системы видится Российский индекс научного цитирования. В совокупности с квалифицированной экспертной оценкой, позволяющей учитывать специфику научной деятельности, науко-метрические индикаторы, представленные в том числе и в РИНЦ, могут использоваться для оценки деятельности научных организаций и результатов их работы.

Очевидно, что развитие русскоязычного ресурса, каковым является РИНЦ, требует дополнительных организационных и экономических мер. В частности, это повышение профессионализма специалистов, участвующих в формировании РИНЦ, уровень накопления базы данных, регулярность анализа публикуемых результатов знаний, применение критериев отбора для материалов, включаемых в базу данных. Главным же стимулом развития собственной российской реферативно-библиографической базы, по нашему мнению, может стать принятие государственного решения об утверждении Российского индекса научного цитирования в качестве национальной базы данных.

При этом важно иметь в виду, что, если речь идет об оценке эффективности и результативности деятельности российских ученых и научных организаций, а также о ранжировании научных журналов на базе каких-либо наукометрических показателей, необходимо брать за основу данные национального индекса цитирования. Развитие отечественной реферативно-библиографической базы будет во многом способствовать сохранению суверенитета российской науки, позволит руководствоваться в выборе приоритетов научного развития прежде всего национальными интересами.

Несомненно, наполнение такой базы данных должно быть организовано путем отбора периодических изданий и отдельных публикаций по строгим критериям, которые обеспечили бы качество представленных в базе материалов, что сделало бы их оценку по наукометрическим показателям более объективной. Решение этих задач позволит в перспективе применять наукометрические индикаторы, используемые в РИНЦ, для полновесной оценки научного потенциала регионов и страны в целом.

В завершение следует подчеркнуть, что главной целью системы оценки результатов научной деятельности должно стать не столько реформирование научных организаций, сколько поиск путей содействия научных институтам, создание базы для принятия эффективных управленческих решений в сфере науки, чтобы повысить уровень национальных научных изданий, добиться существенных результатов по всем направлениям научных исследований.

Литература

Адлер, Р. Статистики цитирования / Р. Адлер, Дж. Эвинг, П. Тейлор // Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 6–38.

Бедный, Б. И. О показателях научного цитирования и их применении / Б. И. Бедный, Ю. М. Сорокин // Высшее образование в России. – 2012. – № 3. – C. 17–28.

Бредихин, С. В. Анализ цитирования в библиометрии / С. В. Бредихин, А. Ю. Кузнецов, Н. Г. Щербакова. – Новосибирск: ИВМиМГ СО РАН, НЭИКОН, 2013.

Варшавский, А. Е. Методологические проблемы международного сравнительного анализа результатов научной деятельности / А. Е. Варшавский, В. А. Маркусова // Инновационная политика: Россия и Мир: 2002–2010 / под общ. ред. Н. И. Ивановой и В. В. Иванова; Российская академия наук. – М.: Наука, 2011. – С. 407–441.

Варшавский, А. Е. Об адекватной оценке результативности научной деятельности / А. Е. Варшавский, В. В. Иванов, В. А. Маркусова // Вестник Российской академии наук. – 2011. – Т. 81. – № 7. – С. 587–593.

Варшавский, А. Е. Проблемы науки и ее результативность / А. Е. Варшавский // Вопросы экономики. – 2011. – № 1. – С. 151–157.

Возовикова, Т. Аршином не измеришь. Ученые достойны фундаментальной оценки своего труда / Т. Возовикова // Поиск. – 2013. – № 44.

Гарфилд, Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? / Ю. Гарфилд // Вестник Акад. наук СССР. – 1982. – № 7. – С. 42–50.

Дьяченко, Е. Л. Интернационализация в науке: дисциплинарные различия / Е. Л. Дьяченко // Социологические исследования. – 2013. – № 8. – С. 101–110.

Жукова, И. А. Индекс научного цитирования – трансформация практик применения (от инструмента библиографического поиска к инструменту оценивания) / И. А. Жукова // Социология: методология, методы, математическое моделирование. – 2012. – № 34. – С. 54–80.

Задумкин, К. А. Методика сравнительной оценки научно-технического потенциала региона / К. А. Задумкин, И. А. Кондаков // Экономические и социальные перемены: факты, тенденции, прогноз. – 2010. – № 4. – С. 86–100.

Заиченко, С. А. Использование статистических методов и показателей в научной деятельности вуза / С. А. Заиченко // Вопросы статистики. – 2008. – № 1. – С. 31–42.

Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011.

Кабакова, Е. А. Использование наукометрических показателей при оценке научной деятельности / Е. А. Кабакова // Вопросы территориального развития. – 2014. – № 8 (18). – Режим доступа: http://vtr.isert-ran.ru/?module=Articles&action=view&aid=3817, http://vtr.isert-ran.ru/?module=Articles&action=view&aid=4203

Каблов, Е. Н. Право на рейтинг. Как оценить интеллектуальный ресурс России? / Е. Н. Каблов // Поиск. – 2013. – № 45–46. – С. 11.

Каленов, Н. Е. Некоторые оценки качества Российского индекса научного цитирования на примере журнала «Информационные ресурсы России» / Н. Е. Каленов, О. В. Селюцкая // Информационные ресурсы России. – 2010. – № 6. – С. 2–13.

Касимова, Р. Г. Наукометрические показатели как один из индикаторов качества научной продукции / Р. Г. Касимова // Науковедение. – 2002. – № 1. – С. 132–143.

Качак, В. В. Оценка научного потенциала вузов регионов России и эффективность его использования / В. В. Качак, А. М. Масленников, П. А. Ружинский. – М.: Изд-во МИФИ, 1998.

Квелидзе-Кузнецова, Н. Н. Библиометрические ресурсы как инструмент анализа и оценки научной деятельности / Н. Н. Квелидзе-Кузнецова, С. А. Морозова // Совершенствование подготовки и аттестации научных и научно-педагогических кадров высшей квалификации: сб. тр. / УМО вузов России по направлениям пед. образования; Науч. – метод. совет по подгот. кадров высш. квалификации; РГПУ. – СПб., 2009. – Вып. 2. – С. 182–207.

Кемпбелл, Ф. Бегство от импакт-фактора / Ф. Кемпбелл // Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 46–52.

Кириллова, О. В. Редакционная подготовка научных журналов по международным стандартам: рекомендации эксперта БД Scopus / О. В. Кириллова. – М., 2013. – Ч. 1. – 90 с.

Лоуренс, П. А. Потерянное пи публикации: как измерение вредит науке / П. А. Лоуренс // Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 39–45.

Маркусова, В. А. Библиометрические показатели российской науки и РАН (1997–2007) / В. А. Маркусова, В. В. Иванов, А. Е. Варшавский // Вестник РАН. – 2009. – Т. 79. – № 7. – С. 483–491.

Михайлов, О. В. Критерии и параметры объективной оценки качества научной деятельности / О. В. Михайлов // Вестник Российской академии наук. – 2011. – Т. 81. – № 7. – С. 622–625.

Москалева, О. Поверить индексом науку / О. Москалева // Газета. ru. – Режим доступа: http://www.gazeta.ru/science/2012/12/19_a_4896245.shtml

Об утверждении Стратегии инновационного развития Российской Федерации на период до 2020 года: распоряжение Правительства РФ от 08.12.2011 № 2227-р [Электронный ресурс]. – Режим доступа: http://base.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=123444

О мерах по реализации государственной политики в области образования и науки: Указ Президента Российской Федерации от 7 мая 2012 г. № 599 [Электронный ресурс] // Российская газета. – 2012. – 7 мая. – Режим доступа: http://www.rg.ru/2012/05/09/nauka-dok.html

Писляков, В. В. Методы оценки научного знания по показателям цитирования / В. В. Писляков // Социологический журнал. – 2007. – № 7. – С. 128–140.

Российский индекс научного цитирования // Научная электронная библиотека [Электронный ресурс]. – Режим доступа: http://elibrary.ru/projects/citation/cit_index.asp

Тихонов, В. В. Историческая наука через призму Российского индекса научного цитирования (РИНЦ) [Электронный ресурс] / В. В. Тихонов. – Режим доступа: http://mkonf.iriran.ru/papers.php?id=42

Третьякова, О. В. Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения / О. В. Третьякова, Е. А. Кабакова // Экономические и социальные перемены: факты, тенденции, прогноз. – 2013. – № 6 (30). – С. 189–200.

Третьякова, О. В. К вопросу об импакт-факторе научного журнала и методиках его формирования [Электронный ресурс] / О. В. Третьякова // Вопросы территориального развития. – 2014. – № 5 (15). – Режим доступа: http://vtr.isert-ran.ru/?module=Articles&action=view&aid=3817

Третьякова, О. В. Современные инструменты оценки научного потенциала территории: наукометрический подход / О. В. Третьякова // Проблемы развития территории. – 2014. – № 4. – С. 7–16.