По данным авторов, доля статей, созданных по шаблону или с нарушением научных стандартов, в начале 2000-х годов составляла около 1%, но к 2022 году выросла до 16,6%, после чего начала постепенно снижаться. Большинство подозрительных материалов относится к фундаментальным исследованиям, особенно в области рака желудка (22%), костных опухолей (21%) и рака печени (19%).
Всего в анализ были включены публикации из 11,6 тысячи журналов, вышедшие с 1999 по 2024 год. Для проверки модель протестировали на 276 отозванных и 275 подлинных научных работах, которые не использовались при обучении алгоритма. Точность BERT составила 91%, при этом 13% подозрительных статей алгоритм не распознал, а 4% добросовестных публикаций ошибочно отметил как сомнительные.
Разработчики отмечают, что инструмент пока не заменяет экспертную оценку, но способен существенно ускорить предварительный скрининг. Три научных журнала уже используют BERT для проверки рукописей до этапа рецензирования, что позволяет выявлять тексты с признаками фабрикации данных или шаблонной структуры.
Крупные издательства, включая Springer Nature и Wiley, поддержали развитие подобных решений. По их мнению, сочетание ИИ и экспертной верификации может стать базой новой инфраструктуры контроля научной добросовестности и повысить качество публикаций в академической среде.
Проблема качества научных публикаций усугубляется не только деятельностью paper mills. Ранее ученые из Института искусственного интеллекта в области здоровья мозга им. Херти при Тюбингенском университете в Германии показали, что ИИ уже заметно влияет на стиль научных публикаций. По их данным, не менее 13,5% рефератов, опубликованных в 2024 году, были обработаны с помощью больших языковых моделей, включая ChatGPT. Исследователи отмечают, что такие системы усиливают однообразие и речевую перегруженность научных текстов, создают ложные ссылки и снижают достоверность публикаций.
