PNAS: Нейросети не распознают тривиальные грамматические ошибки

Ученые из Университета Ровиры и Вирхилия и Барселонского университета установили, что самые лучшие системы искусственного интеллекта на основе больших языковых моделей серьезно уступают людям в выявлении грамматических ошибок в тексте. Результаты эксперимента обнародованы на страницах издания Proceedings of the National Academy of Sciences.

Специалисты протестировали три самые совершенные языковые модели, в том числе ChatGPT. Им поставили задачу определить, какие предложения построены грамматически верно, а в каких присутствуют ошибки грамматики. Аналогичную задачу получила группа людей.

Последние справились без каких-либо проблем, тогда как искусственный интеллект давал большое количество неверных ответов. Де-факто ИИ определил все примеры как правильные.

Ученые пришли к выводу, что ИИ в настоящее время не могут оценивать тексты на соответствие грамматическим нормам даже с учетом того, что в них эти правила загружены. Людям же для распознавания тривиальных ошибок не требуется прилагать никаких усилий. Из этого можно сделать вывод, что нейросети понимают язык иначе, чем люди.

Ранее сообщалось, что мошенники начали применять новую схему обмана россиян при помощи нейросетей. Подробнее по теме читайте в материале Общественной службы новостей.