Нейросеть научили распознавать потенциально вредные реплики чат-ботов

В России научили нейросеть находить «чувствительные» и неуместные сообщения чат-ботов. К «чувствительным» темам отнесли такие, как религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления.

«Мы продемонстрировали, что, хотя чувствительность темы и неуместность сообщения – довольно тонкие понятия, завязанные на человеческой интуиции, они тем не менее поддаются детектированию нейросетями. В частности, наш классификатор в 89% случаев угадал, какие высказывания являются неуместными, по версии респондентов», – сказал автор работы Николай Бабаков.

Был сформирован корпус неуместных сообщений, на котором исследователи обучили новую модель распознавать такие сообщения. Результаты работы опубликованы в сборнике Proceedings of the 8th Workshop on Balto-Slavic Natural Language Processing, а также вкратце пресс-службой Сколковского института науки и технологий.

Ранее Общественная служба новостей писала, как нейросеть от компании «Промобот» пыталась предсказать победителя футбольного Евро-2021, и решила, что это будет сборная Франции.