Facebook будет использовать ИИ для быстрой модерации контента

Социальная сеть Facebook будет использовать новый алгоритм машинного обучения для модерирования публикуемого пользователями контента. Первоочередной задачей алгоритма станет поиск наиболее травмирующих публикаций для их последующего удаления.

Сегодня контент, нарушающий правила соцсети (спам, разжигание ненависти, пропаганда насилия и т.д.) обычно помечают сами пользователи или алгоритмы машинного обучения. С наиболее очевидными случаями система справляется автоматически, например, путём удаления нарушающих правила платформы публикаций или блокировкой аккаунта пользователя, опубликовавшего этот контент. Остальные случаи попадают в очередь для последующей более детальной проверки модераторами.

Сейчас в Facebook работают около 15 тыс. модераторов по всему миру. Соцсеть неоднократно критиковали за то, что администрация платформы недостаточно их поддерживает и не нанимает большее количество персонала. Задача модераторов заключается в сортировке постов с жалобами, а также принятии решения о том, нарушают ли они правила соцсети или нет.

Ранее модераторы рассматривали посты по мере публикации. Facebook решил изменить подход для того, чтобы в первую очередь рассматривать публикации, которые набирают больший охват и, соответственно, способны нанести больше вреда. Модель искусственного интеллекта (ИИ) будет использовать три критерия для отбора наиболее вредоносных публикаций: вирусность, сюжет публикации и вероятность того, что она нарушает правила. После этого ИИ будет помечать такие публикации, чтобы они поднимались выше по очереди рассмотрения модераторами.

«Весь нарушающий правила соцсети контент будет по-прежнему рассматриваться людьми, однако использование новой системы позволит более эффективно расставлять приоритеты в этом процессе», — прокомментировали в Facebook.

По мнению соцсети, новый подход поможет быстрее реагировать и разбираться с нарушающими правила публикациями, имеющими широкий охват.