В наше время уже никого не удивишь чат-ботом, который после уточнения некоторых параметров предложит вам наиболее подходящий продукт. Обычно такие виртуальные собеседники заточены под определённый сценарий диалога, цель которого – что-то продать или предоставить вам необходимую информацию.
Задача
В 2019 году перед нами же встала немного другая задача: написать реплики для чат-бота, который общается на повседневные темы. При этом он не просто отвечает на вопросы пользователей, но и может дать совет, поддержать и интересоваться мнением человека.
Что делали?
Мы получали от заказчика выгрузку диалогов людей с чат-ботом, состоящих из 2-3 реплик с каждой стороны. Написать реплику в продолжение каждого диалога, сохранить при этом смысловую нагрузку разговора или плавно сменить тему и побудить человека к дальнейшему общению – всё это и было нашей основной задачей.
С какими сложностями столкнулись?
На первый взгляд может показаться, что задача простая. Любой человек может написать реплики про музыку, искусство и погоду. А также не требуются специальные знания в области деятельности заказчика. Всё, что нужно от разметчика, – это грамотность и немного креативности.
Как было на самом деле?
Во-первых, наш персонаж – это не просто чат-бот с однотипными ответами. Это некая виртуальная личность со своим характером, целями и интересами. У него есть свои предпочтения в каждой сфере жизни и своё мнение по любому вопросу. Поэтому важная часть в такой работе – это инструкция заказчика, которая даёт полное описание персонажа: его любимые книги и фильмы, его хобби, его характер и манера общения. Каждый разметчик должен был войти в роль персонажа, чтобы реплики были написаны в едином образе.
Во-вторых, несмотря на наличие инструкции, каждый человек имеет свой стиль изложения. Поэтому все разметчики проходили тестирование у заказчика, по результатам которого определялась его дальнейшая возможность участия в этом проекте.
В-третьих, при написании реплик необходимо было учитывать, что персонаж должен быть человечным. Соответственно, на один и тот же вопрос чат-бот каждый раз должен отвечать по-разному, а не одной-единственной заготовленной репликой. Например, на простой вопрос “Как дела?” разметчикам необходимо было придумать более двухсот вариантов ответов.
Помимо этого, необходимо было учитывать максимальное количество символов в реплике, различные пунктуационные правила заказчика. Также важно уметь грамотно сменить тему разговора, если собеседник затрагивает такие темы, как насилие, религия и политика.
Но какими бы ни были хорошими реплики, известны случаи, когда чат-боты начинали оскорблять собеседника. Нейросеть генерирует фразы, выбирая из миллиардов слов и фраз, что позволяет персонажу “придумывать” ответы самостоятельно. Поэтому важно понимать необходимость ручного тестирования чат-бота.
Что в итоге?
За год мы написали более 500 000 реплик. На этом этапе чат-бот многое знает, умеет поддержать диалог с собеседниками. Но общение на свободную тему не имеет границ, поэтому улучшать чат-бот можно бесконечно.