Что делает AI-тренер

Раньше считалось, что для обучения модели нужно очень много данных. Но в последние пару лет стало понятно, что требуется не так много информации — важнее, чтобы она была высокого качества. А такой уровень можно получить только от квалифицированных специалистов.

Профессия AI-тренера появилась недавно, хотя разметка данных используется уже много лет. Задачи связаны с процессом обучения модели, который включает несколько этапов:

• Базовая модель. Она умеет только предсказывать следующие слова в предложении. На этом шаге AI-тренеры не участвуют, модель обучается на миллиардах текстов из интернета.

• Модель, которая способна говорить и следовать инструкциям. Эта стадия называется fine-tune. Здесь уже нужны примеры разных запросов пользователей, или инстрактов, и идеальные ответы на них. Вот пример сложного запроса: «Проранжируй меры, которые принимаются для снижения вероятности глобального потепления, по степени их эффективности. Составь таблицу, где один столбец — метод, второй — его краткая суть, третий — влияние на процесс». Модель ищет в своих знаниях информацию о глобальном потеплении и методах, затем структурирует её и выдаёт ответ в требуемом виде. Одна из задач AI-тренера — написать примеры идеальных по форме, содержанию и смыслу текстов на разнообразные запросы.

• Reward-модель. Она умеет оценивать ответы: выбирать, какой из них лучше, а какой — хуже. Чтобы нейросеть научилась это делать, нужны примеры от AI-тренеров. Они ранжируют тексты по разным критериям, например по степени достоверности, безопасности для пользователя, полноты, грамотности и соответствия этическим нормам.

• Модель, которая генерирует ответы, оценивает их и правит. Этот процесс повторяется по кругу. Стадия называется reinforcement learning. Именно на этом шаге качество ответов значительно повышается.

AI-тренер каждый день выполняет похожие задачи: пишет ответы на запросы, ранжирует тексты. Можно сказать, что в работе есть рутина. Обязанности всегда связаны с вычиткой текстов, проверкой фактов и аккуратным соблюдением инструкций.

Но при этом темы, в которых предстоит разбираться, очень разные. Сегодня нужно оценить шахматные дебюты, завтра — объяснить, как сделать эффективный бросок из-за спины, послезавтра — найти лучший рецепт шарлотки или рассказать школьнику про квантовую механику. Поэтому рутина компенсируется разнообразием областей знаний.
Ирина Барская, руководитель службы аналитики и исследований в Яндексе

Что важно знать и уметь AI-тренеру

Писать и редактировать тексты. Нужно хорошо владеть русским языком: знать правила орфографии и пунктуации, разбираться в стилистике и грамотно структурировать информацию.

Проверять факты. Модели часто галлюцинируют — искажают информацию из источника или придумывают свои утверждения. Иногда они делают это так правдоподобно, что сложно отличить истину от вымысла. Поэтому AI-тренеру важно уметь фактчекать: оценивать источники на достоверность, проверять каждую фразу в ответе. Например, для запросов на медицинскую тему портал PubMed можно считать достоверным, а новостное издание — нет.

Быстро вникать в сложные темы. AI-тренеры не делятся по областям знаний. В течение дня они сталкиваются с разными запросами: по истории, медицине, компьютерным играм, кулинарии, психологии. Умение разбираться в незнакомых сферах поможет быстрее справляться с рабочими задачами.

Объяснять своё решение. В заданиях, где нужно ранжировать ответы, не всегда попадаются идеальные варианты. Бывает, что нужно выбирать лучший текст из нескольких плохих. В такие моменты важно аргументировать свою точку зрения, чтобы аналитики понимали логику AI-тренера и учитывали его комментарии в своей работе.

Мы понимаем, что на рынке встречается не так много людей, которые одновременно умеют хорошо фактчекать и писать тексты. Поэтому обучаем тех, кто приходит в нашу команду. Мы подготовили курсы, онбординги, тесты — учебные материалы помогают новичку прокачать навык фактчека и быстро влиться в работу.
Ирина Барская, руководитель службы аналитики и исследований в Яндексе

Как стать AI-тренером

Отбор на позицию включает несколько этапов. Вот что нужно сделать:

Откликнуться на вакансию и заполнить анкету.

Выполнить тестовое задание, состоящее из двух частей:

• Тесты, которые проверяются автоматически. Они включают четыре блока: грамматику, фактчек, этику и ранжирование.

• Три запроса на разные темы. Кандидат пишет ответы в соответствии с требованиями в задании: например, уложиться в два абзаца или объяснить простыми словами. Тексты оценивают шеф-редакторы.

Пройти собеседование. Яндекс подготовил бесплатный вводный курс «Как стать AI-тренером», он состоит из пяти уроков и длится около двух часов. Программа поможет разобраться в основах профессии и понять, подходит ли она вам.

Командой AI-тренеров руководят шеф-редакторы. Такие тимлиды — как мостики между редакторами и техническими специалистами. Они много взаимодействуют с инженерами по машинному обучению и аналитиками, а потом делятся результатами обсуждений с командой. Шефы проводят регулярные встречи со своими AI-тренерами, помогают адаптироваться новичкам, разбирают на созвонах спорные кейсы и дают фидбек по работе. Аналитики вместе с шеф-редакторами составляют инструкции и улучшают контроль качества данных.

Мы не требуем от кандидата опыта работы редактором или копирайтером, не обязательно иметь профильное образование. Главное — справиться с тестовыми заданиями. Среди наших AI-тренеров и шеф-редакторов есть ребята, которые хорошо работают с текстом, но они самоучки, например твиттерщики. Многие сотрудники пришли из литературного перевода — это похожая по уровню внимательности и кропотливости работа.
Ирина Барская, руководитель службы аналитики и исследований в Яндексе

Летом 2023 года прошла первая Школа AI-тренеров от Яндекса. Она включала два этапа:

• Онлайн. Три недели студенты слушали лекции и делали домашки.

• Офлайн. Ребята встретились в московском офисе компании, разделились на команды и выполняли задания, приближенные к реальным задачам AI-тренеров. Завершилось обучение праздничным вечером с развлекательной программой и выступлением музыкальной группы.

Организаторы автоматически зачли тестовую часть отбора участникам, которые дошли до финала. Кандидатам оставалось только написать тексты и пройти собеседование.

По результатам обучения каждый третий выпускник сейчас работает над YandexGPT. Поэтому открылся второй набор в Школу AI-тренеров. Чтобы попасть в группу, нужно до 29 октября выполнить тестовое задание и прислать резюме. Онлайн-этап пройдёт с 7 по 26 ноября. Очная часть обучения продлится с 27 ноября по 1 декабря. Студенты встретятся в московском офисе Яндекса. Участникам из других городов России компания оплатит проезд и проживание.

Нейросеть ещё не умеет справляться со всеми задачами. Например, мы оценивали ответы нашей модели и GPT-4 — и там и там встречаются плохие тексты. Чем глубже в конкретную область, тем больше заметен провал в знаниях модели.

Если проводить аналогию с ребёнком, то наше дитя ещё учится в школе. Мы обучаем его разным навыкам. Но разве после школы ребёнку больше не нужны учителя? Конечно, нужны. Дальше он выбирает специальность и углубляет свои знания в конкретной области. Так же происходит с нашей нейронкой. Поэтому профессия AI-тренера не перестанет быть актуальной в ближайшем будущем.
Ирина Барская, руководитель службы аналитики и исследований в Яндексе