1.  labelstud.io

Начнем с его плюсов:

  1. Легко поднять и настроить. Ну то есть буквально две строчки в командной строке.
  2. Весь интерфейс достаточно интуитивный.
  3. Есть поддержка мультилейбла, иерархической классификации, relation extraction и прочих достаточно “экзотических” в NLP штук.
  4. Можно задавать свои шаблоны (templates) разметки если знаешь html.
  5. Можно запиливать свои модели, чтобы учились в режиме онлайн и делали pre-annotation + интеграции с различными БД.
  6. Кроме текста можно размечать и аудио.
  7. Есть open-source версия.

Минусы:

  1. Несмотря на интуитивность, в UI достаточно большое количество багов.
  2. Часть функционала отсутствует в бесплатной версии (об этом ниже).
  3. Достаточно дорогая платная версия.

В целом произвел впечатление добротного проекта на стадии поздней беты (в основном из-за интерфейса). Но при этом даже open-source версия поддерживает кучу полезных штук: пре-аннотации с моделями ML, интеграции с различными БД, кучу различных шаблонов и типов данных. Ну и сам факт, что ее можно быстро завести и настроить, уже говорит о многом.

Менеджмент проектов однако остается открытым вопросом – на мой взгляд, в бесплатной версии это сделано не очень удобно: ты создаешь проект и загружаешь туда диалоги, каждая реплика – отдельная задача (аннотация). В итоге придется под каждого разметчика (и под каждый пак данных!) создавать свой проект – это все будет разрастаться очень быстро и за этим придется активно следить. Менеджерить это все будет при небольшой команде (10 человек, +/-), наверное, не очень сложно, но если будете расти – придется думать, что с этим делать.

Не совсем понятно, насколько лучше ситуация в платной версии: не факт, что разделение админ/разметчик даст более прозрачную структуру проектов. Впрочем, у меня сложилось впечатление, что если эту самую структуру хорошо огранизовать и пару вечеров плотно покурить документацию с API – можно и на open-source версии жить очень долгое время.

Более подробно об отличиях платной и open-source версии можно почитать здесь. Основное отличие заключается в том, что у вас просто больше контроля над разметчиками: можно заводить задания под конкретных людей, иметь разделения на администратора/разметчика, подробные логи активности с аналитикой, автоматически производить кросс-валидацию и хостить сам сервис на серверах labelstudio.

Цены:

  1. Open-source – бесплатно.
  2. 300$ / пользователь / месяц (до 10 людей) за “team edition” которая лучше, чем open-source, но все равно имеет кучу ограничений, самое важное – нет разделения на разметчика/админа + нельзя заводить задания на конкретного пользователя. Какой-то сомнительный middle-ground, который, кажется, не стоит своих денег.
  3. Цена за enterprise не оглашается, но при большой команде это наверное единственный вариант, который, вероятнее всего, обойдется в копеечку.

2. tagtog.net

Из плюсов:

  1. Выглядит достаточно готовым продуктом, занимаются именно NLP (что, кстати, одновременно и минус, потому что в labelstudio, например, можно и аудио размечать, а нам это потенциально может быть очень кстати).
  2. Есть relation extraction и всякие другие полезные шаблоны.
  3. Есть open-source версия.
  4. Платная версия не очень дорогая.
  5. Можно впиливать свои модели, обученные на уже размеченных данных для пре-аннотаций того, что еще не разметили.

Из минусов:

  1. Загрузка файлов только через CLI, в интерфейсе такой возможности просто нет.
  2. Менеджмент проектов как в labelstudio, только с лишней головной болью насчет загрузки. Особенно печально если менеджерить это будет человек далекий от IT.
  3. UI на троечку (субъективно).

Работа по API, опять вопросы персональных данных, да и мне лично не очень комфортно когда ты чужой веб-сайт для таких вещей используешь, а не у себя что-то поднимаешь – просто гораздо меньше контроля над происходящим.
В целом выглядит так, что если вам не понравится open-source версия labelstudio – это второе, на что можно обратить внимание, если вы решите вопросы персональных данных.

С ценами можно ознакомиться здесь. Я бы не брал ничего ниже team pro (99$ / usr / month) т.к. пре-аннотации и разделение на разметчика / администратора – очень важные штуки, которые могут сэкономить вам в дальнейшем кучу времени и нервов.

3. prodi.gy – от создателей SpaCy

Плюсы:

  1. Недорогие (500$ / год).
  2. Есть демо версия (просто разметка) которую можно пощупать на сайте.

Минусы:

  1. Абсолютно упоротый CLI, который при достаточно большом шаблоне становится ну совсем неподъемным. Например, список лейблов нужно прописывать в консоли при создании проекта.
  2. Нет опенсорс версии чтобы пощупать, что к чему.
  3. Впиливать модели для пре-аннотаций можно только из SpaCy.
  4. Документация на троечку и не отвечает на многие вопросы.
  5. UI на троечку (опять же, очень субъективно).
  6. Про менеджмент проектов всего пару слов и выглядит так, как будто он не очень хорошо продуман.

В принципе, достаточно сказано. Выглядит, как очень узкоспециализированный инструмент для тех, кто плотно работает со SpaCy. Если это про вас, то больше информации можно найти на официальном сайте.

4. NLab Marker

Это наш собственный маркер. Более подробно о нём можно почитать в нашей статье о маркере.

Статья написана на основании обзора на Habr.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *