Словарь терминов - Портал по разметке данных

0-9

AI Agent: Интеллектуальный агент.
Бот, используемый при решении задач искусственным интеллектом.

Active learning: Активное обучение.
Особый случай машинного обучения, в котором алгоритм обучения может интерактивно запрашивать пользователя (или какой-либо другой источник информации), чтобы пометить новые точки данных желаемыми выходными данными.

Algorithm: Алгоритм.
Процесс выполнения набора предписаний для выполнения задач.

Area under the curve (AUC): Площадь под кривой.
В контексте двоичной классификации это метрика оценки, обозначающая площадь под кривой, которая соотносит количество истинных положительных результатов (по оси Y) и ложных положительных результатов (по оси X). Значения находятся в диапазоне от 0,5 (наихудший) до 1 (наилучший). Также эта метрика называется площадью под ROC-кривой (кривой соотношений правильного и ложного обнаружения).

Artificial Intelligence (AI): Искусственный интеллект (ИИ).
По определению профессора Эндрю Мура, — это наука и технология разработки компьютеров, выполняющих функции, которые до недавнего времени считались прерогативой человеческого интеллекта

Association rules learning: Изучение ассоциативных правил.
Основанный на правилах метод машинного обучения для обнаружения интересных отношений между переменными в больших базах данных. Он предназначен для выявления сильных правил, обнаруженных в базах данных, с использованием некоторых показателей интереса.

Audio Mining: Аудиоанализ.
Метод, с помощью которого можно автоматически анализировать и искать содержимое аудиосигнала. Чаще всего он используется в области автоматического распознавания речи, где анализ пытается идентифицировать любую речь в аудио.

Audio-visual speech recognition (AVSR): Аудиовизуальное распознавание речи.
Метод, в котором используются возможности обработки изображений при чтении по губам, чтобы помочь системам распознавания речи распознавать недетерминированные телефоны или давать преимущество среди почти вероятностных решений.

Autoencoder: Автоэнкодер.
Тип искусственной нейронной сети, используемый для обучения эффективному кодированию неразмеченных данных.

Automatic image annotation: Автоматическое аннотирование изображения.
Процесс, посредством которого компьютерная система автоматически присваивает цифровому изображению метаданные в виде субтитров или ключевых слов. Это применение методов компьютерного зрения используется в системах поиска изображений для организации и поиска интересующих изображений в базе данных .

Automatic Speech Recognition (ASR): Автоматическое распознавание речи.
Это относится к способности машин понимать и обрабатывать естественную речь. Системы ASR используются в голосовых помощниках, чат-роботах, машинном переводе и т.д.

Backpropagation: Метод обратного распространения ошибки.
Метод обучения нейронных сетей, относится к методам обучения с учителем. Цель метода проста – отрегулировать веса пропорционально тому, насколько он способствует общей ошибке. Является одним из наиболее известных алгоритмов машинного обучения. На каждой итерации происходит два прохода сети — прямой и обратный. На прямом методе входной вектор распространяется от входов сети к ее выходам и формирует некоторый выходной вектор, соответствующий текущему (фактическому) состоянию весов. Затем вычисляется ошибка нейронной сети как разность между фактическим и целевым значениями. На обратном проходе эта ошибка распространяется от выхода сети к ее входам, и производится коррекция весов нейронов в соответствии с правилом.

Bag-of-words model: Модель мешка слов.
В компьютерном зрении может применяться для классификации или поиска изображений, рассматривая признаки изображения как слова. В классификации документов набор слов представляет собой разреженный вектор количества встречаемости слов; то есть разреженная гистограмма по словарному запасу.

Binary classification: Двоичная классификация.
Задача классификации элементов заданного множества в две группы (предсказание, какой из групп принадлежит каждый элемент множества) на основе правила классификации

Bot: Бот.
Автономная программа, которая может взаимодействовать с компьютерными системами, программами или пользователями. В большинстве случаев находится под прямым или косвенным управлением человека.

CER: Частота ошибок в символах.
Используют расстояние Левенштейна — это метод оценки разницы между двумя строками, который учитывает количество вставок, удалений и замен в одной из строк относительно другой. CER использует его на уровне символов. На вход этот метод получает две строки: распознавание вендора и исходная строка, она же референс.
Формула расчёта:
CER = (S+D+I)/N = (S+D+I)/(S+D+C), где:
S — количество замен
D — количество удалений
I — количество вставок
C — количество корректных символов
N — количество символов в исходной строке

В отличие от WER, при подсчёте CER НЕ учитываются пробелы.

Для каждого тестового датасета в итоге принято считать 2 величины:
Average CER, sum of relationships — средняя частота ошибок в символах, сумма отношений
Average CER, relationship of sums — средняя частота ошибок в символах, отношение сумм

Cache language model: Кэш-модель языка.
Разновидность статистической языковой модели. Они происходят в подобласти обработки естественного языка информатики и присваивают вероятности заданным последовательностям слов посредством распределения вероятностей. Статистические языковые модели являются ключевыми компонентами систем распознавания речи и многих систем машинного перевода: они сообщают таким системам, какие возможные последовательности выходных слов вероятны, а какие маловероятны.

Calibration: Калибровка.
Процесс сопоставления необработанной оценки на членство в классе для двоичной и мультиклассовой классификации. У некоторых обучающих алгоритмов ML.NET есть суффикс NonCalibrated. Эти алгоритмы создают необработанную оценку, которая затем должна быть сопоставлена с вероятностью класса.

Classification: Классификация.
Один из разделов машинного обучения, посвященный решению следующей задачи. Имеется множество объектов (ситуаций), разделённых некоторым образом на классы. Задано конечное множество объектов, для которых известно, к каким классам они относятся. Это множество называется обучающей выборкой. Классовая принадлежность остальных объектов не известна. Требуется построить алгоритм, способный классифицировать произвольный объект из исходного множества.

Clustering: Кластеризация.
Класс задач по группировке множества объектов на подмножества, по какому-либо признаку и группе признаков.

Computational learning theory: Теория вычислительного обучения.
Предметная область ИИ, которая посвящена разработке и анализу алгоритмов машинного обучения.

Computer audition (CA): Компьютерное прослушивание.
Общая область изучения алгоритмов и систем для понимания звука машиной.

Computer vision: Компьютерное зрение.
Междисциплинарная научная предметная область ИИ и информатики, посвященная изучению и разработке компьютеров, способных к визуальному распознаванию информации на входе.

Conditional random field (CRF): Условное случайное поле.
Класс методов статистического моделирования, часто применяемых при распознавании образов и машинном обучении, а также для структурированного прогнозирования. В то время как классификатор предсказывает метку для одной выборки без учета «соседних» выборок, CRF может учитывать контекст.

Constrained conditional model (CCM): Ограниченная условная модель.
Платформа машинного обучения и логического вывода, которая дополняет изучение условных (вероятностных или дискриминационных) моделей с декларативными ограничениями.

Conversational user interface (CUI): Диалоговый пользовательский интерфейс.
Пользовательский интерфейс для компьютеров, который имитирует разговор с реальным человеком.

Convolutional neural network (CNN): Сверточная нейронная сеть (СНС).
Класс глубоких нейронных сетей, используемых для распознавания, обработки и анализа изображений. Архитектура сверточных нейронных сетей изначально разрабатывалась для обработки распознавания образов.

Data Cleansing: Очистка данных.
Обеспечение качества наборов данных. Для нахождения и исправления ошибочных записей данных в базе данных (базах данных), наборы данных тщательно проверяются.

Data mining: Интеллектуальный анализ данных
Это процесс изучения и обнаружения закономерностей в данных для получения новой информации.

Data science: Наука о данных.
Междисциплинарная научная область, которая занимается изучением процессов анализа, обработки и представления данных в цифровом виде. Дисциплина получила широкое распространение благодаря концепции «больших данных» (big data).

Datasets: Наборы данных.
Набор структурированных данных, предназначенных для обучения моделей нейронных сетей.

Deep learning: Глубокое обучение.
Раздел машинного обучения, в котором применяются многослойные нейронные сети. В сочетании с высокой вычислительной мощностью и большими наборами данных могут применятся для решения большого ряда задач, в том числе, которые ранее были под силу только человеку.

Deep neural network (DNN): Глубокая нейронная сеть.
Сеть с несколькими скрытыми слоями. Чем больше скрытых слоёв содержит модель, тем меньше представления мы имеем о процессах в скрытых слоях.

Detection: Обнаружение объектов.
Компьютерная технология, связанная с компьютерным зрением и обработкой изображений, которая занимается обнаружением экземпляров семантических объектов определенного класса (например, людей, зданий или автомобилей) в цифровых изображениях и видео.

Dialog manager (DM): Диспетчер диалогов.
Компонент диалоговой системы, отвечающий за состояние и ход диалога.

Dialogue system: Диалоговая система.
Компьютерная система, предназначенная для общения с человеком. Диалоговые системы использовали один или несколько из текстовых, речевых, графических, тактильных, жестовых и других способов общения как на входном, так и на выходном канале.

Digital image processing: Цифровая обработка изображений.
Использование цифрового компьютера для обработки цифровых изображений с помощью алгоритма.

Dimensional reduction: Снижение размерности.
Процесс уменьшения числа случайных переменных путем получения выборки главных переменных методом отбора и/или выделения признаков.

Document AI: Документ ИИ.
Технология, использующая обработку естественного языка (NLP) и машинное обучение (ML) для обучения компьютеров моделированию просмотра документов человеком.

Embodied agent: Воплощенный агент.
Интеллектуальный агент, который взаимодействует с окружающей средой через физическое тело в этой среде.

Feature engineering: Разработка признаков.
Процесс использования знаний предметной области для извлечения признаков (характеристик, свойств, атрибутов) из необработанных данных. Мотивация состоит в том, чтобы использовать эти дополнительные функции для повышения качества результатов процесса машинного обучения по сравнению с предоставлением в процесс машинного обучения только необработанных данных.

Forecasting: Прогнозирование.
Это процесс (часто основанный на научном исследовании) по расчету прогноза или разработке прогнозной модели.
В узком смысле под прогнозированием понимают предсказание будущих значений временного ряда на основе его значений в прошлом, и, возможно, дополнительной информации.

Gated recurrent units (GRUs): Закрытая рекуррентная единица.
Механизм селектора в рекуррентных нейронных сетях. Похож на долговременную кратковременную память (LSTM) с вентилем забывания, но имеет меньше параметров, чем LSTM, так как в нем отсутствует выходной вентиль.

Generative adversarial networks (GANs): Генеративная состязательная сеть.
Генеративная состязательная сеть (GAN) представляет собой две нейронные сети, одна из которых генерирует контент, вторая старается отличить подлинный контент от сгенерированного. Используется, в частности, для создания фотореалистичных изображений или повышения качества изображений.

Grammar induction: Грамматическая индукция (или грамматический вывод).
Процесс машинного обучения изучения формальной грамматики (обычно в виде набора правил перезаписи или продукций или, альтернативно, в виде конечного автомата или какого-либо автомата) из набора наблюдений, создавая таким образом модель, учитывающую характеристики наблюдаемых объектов. В более общем смысле грамматический вывод — это та ветвь машинного обучения, где пространство экземпляров состоит из дискретных комбинаторных объектов, таких как строки, деревья и графики.

Group Method of Data Handling: Метод группового учёта аргументов.
Cемейство индуктивных алгоритмов для математического моделирования мультипараметрических данных. Метод основан на рекурсивном селективном отборе моделей, на основе которых строятся более сложные модели. Точность моделирования на каждом следующем шаге рекурсии увеличивается за счет усложнения модели.

Handcrafted features: Вручную построенные признаки

Handwriting recognition: Распознавание рукописного ввода.
Способность компьютера получать и интерпретировать разборчивый рукописный ввод из таких источников, как бумажные документы, фотографии, сенсорные экраны и другие устройства.

Hough transform: Преобразование Хафа.
Метод извлечения признаков, используемый в анализе изображений, компьютерном зрении и цифровой обработке изображений. Целью метода является поиск несовершенных экземпляров объектов в пределах определенного класса форм с помощью процедуры голосования.

Identification: Идентификация.
Распознавание индивидуального экземпляра объекта. Примеры: идентификация определённого человеческого лица, отпечатка пальцев или автомобиля.

Image segmentation: Сегментация изображения.
Процесс разделения цифрового изображения на несколько сегментов (множество пикселей, также называемых суперпикселями). Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать.

Information extraction (IE): Извлечение информации.
Задача автоматического извлечения структурированной информации из неструктурированных и/или полуструктурированных машиночитаемых документов и других источников, представленных в электронном виде. В большинстве случаев эта деятельность касается обработки текстов на человеческом языке с помощью обработки естественного языка (NLP).

Instance segmentation: Сегментация экземпляров.
Подход, который идентифицирует для каждого пикселя принадлежащий экземпляр объекта. Он обнаруживает каждый отдельный интересующий объект на изображении. Например, когда каждый человек на рисунке сегментирован как отдельный объект.

Integral Channel Features (ICF): Функция встроенного канала.
Метод обнаружения объектов в компьютерном зрении. Он использует интегральные изображения для извлечения функций, таких как локальные суммы, гистограммы и функции типа Хаара, из нескольких зарегистрированных каналов изображения.

Intelligent character recognition (ICR): Интеллектуальное распознавание символов.
Расширенное оптическое распознавание символов (OCR) или, что более конкретно, система распознавания рукописного ввода, которая позволяет компьютеру изучать шрифты и различные стили почерка во время обработки для повышения точности и уровней распознавания.

Intelligent virtual assistant (IVA): Интеллектуальный виртуальный помощник.
Программный агент, который может выполнять задачи или услуги для человека на основе команд или вопросов.

Intelligent word recognition (IWR): Интеллектуальное распознавание слов.
Распознавание неограниченных рукописных слов. IWR распознает целые рукописные слова или фразы, а не посимвольно, как его предшественник, оптическое распознавание символов (OCR). Технология IWR сопоставляет написанные от руки или напечатанные слова с заданным пользователем словарем, что значительно снижает число ошибок, возникающих в типичных механизмах распознавания на основе символов.

Interactive voice response (IVR): Интерактивный голосовой ответ.
Технология, которая позволяет людям взаимодействовать с управляемой компьютером телефонной системой посредством ввода голоса и тонов DTMF через клавиатуру.

Knowledge base (KB): База знаний.
Технология, используемая для хранения сложной структурированной и неструктурированной информации, используемой компьютерной системой.

Knowledge representation and reasoning (KRR, KR&R, KR²): Представление знаний и рассуждения.
Область искусственного интеллекта, предназначенная для представления информации о мире в форме, которую компьютерная система может использовать для решения сложных задач, таких как диагностика состояния здоровья или ведение диалога на естественном языке.

Labeled data: Размеченные данные.
Группа образцов, помеченных одной или несколькими метками. Маркировка обычно берет набор немаркированных данных и дополняет каждую его часть информативными тегами. Например, в метке данных может быть указано, изображена ли на фотографии лошадь или корова, какие слова были произнесены в аудиозаписи, какой тип действия выполняется в видео.

Learning to rank: Обучение ранжированию.
Класс задач машинного обучения с учителем, заключающихся в автоматическом подборе ранжирующей модели по обучающей выборке, состоящей из множества списков и заданных частичных порядков на элементах внутри каждого списка.

Long short-term memory networks (LSTMs): Сети с долгой краткосрочной памятью.
Сети с долгой краткосрочной памятью (LSTM) — это уникальные виды рекуррентных нейронных сетей, способные обрабатывать долгосрочные зависимости

Machine learning (ML): Машинное обучение.
По определению профессора Тома Митчелла, машинное обучение — это научная область ИИ, которая изучает компьютерные алгоритмы, позволяющие компьютерным программам автоматически совершенствоваться по мере накопления опыта

Machine learning model: Модель машинного обучения.
Моделирование машинного обучения — это система вопросов/ответов, снабженная очищенными данными, разработанная для выявления определённых закономерностей. Модель машинного обучения может быть определена как комплексное отображение некоторого процесса.

Machine perception: Машинное восприятие.
Способность компьютерной системы воспринимать данные подобно человеку.

Machine vision: Машинное зрение.
Применение компьютерного зрения для промышленности и производства. В то время как компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть, областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода-вывода и компьютерные сети, предназначенные для контроля производственного оборудования

Meta-learning: Мета-обучение.
Подход, позволяющий определять наиболее подходящий алгоритм (иногда, вместе с параметрами к нему) для конкретной задачи из портфолио алгоритмов. Основная идея мета-обучения — свести задачу выбора алгоритма к задаче обучения с учителем: задачи описываются мета-признаками. Мета-признак описывает свойство задачи — например, разрежен ли датасет или нет, число категориальных или численных признаков объектов в датасете, число возможных меток, размер датасета и многое другое.

Multi-task learning (MTL): Многозадачное обучение.
Это подобласть машинного обучения, в которой несколько учебных задач решаются одновременно, используя общие черты и различия между задачами. Это может привести к повышению эффективности обучения и точности прогнозирования для моделей для конкретных задач по сравнению с обучением моделей по отдельности. Ранние версии MTL назывались «подсказками».

Multiclass classification: Мультиклассовая или полиномиальная классификация.
Проблема классификации экземпляров в один из трех или более классов.

N-грамм: Схема извлечения признаков для текстовых данных, которая преобразует любую последовательность из N слов в определенное значение признака.

Named Entity Recognition (NER): Распознавание именованных сущностей.
Подзадача извлечения информации, которая направлена на поиск и классификацию именованных сущностей, упомянутых в неструктурированном тексте, в заранее определенные категории, такие как человек имена, организации, местоположения, медицинские коды, выражения времени, количества, денежные значения, проценты и т. д.

Natural Language Processing (NLP): Обработка естественного языка.
Научная отрасль искусственного интеллекта, которая занимается развитием понимания, интерпретации и применения компьютерами человеческого языка.

Natural language generation (NLG): Генерация естественного языка.
Программный процесс, который создает вывод на естественном языке

Natural-language understanding (NLU): Понимание естественного языка.
Подтема обработки естественного языка в искусственном интеллекте, связанная с пониманием машинного чтения .

Neural machine translation (NMT): Нейронный машинный перевод.
Подход к машинному переводу, который использует искусственную нейронную сеть для прогнозирования вероятности последовательности слов, обычно моделируя целые предложения в единой интегрированной модели.

Neural modeling field (NMF): Область нейронного моделирования.
Математическая основа для машинного обучения, которая сочетает в себе идеи нейронных сетей, нечеткой логики и распознавания на основе моделей. Его также называют полями моделирования, теорией полей моделирования (MFT), искусственными нейронными сетями максимального правдоподобия (MLANS).

Neural network: Нейронная сеть.
Искусственная нейронная сеть — это компьютерная система, смоделированная по образцу человеческого мозга.

Normalization: Нормализация.
Процесс масштабирования данных с плавающей точкой до значений от 0 до 1.

Object recognition: Распознавание объектов.
Технология в области компьютерного зрения для поиска и идентификации объектов на изображении или видеоряде.

Online learning: Онлайновое машинное обучение
Метод машинного обучения, в котором данные становятся доступными в последовательном порядке и используются для обновления лучшего предсказания для последующих данных, выполняемого на каждом шаге обучения. Метод противоположен пакетной технике обучения, в которой лучшее предсказание генерируется за один раз, исходя из полного тренировочного набора данных.

Optical character recognition (OCR): Оптическое распознавание символов.
Механический или электронный перевод изображений рукописного, машинописного или печатного текста в текстовые данные, использующиеся для представления символов в компьютере.

Outliers detection: Обнаружение выбросов.
Идентификация редких элементов, событий или наблюдений, которые значительно отклоняются от большинства данных.

Parsing: Разбор или синтаксический анализ.
Процесс анализа строки символов либо на естественном языке, либо на компьютерных языках, либо в структурах данных, в соответствии с правилами формальной грамматики.

Pattern recognition: Распознавание образов.
Автоматическое распознавание закономерностей и закономерностей в данных. Он применяется в статистическом анализе данных, обработке сигналов, анализе изображений, поиске информации, биоинформатике, сжатии данных, компьютерной графике и машинном обучении.

Phonetic Search Technology (PST): Технология фонетического поиска.
Метод распознавания речи. Звуковой сигнал речи разбивается на серии фонем, которые можно использовать для идентификации слов. Строка из шести фонем, например, «_B _IY _T _UW _B _IY», представляет собой аббревиатуру «B2B».

Photometric stereo: Фотометрическое стерео.
Метод компьютерного зрения для оценки нормалей к поверхности объектов путем наблюдения за этим объектом в различных условиях освещения. Он основан на том факте, что количество света, отраженного поверхностью, зависит от ориентации поверхности по отношению к источнику света и наблюдателю.

Pipeline: Все операции, необходимые для приведения модели в соответствие набору данных. Конвейер включает шаги импорта данных, преобразования, присвоения признаков и обучения. После обучения конвейер становится моделью.

Predictive analytics: Предиктивная аналитика.
Включает в себя множество статистических методов, от интеллектуального анализа данных, прогнозного моделирования и машинного обучения, которые анализируют текущие и исторические факты, чтобы делать прогнозы о будущих или иным образом неизвестных событиях.

Question answering (QA): Ответы на вопросы.
Дисциплина информатики в области поиска информации и обработки естественного языка (NLP), которая связана с созданием систем, которые автоматически отвечают на вопросы, заданные людьми на естественном языке.

Recognition: Распознавание.
Классическая задача в компьютерном зрении, обработке изображений и машинном зрении, которая определяет, содержат ли данные некоторый характерный объект, особенность или активность.

Recurrent neural network (RNN): Рекуррентная нейронная сеть.
Эффективный и устойчивый к сбоям тип нейронной сети, использующей для обработки сложных последовательностей свою внутреннюю память.

Regression: Регрессионный анализ.
Раздел математической статистики и машинного обучения, метод моделирования измеряемых данных и исследования их свойств. Данные состоят из пар значений зависимой переменной (переменной отклика) и независимой переменной (объясняющей переменной). Регрессионная модель есть функция независимой переменной и параметров с добавленной случайной переменной. Параметры модели настраиваются таким образом, что модель наилучшим образом приближает данные.

Regularization: Регуляризация.
Метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Регуляризация “наказывает” линейную модель за слишком большую сложность. Существует два типа регуляризации.
1. L1L использует нули как весовые коэффициенты для незначащих признаков. Размер сохраненной модели может уменьшиться после регуляризации такого рода.
2. L2L сводит к минимуму диапазон весовых коэффициентов для незначащих признаков. Это более общий процесс, который менее чувствителен к выбросам.

Reinforcement learning: Обучение с подкреплением
Один из способов машинного обучения, в ходе которого испытуемая система (агент) обучается, взаимодействуя с некоторой средой.

Relationship extraction: Извлечение отношений.
Задача требует обнаружения и классификации упоминаний семантических отношений в наборе артефактов, как правило, из текстовых или XML – документов. Задача очень похожа на извлечение информации (IE), но IE дополнительно требует удаления повторяющихся отношений (устранение неоднозначности) и обычно относится к извлечению множества различных отношений.

Representation Learning: Обучение представлениям^.
Набор техник, которые позволяют системе автоматически обнаружить представления, необходимые для выявления признаков или классификации исходных (сырых) данных.

Robotic Process Automation (RPA): Роботизированная автоматизация процессов.
Форма технологии автоматизации бизнес-процессов, основанная на метафорическом программном обеспечении роботов (ботов) или работников искусственного интеллекта.

Semantic segmentation: Семантическая сегментация.
Подход, определяющий принадлежность каждого пикселя к классу объекта. Например, когда все люди на рисунке сегментированы как один объект, а фон как один объект.

Semi-supervised learning: Частичное обучение.
Один из методов машинного обучения, использующий при обучении как размеченные, так и неразмеченные данные. Обычно используется небольшое количество размеченных и значительный объём неразмеченных данных. Частичное обучение является компромиссом между обучением без учителя и контролируемым обучением.

Sentence boundary disambiguation (SBD): Устранение неоднозначности границ предложения.
Проблема в обработке естественного языка, связанная с определением, где предложения начинаются и заканчиваются. Инструменты обработки естественного языка часто требуют, чтобы их ввод был разделен на предложения; однако определение границ предложения может быть затруднено из-за потенциальной двусмысленности знаков препинания .

Sentiment analysis: Анализ настроений (также известный как интеллектуальный анализ мнений или эмоциональный ИИ).
Использование обработки естественного языка, анализа текста, компьютерной лингвистики и биометрии для систематической идентификации, извлечения, количественной оценки и изучения аффективных состояний и субъективной информации.

Seq2seq: Семейство подходов к машинному обучению, используемых для обработки языка. Приложения включают языковой перевод, субтитры к изображениям, диалоговые модели и обобщение текста.

Sequence labeling: Маркировка последовательности.
Тип задачи распознавания образов, который включает алгоритмическое присвоение категориальной метки каждому члену последовательности наблюдаемых значений. Типичным примером задачи маркировки последовательности является маркировка части речи, которая стремится назначить часть речи каждому слову во входном предложении или документе.

Sparse coding: Разреженное кодирование.
Метод обучения представлению, целью которого является поиск разреженного представления входных данных в виде линейной комбинации базовых элементов, а также самих этих базовых элементов.

Speech corpus: Речевой корпус.
База данных речевых аудиофайлов и текстовых транскрипций. В речевых технологиях речевые корпуса используются, среди прочего, для создания акустических моделей (которые затем могут использоваться с механизмом распознавания речи или идентификации говорящего).

Speech recognition: Распознавание речи.
Междисциплинарная область информатики и компьютерной лингвистики, которая разрабатывает методологии и технологии, позволяющие распознавать и переводить разговорный язык в текст с помощью компьютеров.

Speech segmentation: Сегментация речи.
Процесс определения границ между словами, слогами или фонемами в разговорных естественных языках.

Speech synthesis: Синтез речи.
Искусственное производство человеческой речи.

Spoken dialog systems: Голосовая диалоговая система.
Компьютерная система, способная общаться с человеком с помощью голоса.

Statistical machine translation (SMT): Статистический машинный перевод.
Представляет собой парадигму машинного перевода, в которой переводы генерируются на основе статистических моделей, параметры которых получены в результате анализа корпусов двуязычных текстов .

Structured prediction: Структурированное прогнозирование или структурированное (выходное) обучение.
Общий термин для методов контролируемого машинного обучения, которые включают прогнозирование структурированных объектов, а не скалярных дискретных или реальных значений.

Supervised learning: Контролируемое обучение.
Задача машинного обучения, состоящая в изучении функции, которая сопоставляет входные данные с выходными на основе примеров пар “вход-выход”. Он выводит функцию на основе помеченных обучающих данных, состоящих из набора обучающих примеров.

Test sample: Тестовая (или контрольная) выборка.
Выборка, на которой оценивается качество построенной модели и контролируется процесс обучения с целью исключения эффекта переобучения. Тестовый набор данных не зависит от обучающей выборки, но имеет одинаковое с ней распределение вероятностей.

Text mining: Интеллектуальный анализ текста.
Процесс извлечения высококачественной информации из текста. Он включает в себя «обнаружение компьютером новой, ранее неизвестной информации путем автоматического извлечения информации из различных письменных ресурсов».

Text segmentation: Сегментация текста.
Процесс разделения письменного текста на значимые единицы, такие как слова, предложения или темы.

Text to Speech (TTS): Технология преобразования текста в речь. Это компьютерное моделирование человеческой речи из текстового представления при помощи методов машинного обучения.

Tokenization: Токенизация.
Процесс преобразования последовательности символов (например, в компьютерной программе или веб-странице) в последовательность токенов (строки с присвоенным и, таким образом, идентифицированным значением).

Topic model: Тематическая модель.
В машинном обучении и обработке естественного языка является типом статистической модели для обнаружения абстрактных «тем», которые встречаются в коллекции документов. Это часто используемый инструмент анализа текста для обнаружения скрытых семантических структур в теле текста.

Training sample: Обучающая выборка.
Выборка, на которой производится обучение алгоритма, в частности, нейронной сети с целью минимизации заданной функции потерь.

Transductive learning: Трансдуктивное обучение.
Полу-контролируемое обучение (частичное обучение), обучение с частичным привлечением учителя, когда прогноз предполагается делать только для прецедентов из тестовой выборки.

Transfer learning: Трансферное обучение.
Метод машинного обучения, при котором применение знаний, полученных из модели, используемой в одной задаче, может быть повторно использовано в качестве основы для другой задачи.

Transformer: Трансформер.
Модель глубокого обучения, использующая механизм самоконтроля, по-разному взвешивающий значимость каждой части входных данных. Он используется в основном в области обработки естественного языка (NLP) и компьютерного зрения (CV).

Truecasing: Проблема обработки естественного языка (NLP), связанная с определением правильного написания слов с заглавной буквы , когда такая информация недоступна. Обычно это происходит из-за стандартной практики автоматического написания первого слова предложения с заглавной буквы. Он также может возникать в тексте с плохим регистром или без регистра (например, текстовые сообщения, написанные только строчными или прописными буквами).

Turing test: Тест Тьюринга.
Знаменитый тест Тьюринга представляет собой тест, который признается пройденным только в том случае, если во ходе общения человек не смог отличить машину от человека.

Unstructured Data: Неструктурированные данные (или неструктурированная информация).
Это информация, которая либо не имеет заранее определенной модели данных, либо не организована заранее определенным образом. Неструктурированная информация, как правило, содержит много текста, но также может содержать такие данные, как даты, цифры и факты.

Unsupervised learning: Обучение без учителя.
Один из разделов машинного обучения. Изучает широкий класс задач обработки данных, в которых известны только описания множества объектов (обучающей выборки), и требуется обнаружить внутренние взаимосвязи, зависимости, закономерности, существующие между объектами.

Validation sample: Проверочная выборка.
Выборка, на которой осуществляется проверка модели из множества моделей, построенных по обучающей выборке и выбирается лучшая модель.

Vanishing gradient problem: Проблема исчезающего градиента.
В машинном обучении встречается при обучении искусственных нейронных сетей методами обучения на основе градиента и обратным распространением. В таких методах во время каждой итерации обучения каждый из весов нейронной сети получает обновление, пропорциональное частной производной функции ошибок по текущему весу. Проблема в том, что в некоторых случаях градиент будет исчезающе малым, эффективно предотвращая изменение значения веса. В худшем случае это может полностью остановить дальнейшее обучение нейронной сети.

Voice user interface (VUI): Голосовой пользовательский интерфейс.
Делает возможным устное взаимодействие человека с компьютером, используя распознавание речи для понимания произнесенных команд и ответов на вопросы, а также, как правило, преобразования текста в речь для воспроизведения ответа.

VoiceXML (VXML): Стандарт цифровых документов для описания интерактивных медиа и голосовых диалогов между людьми и компьютерами. Он используется для разработки аудио- и голосовых приложений, таких как банковские системы и автоматизированные порталы обслуживания клиентов.

WER: Частота ошибок в словах.
Общий показатель производительности системы распознавания речи или машинного перевода.
Используют расстояние Левенштейна — это метод оценки разницы между двумя строками, который учитывает количество вставок, удалений и замен в одной из строк относительно другой. WER использует его на уровне слов. На вход этот метод получает две строки: распознавание вендора и исходная строка, она же референс.
Формула расчёта:
WER = (S+D+I)/N = (S+D+I)/(S+D+C), где:
S — количество замен
D — количество удалений
I — количество вставок
C — количество корректных слов
N — количество слов в исходной строке

Для каждого тестового датасета в итоге принято считать 2 величины:
Average WER, sum of relationships — средняя частота ошибок в словах, сумма отношений
Average WER, relationship of sums — средняя частота ошибок в словах, отношение сумм

Word embedding: Встраивание слов.
В обработке естественного языка это термин, используемый для представления слов для анализа текста, обычно в форме вектора с действительным знаком, который кодирует значение слова таким образом, что слова, которые находятся ближе в векторе space, как ожидается, будут схожими по смыслу.