Лекции по курсу “Методы и алгоритмы распознавания и обработки данных (сверточные сети).”

$A$: Алгоритм.
$T$: Задача машинного обучения.
$E$: Обучающая выборка.
$P$: Критерий качества.
$\vec{x}_i$: $i$-ый экземпляр данных.
$y_i$: Ненаблюдаемая величина для $i$-го экземпляра данных.
$\hat{y}_i$: Оценка ненаблюдаемой величины для $i$-го экземпляра данных (метка, label, класс).
$\vec{x}_i(n)$: $n$-ый элемент, $i$-го экземпляра данных (экземпляр данных - вектор, элемент экземпляра - число либо качественный признак).
$p\left(y_i=k|\vec{x_i}\right)$: Условная вероятность ненаблюдаемой величины для наблюдаемого вектора признаков.

Рассмотрим двумерную (размерность вектора признаков-2) задачу бинарной (на два класса) классификации с обучающей выборкой вида:

Пример линейно неразделимой обучающей выборки.

Ни при каком расположении прямой не удастся разделить такую выборку на два класса. Существует два простых решения: 1) воспользоваться классификатором с нелинейной границей (например, методом опорных векторов с нелинейным ядром); 2) Использовать составной (двухэтапный) классификатор. В этом семестре сосредоточимся на многоэтапных (многослойных) классификаторах. Основная идея таких классификаторов - выделение базовых признаков на первом слое и их объединение на последующих этапах (слоях) классификации для получения окончательного ответа. Решим задачу на Рис.1 с помощью двухслойного линейного классификатора. На первом слое будем использовать два классификатора (два нейрона в терминологии искусственных нейросетей) как изображено на Рис.2.

Два линейных классификатора первого слоя.

Структура двухслойного классификатора представлена на Рис.3.

В рассматриваемом примере возможно обучить классификаторы первого и второго слоев раздельно и лишь затем объединить их в двухслойную структуру. В большинстве случаев такой подход не сработает и необходим алгоритм одновременного обучения всех весов $\mathbf{c}$ рассматриваемой сети.

Биологический нейрон - это нервная клетка, осуществляющая в живом организме функции элементарного блока передачи и обработки информации. Биологические нейроны являются псевдоцифровыми элементами в том смысле, что сигнал на выходе нейрона может принимать два уровня - либо сигнал есть, либо его нет. Присутсвие сигнала характеризуется появлением на выходе нейрона _потенциала действия_ (active potential). Рис.3</a>.