Нейронные сети. Часть 11

Алгоритмы метода сопряженных градиентов

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию traincgf.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'traincgf');  

Обучение сети:

    0.9760    0.9780  

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию traincgp.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'traincgp');  

Обучение сети:

    0.9938    0.9938  

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию traincgb.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'traincgb');  

Обучение сети:

    0.9977    0.9977  

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig, а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию trainscg.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'trainscg');  

Обучение сети:

    0.9820    0.9830  

Квазиньютоновы алгоритмы обучения

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию trainbfg.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'trainbfg');  

Обучение сети:

    0.9989    0.9990  

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию trainoss.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'trainoss');  

Обучение сети:

    0.9935    0.9936  

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию trainlm.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'trainlm');  

Обучение сети:

TRAINLM, Performance goal met.  

Данный алгоритм имеет адаптивный параметр mu, изменение которого построено в виде графика:

Выполним моделирование сети:

Y = sim(net,P)  

    0.9970    0.9970  

Рассмотрим задачу аппроксимации синусоидальной функции, которая зашумлена нормально распределенным шумом:

Сформируем для решения этой задачи двухслойную нейронную сеть прямой передачи сигнала. Вход сети принимает значения в диапазоне от –1 до 1. Первый слой имеет 20 нейронов с функцией активации tansig, второй слой имеет один нейрон с функцией активации purelin . В качестве обучающей  используем функцию trainbr.

Формирование сети

net = newff([-1 1],[20,1],{'tansig','purelin'},'trainbr');  

Обучение сети:

TRAINBR, Maximum epoch reached.  

Выполним моделирование сети и построим графики исследуемых функций

legend('выход', 'вход')  

Функции оценки качества обучения

Получим информацию о данной функции и ее производной:

     {}  

Сформируем двухслойную нейронную сеть прямой передачи с одноэлементным входом, изменяющимся в диапазоне [–10 10], которая имеет 4 скрытых нейрона с функцией активации tansig и 1 нейрон на выходе с функцией активации purelin :

net = newff([-10 10],[4 1],{'tansig','purelin'});  

Зададим векторы входа и целей

P = [-10 -5 0 5 10]; T = [ 0 0 1 1 1];  

Промоделируем исходную нейронную сеть и вычислим ее ошибку

   15.8554  

Теперь вычислим градиенты функционала качества.

Градиент функционала по вектору ошибки вычисляется следующим образом

    5.3284  

Для вычислений градиента функционала по вектору настраиваемых параметров сформируем этот вектор, который объединяет веса и смещения сети

X = [net.IW{1}; net.b{1}]'  

   -5.6000    1.8667    1.8667    5.6000  

Градиент функционала по вектору параметров

dPerf_dX = dsse('x',E,X)  

     0  

Этот градиент равен нулевому вектору, поскольку функционал качества не зависит явным образом от параметров сети.

Получим информацию о данной функции и ее производной:

     {}  

Сформируем двухслойную нейронную сеть прямой передачи с одноэлементным входом, изменяющимся в диапазоне [–10 10], которая имеет 4 скрытых нейрона с функцией активации tansig и 1 нейрон на выходе с функцией активации purelin :

net = newff([-10 10],[4 1],{'tansig','purelin'});  

Зададим векторы входа и целей

P = [-10 -5 0 5 10]; T = [ 0 0 1 1 1];  

Промоделируем исходную нейронную сеть и вычислим ее ошибку

    4.1533  

Теперь вычислим градиенты функционала качества.

Для вычисления градиентов сформируем вектор настраиваемых параметров (веса и смещения):

X = [net.IW{1}; net.b{1}]'  

Градиент функционала по вектору ошибки вычисляется следующим образом

    0.9101  

Градиент функционала по вектору настраиваемых параметров:

     0  

Этот градиент равен нулевому вектору, поскольку функционал качества не зависит явным образом от параметров сети.

Получим информацию о данной функции и ее производной

    ratio: 0.9000  

Это единственный функционал качества, который состоит из двух слагаемых: среднеквадратической ошибки с весом ratio и штрафной функции, оцениваемой суммой квадратов весов и смещений с весом 1-ratio.

Сформируем двухслойную нейронную сеть прямой передачи с одноэлементным входом, изменяющимся в диапазоне [–10 10], которая имеет 4 скрытых нейрона с функцией активации tansig и 1 нейрон на выходе с функцией активации purelin:

net = newff([-10 10],[4 1],{'tansig','purelin'});   

Зададим векторы входа и целей

P = [-10 -5 0 5 10]; T = [ 0 0 1 1 1];  

Промоделируем исходную нейронную сеть и вычислим ее ошибку

    2.2333  

Теперь вычислим градиенты функционала качества.

Для вычисления градиентов сформируем вектор настраиваемых параметров (веса и смещения):

   -5.6000    1.8667    1.8667    5.6000  

Градиент функционала по вектору ошибки вычисляется следующим образом

    0.1400   -0.0467   -0.0467   -0.1400  

Этот градиент не равен нулевому вектору, поскольку функционал качества зависит явным образом от параметров сети.

Получим информацию о данной функции и ее производной

     {}  

Сформируем двухслойную нейронную сеть прямой передачи с одноэлементным входом, изменяющимся в диапазоне [–10 10], которая имеет 4 скрытых нейрона с функцией активации tansig и 1 нейрон на выходе с функцией активации purelin:

net = newff([-10 10],[4 1],{'tansig','purelin'});  

Зададим векторы входа и целей

P = [-10 -5 0 5 10]; T = [ 0 0 1 1 1];  

Промоделируем исходную нейронную сеть и вычислим ее ошибку

    0.3059  

Теперь вычислим градиенты функционала качества.

Для вычисления градиентов сформируем вектор настраиваемых параметров (веса и смещения):

   -5.6000    1.8667    1.8667    5.6000  

Градиент функционала по вектору ошибки вычисляется следующим образом

     1     1     1    -1     1  

Градиент функционала по вектору параметров

dPerf_dX = dmae('x',{E},{X})  

     0  

Функции настройки параметров

Определим сеть со случайными векторами входа p и ошибки e:

p = rand(2,1); e = rand(3,1);  

Вызов функции learnp можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.1798    0.1412  

Определим сеть со случайными векторами входа p и ошибки e:

p = rand(2,1); e = rand(3,1);  

Вызов функции learnpn можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.6055    0.1473  

Определим сеть со случайными векторами входа p и ошибки e с 2-элементным входом и тремя нейронами и параметром скорости настройки lr:

Вызов функции learnwh можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.1695    0.1015  

Допустим, что на некотором шаге настройки слоя с 3 нейронами и двухэлементным входом известен случайный вектор градиента gW, а параметр скорости настройки задан равным 0.5:

gW = rand(3,2); lp.lr = 0.5;  

Тогда вызов функции learngd можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.4609    0.2029  

Допустим, что на некотором шаге настройки слоя с 3 нейронами и двухэлементным входом известен случайный вектор градиента gW, а параметры скорости настройки и возмущения заданы равными 0.6 и 0.8, соответственно:

Тогда вызов функции  learngdm можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

ls.dw  

    0.2462    0.2117  

Определим слой нейронной сети с двухэлементным входом и тремя нейронами сеть со случайными массивами входа p, весов w и выхода a; зададим также градиент функционала по выходу gA и параметр скорости настройки lr:

gA = [-1;1;1]; lp.lr = 0.5;  

Вызов функции learnlv1 можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

   -0.3072    0.0945  

Определим слой нейронной сети с двухэлементным входом и тремя нейронами сеть со случайными массивами входа p, весов w и выхода a; зададим также градиент функционала по выходу gA и параметр скорости настройки lr:

Вызов функции learnlv2 можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.2254   -0.1108  

Определим слой Кохонена сети с двухэлементным входом и тремя нейронами со случайными массивами входа p, весов w и выхода a; зададим также параметр скорости настройки lr:

lp.lr = 0.5;  

Вызов функции learnk можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

   -0.1501    0.1838  

Определим слой Кохонена сети с двухэлементным входом и тремя нейронами со случайными массивами выхода a, вектора смещений b; зададим также параметр скорости настройки lr:

Вызов функции learnk можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.1399  

Определим слой Кохонена с двухэлементным входом и тремя нейронами со случайными массивами входа p, весов w и выхода a; зададим также параметр скорости настройки lr:

lp.lr = 0.5;  

Вызов функции learnis можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

   -0.0367   -0.0836  

Определим слой Кохонена с двухэлементным входом и тремя нейронами со случайными массивами входа p, весов w и выхода a; зададим также параметр скорости настройки lr:

lp.lr = 0.5;  

Вызов функции learnos можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.0272    0.0262  

Определим карту Кохонена с расположением нейронов на гексагональной сетке размера 2´3, а также расстояния между ними; зададим случайные массивы входа p, выхода a и весов w, а также параметры процедуры настройки.

Вызов функции learnsom можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

Определим нейронную сеть с двухэлементным входом и тремя нейронами со случайными массивами входа p и выхода a; зададим также параметр скорости настройки lr:

Вызов функции learnh можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.0994    0.0137  

Зададим числовой массив входа, состоящий из четырех двухэлементных векторов и вычислим максимальные значения параметра скорости настройки для линейной сети без и со смещением:

lr = maxlinlr(P,'bias') %Со смещением  

    0.0067  

Определим сеть со случайными входом P, выходом A и весами W для слоя с 2-элементным входом и тремя нейронами; зададим также параметры скорости настройки lr и затухание dr.

lp.lr = 0.5; lp.dr = 0.05;  

Вызов функции learnhd можно организовать следующим образом, поскольку не все входные аргументы требуются для вызова этой функции:

    0.1174    0.0576  

Функции одномерного поиска

Заданы векторы входа p и целей t, требуется сформировать нейронную сеть, выходы которой близки к заданным целям:

p = [0 1 2 3 4 5]; t = [0 0 0 1 1 1];  

Выберем архитектуру двухслойной сети с прямой передачей сигнала; зададим диапазон входов от 0 до 10, первый слой имеет 2 нейрона с функцией активации tansig, второй – 1 нейрон с функцией активации logsig. Используем функции обучения traincgf и поиска одномерного экстремума srchgol.

Заданы векторы входа p и целей t, требуется сформировать нейронную сеть, выходы которой близки к заданным целям:

p = [0 1 2 3 4 5]; t = [0 0 0 1 1 1];  

Выберем архитектуру двухслойной сети с прямой передачей сигнала; зададим диапазон входов от 0 до 10, первый слой имеет 2 нейрона с функцией активации tansig,  второй – 1 нейрон с функцией активации logsig. Используем функции обучения traincgf и поиска одномерного экстремума srchbre.

Заданы векторы входа p и целей t, требуется сформировать нейронную сеть, выходы которой близки к заданным целям:

p = [0 1 2 3 4 5]; t = [0 0 0 1 1 1];  

Выберем архитектуру двухслойной сети с прямой передачей сигнала; зададим диапазон входов от 0 до 10, первый слой имеет 2 нейрона с функцией активации tansig,  второй – 1 нейрон с функцией активации logsig. Используем функции обучения traincgf и поиска одномерного экстремума srchhyb.

Заданы векторы входа p и целей t, требуется сформировать нейронную сеть, выходы которой близки к заданным целям:

p = [0 1 2 3 4 5]; t = [0 0 0 1 1 1];  

Выберем архитектуру двухслойной сети с прямой передачей сигнала; зададим диапазон входов от 0 до 10, первый слой имеет 2 нейрона с функцией активации tansig, второй – 1 нейрон с функцией активации logsig. Используем функции обучения traincgf и поиска одномерного экстремума srchcha.

Заданы векторы входа p и целей t, требуется сформировать нейронную сеть, выходы которой близки к заданным целям:

p = [0 1 2 3 4 5]; t = [0 0 0 1 1 1];  

Выберем архитектуру двухслойной сети с прямой передачей сигнала; зададим диапазон входов от 0 до 10, первый слой имеет 2 нейрона с функцией активации tansig, второй – 1 нейрон с функцией активации logsig. Используем функции обучения traincgf и поиска одномерного экстремума srchbac.

    0.9993    0.9993  

Масштабирование и восстановление данных

Следующие операторы выполняют нормировку данных так, чтобы значения входа и цели попадали в интервал [-1,1]:

    10  

Задана следующая обучающая последовательность векторов входа и целей. Требуется выполнить ее приведение к нормальному закону распределения с параметрами [0 1]

    1.8982  

Зададим массив двухэлементных векторов входа и выполним их факторный анализ, удерживая только те компоненты вектора, дисперсия которых превышает 2% общей дисперсии. Сначала с помощью функции prestd приведем входные данные к нормальному закону распределения, а затем применим функцию prepca.

   -0.7071   -0.7071  

В этом примере сначала с помощью функции premnmx выполняется масштабирование обучающей последовательности к диапазону [-1 1], затем создается и обучается нейронная сеть прямой передачи, выполняется ее моделирование и восстановление выхода с помощью функции postmnmx.

В этом примере сначала с помощью функции prestd выполняется масштабирование обучающей последовательности к нормальному закону распределения с параметрами [0 1], затем создается и обучается нейронная сеть прямой передачи, выполняется ее моделирование и восстановление выхода с помощью функции poststd.

В данном примере с помощью функции prestd нормализуется множество обучающих данных, на нормализованных данных вычисляются главные составляющие преобразования, создается и обучается сеть, используя pca данные, сеть моделируется. Затем выход сети с помощью функции poststd денормализуется и вычисляется линейная регрессия между выходом (ненормализованным) сети и целями, чтобы проверить качество обучения сети.

C417. TRAMNMX

Следующие операторы масштабируют обучающую последовательность к диапазону [-1 1], формируют и обучают нейронную сеть прямой передачи

Если в дальнейшем к обученной сети будут приложены новые входы, то они должны быть масштабированы с помощью функции tramnmx. Выход сети должен быть восстановлен с помощью функции postmnmx.

    9.4399    0.0671  

Следующие операторы масштабируют обучающую последовательность к нормальному закону распределения с параметрами [0 1], формируют и обучают нейронную сеть прямой передачи

Если в дальнейшем к обученной сети будут приложены новые входы, то они должны быть масштабированы с помощью функции trastd. Выход сети должен быть восстановлен с помощью функции poststd.

    3.3951   -0.6218  

Следующие операторы выполняют главный факторный анализ обучающей последовательности, удерживая только те компоненты, которые имеют дисперсию, превышающую значение 0.02.

Если в дальнейшем к сети будут приложены новые входы, то они должны быть масштабированы с помощью функций trastd и trapca. Выход сети должен быть восстановлен с помощью функции poststd:

   -0.5895    3.0000