Нейронные сети. Часть 10. Лекции

Рекуррентные сети

Информация о функции активации logsig:

     0     1  

Построим график функции активации logsig:

Зададим следующий вектор входа логистической функции активации для слоя из 3 нейронов и рассчитаем векторы выхода A и производной dA_dN:

    0.2217  

Информация о функции активации tansig:

    -1     1  

Следующая последовательность команд строит график функции активации tansig:

Зададим следующий вектор входа гиперболической тангенциальной функции активации для слоя из 3 нейронов и рассчитаем векторы выхода A и производной dA_dN:

    0.6347  

Функции взвешивания и расстояний

Вычислим вектор взвешенных входов Z, если заданы случайные матрица весов W и вектор входа P:

    0.3702    0.1751    0.3384    0.4134  

Определим имя М-функции, которая вычисляет производную взвешенной функции в виде скалярного произведения

df = dotprod('deriv')  

ddotprod  

Вычислим производные скалярного произведения по каждому аргументу

C299. NORMPROD

Определим случайную весовую матрицу W и вектор входа P и рассчитаем соответствующий взвешенный вход Z:

    0.4876    0.7423    0.3055    0.5528  

Вычислим вектор взвешенных входов Z, если заданы случайные матрица весов W размера 4´3 и вектор входа P размера 3´1:

    0.4496  

Рассмотрим сеть с топологией, для которой задана случайная матрица координат для 10 нейронов в трехмерном пространстве:

Рассчитаем матрицу евклидовых расстояний между ними:

Вычислим вектор взвешенных входов Z, если заданы случайные матрица весов W размера 4´3 и вектор входа P размера 3´1:

   -0.3220  

Вычислим вектор взвешенных входов Z, если заданы случайные матрица весов W размера 4´3 и вектор входа P размера 3´1: 

    0.8248  

Рассмотрим сеть с топологией, для которой задана случайная матрица координат для 10 нейронов в трехмерном пространстве:

Рассчитаем матрицу евклидовых расстояний между ними:

Пусть задан массив случайных координат трехмерного пространства, в которых размещены 10 нейронов.

Требуется вычислить массив максимальных координатных смещений между этими нейронами:

Пусть задан массив случайных координат трехмерного пространства, в которых размещены 10 нейронов. Требуется вычислить массив расстояний связи между этими нейронами:

     2     1     0  

Функции накопления

Вычислить функцию накопления потенциала для следующих взвешенных входов:

    -2    -2     2  

Вычислить функцию накопления с учетом вектора смещения b. Поскольку массивы Z1 и Z2 составлены из трех векторов, то с помощью функции concur должен быть создан массив из трех копий  вектора смещения b для того, чтобы все размерности совпадали:

    -3    -3     1  

Определим две весовых матрицы входа для слоя с тремя нейронами:

Z1 = [0; 1; -1]; Z2 = [1; 0.5; 1.2];  

Вычислить вход нейрона N с помощью функции netsum и затем найти производные по каждому из взвешенных входов:

Вычислить функцию накопления для следующих взвешенных входов:

   -15   -24     1  

Вычислить функцию накопления с учетом вектора смещения b. Поскольку массивы Z1 и Z2 составлены из трех векторов, то с помощью функции concur должен быть создан массив из трех копий  вектора смещения b для того, чтобы все размерности совпадали:

    15    24    -1  

Определим два взвешенных входа для слоя с тремя нейронами:

Z1 = [0; 1; -1]; Z2 = [1; 0.5; 1.2];  

Вычислить вход нейрона N с помощью функции netprod и затем найти производные по каждому из взвешенных входов:

     0     1    -1  

Сформировать персептрон с одним нейроном, вход которого имеет 2 элемента со значениями в диапазонах [0 1] и [ –2  2]:

initzero  

Выведем значения установленных весов и смещений:

net.IW{1,1}, net.b{1}  

     0  

Обучим персептрон на следующих обучающих множествах

    -3  

Для того чтобы возвратиться к начальным значениям весов и смещений, характерных для данной сети, и предназначена функция init :

     0  

Присвоить нулевые значения матрице весов и вектору смещения для слоя с 5 нейронами и вектором входа, элементы которого принимают значения в диапазонах [0 1], [-2 2]:

     0  

Присвоить нулевые значения матрице весов и вектору смещения для слоя с 5 нейронами и вектором входа, элементы которого принимают значения в диапазонах [0 1], [-2 2]:

W = midpoint(5,[0 1; -2 2])  

    0.5000         0  

Сформируем с помощью функции rands массивы случайных величин различных размеров:

    0.4764    0.8338  

Сформируем случайный массив из четырех нормированных трехэлементных столбцов:

M = randnc(3,4)  

   -0.7384   -0.8169   -0.5415   -0.7690  

Создадим случайную матрицу из трех нормированных четырехэлементных строк:

W = randnr(3,4)  

   -0.0957   -0.1419   -0.5186   -0.8377  

Начальные значения смещений рассчитаем для слоя с 5 нейронами:

b = initcon(5)  

   13.5914  

Функции адаптации

Создать на основе персептрона нейронную сеть с вектором входа из двух элементов со значениями из диапазона [-2 2] и выполнить адаптивное обучение, используя функцию trains:

Формирование персептрона:

net = newp([-2 2;-2 2],1);  

Формирование векторов входа и цели:

P = {[2;2] [1;-2] [-2;2] [-1;1]}; T = {[0] [1] [0] [1]};  

Адаптивное обучение с использованием трех циклов:

    [0]    [1]    [0]    [1]  

Выход сети после адаптивного обучения полностью совпадает с вектором целей.

Сформировать линейную динaмическую нейронную сеть с одним выходом, линией задержки на входе [0 1], диапазон изменения элементов входа [-1 1]  и адаптивно обучить ее  за 80 проходов с параметром скорости обучения 0.01.

Формирование сети:

net = newlin([-1 1],1,[0 1],0.01);   

Формирование векторов входа и цели:

P1 = {0 -1 1 1 0 -1 1 0 0 1}; T1 = {0 -1 0 2 1 -1 0 1 0 1};   

Адаптивное обучение:

Моделирование сети при заданном входе:

    0.0201    0.9813  

Результат моделирования близок к вектору целей. При этом среднеквадратическая ошибка составляет

E = mse(Y-[T1{:}])  

    0.0015  

Функции обучения

Сформировать динaмическую линейную  нейронную сеть с одним выходом, линией задержки на входе [0 1], диапазон изменения элементов входа [-1 1]  и адаптивно обучить ее  за 200 циклов с параметром скорости обучения 0.01.

Формирование сети:

net = newlin([-1 1],1,[0 1],0.01);   

Формирование векторов входа и цели:

P1 = {0 -1 1 1 0 -1 1 0 0 1}; T1 = {0 -1 0 2 1 -1 0 1 0 1};  

Групповое обучение:

Выполним моделирование сети при заданном входе:

    0.0002    0.9998  

Результат моделирования близок к вектору целей. При этом среднеквадратическая ошибка составляет

E = mse(Y-[T1{:}])  

  1.5137e-007  

Сформировать нейронную сеть на основе персептрона с одним выходом и вектором входа из двух элементов, принимающих значения в диапазоне [–2 2].

Формирование сети:

net = newp([-2 2; -2 2],1);  

Формирование векторов входа и цели:

P = [ 2  1 -2 -1;  2 -2  2  1]; T = [ 0  1  0  1];  

Обучение с циклическим представлением входа:

Выполним моделирование сети при заданном входе:

Y = sim(net, P)  

     0     1     0     1  

Найдем значения весов и смещения:

net.IW{1,1}, net.b{1}  

     1  

Сформировать самоорганизующуюся нейронную сеть для разделения векторов входа на два класса. Векторы входа состоят из двух элементов со значениями из диапазона [0 1]. Сеть имеет два выхода (по числу классов) и обучается с помощью функции trainr.

Формирование сети:

clear, net = newc([0 1; 0 1], 2);  

Формирование векторов входа:

P = [.1 .8 .1 .9;  .2 .9 .1 .8];

Обучение с циклическим представлением входа:

Выполним моделирование сети, и значения выхода преобразуем в индексы классов:

     2     1     2     1  

Градиентные алгоритмы обучения

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig, а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию traingd.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'traingd');  

Обучение сети:

    0.8966    0.8968  

clear, P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию traingda.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'traingda');  

Обучение сети:

TRAINGDA, Performance goal met.  

Выведем график изменения параметра скорости настройки в процессе обучения:

xlabel('Число циклов')  

Выполним моделирование сети:

Y = sim(net,P)  

    0.9506    0.9596  

clear, P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию traingdm и увеличим параметр скорости настройки до 0.1.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'traingdm');  

Обучение сети:

    0.8964    0.8965  

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig, а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию traingdx.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'traingdx');  

Обучение сети:

TRAINGDX, Performance goal met.  

Выведем график изменения параметра скорости настройки в процессе обучения:

xlabel('Число циклов') 

Выполним моделирование сети:

Y = sim(net,P)  

    0.8928    0.8929  

P = [0 1 2 3 4 5]; T = [0 0 0 1 1 1];  

Поскольку соответствие между входом и целью носит явно выраженный нелинейный характер, то будем использовать нейронную сеть с нелинейными сигмоидальными функциями активации. Выберем двухслойную нейронную сеть с прямой передачей сигнала; в первом слое используем 2 нейрона с функцией активации tansig,  а во втором - 1 нейрон с функцией активации logsig. Для обучения сети применим функцию trainrp.

Формирование сети:

net = newff([0 5],[2 1],{'tansig','logsig'},'trainrp');   

Обучение сети:

    0.9065    0.9079