Нейронные сети. Часть 12. Лекции

Вспомогательные функции

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, тремя нейронами и линией задержки на входе с параметрами [0 2 4]; в сети используется обратная связь с линией задержки [1 2] (рис. 11.62).

gensim(net)  

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 8 шагов по времени, вектор начальных условий  на линии задержки входов Pi:

Pd = calcpd(net,8,1,Pc)  

Cформируем вектор начальных условий на линии задержки выхода слоя для каждого из трех нейронов:

Ai = {[0.5; 0.1; 0.2] [0.6; 0.5; 0.2]};  

Применяя функцию calca, рассчитаем сигналы в слое на каждом временном шаге TS:

    [3x1 double]  

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, тремя нейронами и линией задержки на входе с параметрами [0 2 4]; в сети используется обратная связь с линией задержки [1 2] (рис. 11.62).

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 3 шагов по времени, вектор начальных условий  на линии задержки входов Pi:

Pc = [Pi P]; Pd = calcpd(net,3,1,Pc)  

    [3x1 double]  

Cформируем вектор начальных условий на линии задержки выхода слоя для каждого из трех нейронов 

Ai = {[0.5; 0.1; 0.2] [0.6; 0.5; 0.2]};  

Применяя функцию calca1, рассчитаем сигналы в слое на первом шаге по времени:

    [3x1 double]  

 Теперь можно вычислить новые состояния на ЛЗ, используя массивы Ai и A, и рассчитать сигналы слоя на втором шаге по времени

    [3x1 double]  

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, тремя нейронами и линией задержки на входе с параметрами [0 2 4]

net = newlin([0 1],3,[0 2 4]); gensim(net)  

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 3 шагов по времени и вектор начальных условий  на линии задержки Pi:

P = {0 0.1 0.3}; Pi = {0.2 0.3 0.4 0.1};  

Запаздывающие входы (значения входов после прохождения через линию задержки) рассчитываются с помощью функции calcpd после их объединения в вектор Рс

    [3x1 double]  

Теперь можно просмотреть значения запаздывающих входов для двух первых шагов

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, двумя нейронами и линией задержки на входе с параметрами [0 2 4]; в сети используется обратная связь с линией задержки [1 2]:

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 5 шагов по времени, вектор начальных условий  на линии задержки входов Pi:

Pc = [Pi P]; Pd = calcpd(net,5,1,Pc);  

Cформируем вектор начальных условий на линии задержки выхода слоя для каждого из двух нейронов и рассчитаем сигналы в слое на 5 шагах по времени:

[Ac,N,LWZ,IWZ,BZ] = calca(net,Pd,Ai,1,5);  

Определим цели слоя для двух нейронов для каждого из 5 временных шагов и рассчитаем ошибки слоя:

    [2x1 double]  

Просмотрим ошибки слоя 1 на временном шаге 2:

El{1,2}  

    0.1000  

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, двумя нейронами и линией задержки на входе с параметрами [0 2 4]; в сети используется обратная связь с линией задержки [1 2]:

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 5 шагов по времени, вектор начальных условий  на линии задержки входов Pi:

Pc = [Pi P]; Pd = calcpd(net,5,1,Pc);  

Cформируем вектор начальных условий на линии задержки выхода слоя для каждого из двух нейронов и рассчитаем сигналы в слое на 5 шагах по времени:

    [2x1 double]  

Определим цели слоя для двух нейронов для каждого из 5 временных шагов и рассчитаем ошибки слоя на первом шаге:

    [2x1 double]  

Просмотрим ошибку слоя на первом шаге:

El{1}  

    0.2000  

Теперь можно вычислить новые состояния на ЛЗ, используя массивы Ai и A, и рассчитать сигналы слоя на втором шаге по времени

    0.1000  

Создадим однослойную сеть с тремя нейронами и двухэлементным вектором входа со значениями из диапазонов [0 1] и [-1 1]:

net = newff([0 1; -1 1],[3]); gensim(net)  

Выведем значения массивов весов и смещений:

    {[]}  

Объединим массивы весов и смещений в общий вектор

   -1.3436  

Создадим однослойную сеть с тремя нейронами и двухэлементным вектором входа со значениями из диапазонов [0 1] и [-1 1]:

net = newff([0 1; -1 1],[3]); gensim(net)  

Выведем значения массивов весов и смещений:

net.iw{1,1}, net.b{1}  

   -1.4355  

Эти же значения можно вывести в виде объединенного вектора, который содержится в описании нейронной сети:

   -1.4355  

Создадим однослойную сеть с тремя нейронами и двухэлементным вектором входа со значениями из диапазонов [0 1] и [-1 1]:

Сеть имеет 6 весовых коэффициентов и 3 элемента смещений, то есть всего 9 значений. Зададим этим элементам случайные значения и включим их в описание нейронной сети:

net = setx(net,rand(9,1));  

Эти значения можно вывести на экран с помощью команды

getx(net)  

    0.8447  

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, двумя нейронами и линией задержки на входе с параметрами [0 2 4]; в сети используется обратная связь с линией задержки [1 2]:

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 5 шагов по времени, вектор начальных условий  на линии задержки входов Pi:

Pd = calcpd(net,5,1,Pc);  

сформируем вектор начальных условий на линии задержки выхода слоя для каждого из двух нейронов и массив векторов целей на 5 шагах по времени:

Tl = {[0.1;0.2] [0.3;0.1], [0.5;0.6] [0.8;0.9], [0.5;0.1]};  

Извлечем объединенный вектор весов и смещений из описания сети

X = getx(net);  

Вычислим функционал качества и сигналы в сети

Выведем значения функционала качества и массива ошибок слоя

    0.1000  

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, двумя нейронами и линией задержки на входе с параметрами [0 2 4]; в сети используется обратная связь с линией задержки [1 2]:

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 5 шагов по времени, вектор начальных условий  на линии задержки входов Pi:

Pd = calcpd(net,5,1,Pc);  

Cформируем вектор начальных условий на линии задержки выхода слоя для каждого из двух нейронов и массив векторов целей на 5 шагах по времени:

Tl = {[0.1;0.2] [0.3;0.1], [0.5;0.6] [0.8;0.9], [0.5;0.1]};  

Извлечем из описания сети объединенный вектор весов и смещений сети и вычислим функционал качества и сигналы сети

В заключение используем функцию calcgx, чтобы вычислить градиент функционала по объединенному вектору весов и смещений:

[gX,normgX] = calcgx(net,X,Pd,BZ,IWZ,LWZ,N,Ac,El,perf,1,5); gX'  

    0.6440  

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, двумя нейронами и линией задержки на входе с параметрами [0 2 4]; в сети используется обратная связь с линией задержки [1 2]:

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 5 шагов по времени, вектор начальных условий  на линии задержки входов Pi:

Зададим два начальных значения запаздывающих выходов слоя для каждого из двух нейронов и цели слоя для двух нейронов на пять шагов по времени:

Tl = {[0.1;0.2] [0.3;0.1], [0.5;0.6] [0.8;0.9], [0.5;0.1]};  

Извлечем из описания сети объединенный вектор весов и смещений сети и вычислим функционал качества и сигналы сети

Теперь можно применить функцию calcjx, чтобы вычислить якобиан функционала качества по объединенной матрице весов и смещений

Создадим линейную сеть с одним входом, изменяющимся в диапазоне от 0 до 1, двумя нейронами и линией задержки на входе с параметрами [0 2 4]; в сети используется обратная связь с линией задержки [1 2]:

Данная сеть имеет 16 настраиваемых параметров: 6 элементов весовой матрицы входа, 8 элементов весовой матрицы в обратной связи и 2 элемента вектора смещения.

Вычислим вектор запаздывающих входов Pd, если заданы реализация вектора входа P для 5 шагов по времени, вектор начальных условий  на линии задержки входов Pi:

Зададим два начальных значения запаздывающих выходов слоя для каждого из двух нейронов и цели слоя для двух нейронов на 5 шагов по времени:

Tl = {[0.1;0.2] [0.3;0.1], [0.5;0.6] [0.8;0.9], [0.5;0.1]};  

Извлечем из описания сети объединенный вектор весов и смещений сети и вычислим функционал качества и сигналы сети

В заключение используем функцию calcjejj, задав коэффициент экономии памяти равным 2

    0.7700  

Результаты будут одинаковыми при любом значении коэффициента экономии памяти, однако время вычислений будет расти. Увеличим  коэффициент экономии памяти до значения 4:

    0.9800  

Операции с массивами данных

С436. CELL2MAT

     6     7     9  

Рассмотрим следующие 2 выборки Р1 и Р2 и рассчитаем объединенную выборку Р:

     9     9     9    10    10    10  

Добавим выборку Р3

     6     6     6     6  

Преобразуем числовой массив P размера 2´3, соответствующий групповому представлению данных, в массив ячеек S размера 1´3, содержащих числовые массивы размера 2´1 и соответствующий последовательному представлению данных:

    [2x1 double]  

Преобразуем массив ячеек P размера Q´1, содержащих массивы размера R´m*TS, который соответствует структуре группового представления, в массив ячеек S размера Q´TS, содержащих массивы размера R´m, и который соответствует структуре последовательного представления данных.

Этому массиву соответствует следующее описание

     5     6  

Преобразуем массив ячеек S размера Q´TS, содержащих числовые массивы размера R´m, в массив ячеек Р размера Q´1 . При этом каждая ячейка содержит числовой массив размера R´m*TS:.

    [2x3 double]  

Сформируем числовой массив P, соответствующий групповому представлению

     9     1     8  

Функция concur создает три копии вектора смещения для данного слоя нейронной сети:

    -1    -1    -1  

Двухслойная нейронная сеть имеет 2 вектора смещения, которые  для применения функции concur необходимо объединить в вектор ячеек

Преобразовать вектор индексов классов в матрицу связности

     0     1     0     1  

Преобразовать матрицу связности в вектор индексов классов 

     1     3     2     3  

Преобразовать числовой массив М размера 3´4 в массив ячеек с разбиением mrow = [2 1], ncol = [1 2 1]:

     9    10    11    12  

Вычислить минимальные и максимальные значения элементов в строках массива P:

C442. NORMC, NORMR

Нормировать матрицу М по строкам и столбцам

Выполнить псевдонормировку стобцов матрицы

    0.9487    0.7937  

Округлить элементы массива Р с точностью до 0.1

    1.3000    4.8000   -3.9000  

Вычислить сумму квадратов всех элементов массива M:

    91  

Графические утилиты

Отобразить векторы в виде линий

Отобразить векторы входа в виде маркеров

Отобразить векторы входа и целей персептрона в виде маркеров

Определим векторы входов и целей и отобразим их в двумерном пространстве входов

Создадим персептрон с входами P, зададим произвольные значения весам и смещениям и построим разделяющую линию в пространстве входов:

Построиv разделяющую плоскость в трехмерном пространстве

Следующие функции создают персептрон с входами, соответствующими значениям вектора P, назначают значения его весам и смещениям и строят разделяющую плоскость:

Зададим случайную матрицу весов и построим для нее диаграмму Хинтона, используя значения дополнительных аргументов по умолчанию

Зададим случайные матрицу весов и вектор смещений и построим для них диаграмму Хинтона, используя значения дополнительных аргументов по умолчанию

Зададим 8 значений вектора входа P, соответствующий им вектор целей T, а также контрольное подмножество в виде векторов VV.P и VV.T:

Создадим и обучим двухслойную сеть прямой передачи с 4-мя нейронами в первом слое с функцией активации tansig и одним нейроном во втором слое также с функцией активации tansig

В процеесе выполнения процедуры train для построения графика точности обучения также применяется функция plotperf и во многих случаях этого бывает достаточно для оценки процедуры обучения.

Однако функция plotperf позволяет оформить графики результатов обучения и по завершении этой процедуры, используя дополнительные аргументы. Например, выполняя обучение с предельной точностью, заданной по умолчанию, на заключительном графике можно указать требуемую точность и оценить длительность обучения

Вычислить и построить график поверхности ошибки для нейрона 

Построить траекторию обучения в пространстве настраиваемых параметров. Script-файл, приведенный ниже, описывает сценарий построения такой траектории. Этот сценарий необходимо скопировать и выполнить в рабочем окне системы MATLAB:

Информация о сети и ее топологии

Создадим персептрон и выведем на экран его свойства:

Рассмотрим способы отображения двумерных и трехмерных карт Кохонена; для этого с помощью М-фунеции gridtop рассчитаем сетку с прямоугольной топологией

title('Позиции нейронов'), grid on   %Рис.11.74,а  

Для отображения двумерной карты Кохонена в пространстве весов зададим случайную матрицу весов W размера 12x2 и вычислим матрицу расстояний D на выбранной сетке

Выполним аналогичные построения для трехмерной карты Кохонена

title('Позиции нейронов'), grid on   %Рис.11.75,а  

Рассчитать положения нейронов на 4-мерной сетке с прямоугольной топологией размера 5x4x3x2 и выполнить попытку построить график

title('Позиции нейронов'), grid on   %Рис.11.76  

Рассчитать положения нейронов на 3-мерной сетке с гексагональной топологией размера 5x4x3 с 60 нейронами и построить график их расположения

Рассчитать положения нейронов на 3-мерной сетке с гексагональной топологией размера 5x4x3 с 60 нейронами и построить график их расположения

title('Позиции нейронов'), grid on   %Рис.11.78 

Функции моделирования сети

Создадим нейронную сеть персептрона с одним слоем и двухэлементным входом с диапазоном значений [0 1] и одним нейроном

net = newp([0 1;0 1],1);  

Теперь можно промоделировать персептрон, подавая различные последовательности векторов входа: один вектор с двумя элементами, группа из двух векторов с тремя элементами, последовательность из 3 векторов, что соответствует различным формам представления данных

    [1]    [1]    [1]  

В данном случае в качестве результата выводятся только выходы нейрона.

Создадим динамическую однослойную линейную сеть с двумя нейронами, трехэлементным входом с диапазоном значений [0 2] и линией задержки на входе [0 1]:

net = newlin([0 2;0 2;0 2],2,[0 1]);  

Линейный слой моделируется с последовательностью из двух векторов входа, для заданных по умолчанию начальных условия на линиях задержки

Затем этот слой моделируется еще для 3 векторов, используя состояния на элементах задержки как новые начальные условия

    [3x1 double]  

Создадим двухслойную сеть Элмана с одноэлементным входом с диапазоном значений [0 1], имеющую 3 нейрона с функцией активации tansig в слое 1 и 2 нейрона с функцией активации purelin в слое 2. Сеть Элмана имеет линию задержки [0 1] при переходе от слоя 1 к слою 2:

Сеть моделируется для трехэлементного вектора входа, используя заданные по умолчанию начальные условия на линии задержки

    0.5221  

[e{:}]  

    0.7558    0.8468    0.8517  

Выполним еще один шаг моделирования, но теперь для четырехэлементного вектора входа, используя  состояния на элементах задержки как новые начальные условия

    0.8536    0.8453    0.8526    0.8568  

Построение моделей нейронных сетей

Создадим однослойную линейную сеть, реализующую следующее соотношение между входом и целью

Для того чтобы сформировать S-модель этой сети, используем команду

Теперь рассмотрим пример моделирования динамической сети. Обратимся к сети Элмана, связанной с детектированием амплитуды гармонического сигнала.

Сформируем и обучим сеть Элмана

gensim(net)  

Создадим S-модель этой сети, дополнив ее блоком To Workspace, который позволяет записать результаты моделирования в виде массива yout в рабочую область системы MATLAB (рис.11.88, а).

Задав значение входного сиграла (рис. 11.89,а), выполним моделирование сети и выведем результат в виде графика изменения выхода сети, используя данные из рабочей области системы MATLAB.

Сформируем М-файл для S-модели сети Элмана

Выведем текст М-файла: