Навчання штучних нейронних мереж

Здатність до навчання є фундаментальною властивістю мозку. У контексті ШНМ (штучних нейронних мереж) процес навчання може розглядатися як налаштування архітектури мережі і вагів зв’язків для ефективного виконання спеціального завдання. Зазвичай нейронна мережа повинна настроїти ваги зв’язків за наявною навчальною вибіркою. Функціонування мережі поліпшується із ітеративним налаштуванням вагових коефіцієнтів. Властивість мережі навчатися на прикладах робить їх привабливішими в порівнянні із системами, які наслідують певну систему правил функціонування, сформульовану експертами.

Для конструювання процесу навчання, перш за все, необхідно мати модель зовнішнього середовища, в якій функціонує нейронна мережа, – знати доступну для мережі інформацію. Ця модель визначає парадигму навчання. По-друге, необхідно зрозуміти, як модифікувати вагові параметри мережі – які правила навчання управляють процесом налаштування. Алгоритм навчання означає процедуру, в якій використовуються правила навчання для налаштування вагів. Існують три парадигми навчання: “з вчителем”, “без вчителя” (самонавчання) і змішана.

Рисунок 3.5 – Базова архітектура нейронних мереж

У першому випадку нейронна мережа має в своєму розпорядженні правильні відповіді (виходи мережі) на кожен вхідний приклад. Ваги настроюються так, щоб мережа проводила відповіді якомога ближчі до відомих правильних відповідей.

Посилений варіант навчання з вчителем передбачає, що відома тільки критична оцінка правильності виходу нейронної мережі, але не самі правильні значення виходу. Навчання без вчителя не вимагає знання правильних відповідей на кожен приклад навчальної вибірки. В цьому випадку розкривається внутрішня структура даних або кореляції між зразками в системі даних, що дозволяє розподілити зразки по категоріях. При змішаному навчанні частина вагів визначається за допомогою навчання з вчителем, тоді як остання виходить за допомогою самонавчання.

Теорія навчання розглядає три фундаментальні властивості, пов’язані з навчанням за прикладами: ємність, складність зразків і обчислювальна складність. Під ємністю розуміється, скільки зразків може запам’ятати мережа, і які функції і межі ухвалення рішень можуть бути на ній сформовані. Складність зразків визначає число навчальних прикладів, необхідних для досягнення здатності мережі до узагальнення. Дуже мале число прикладів може викликати “перенавчання” мережі, коли вона добре функціонує на прикладах навчальної вибірки, але погано – на тестових прикладах, які підлягають тому ж статистичному розподілу. Відомі 4 основних типи правил навчання: корекція за помилкою, навчання Больцмана, правило Хебба і навчання методом змагання [79-85].

Правило корекції за помилкою

При навчанні з вчителем для кожного вхідного прикладу заданий бажаний вихід d. Реальний вихід мережі у може не збігатися з бажаним. Принцип корекції за помилкою при навчанні полягає у використанні сигналу (d-y) для модифікації вагів, що забезпечує поступове зменшення помилки. Навчання має місце тільки у разі, коли перцептрон помиляється. Відомі різні модифікації цього алгоритму навчання.

Навчання Больцмана

Є стохастичним правилом навчання, яке виходить з інформаційних теоретичних і термодинамічних принципів. Метою навчання Больцмана є таке налаштування вагових коефіцієнтів, при якому стани видимих нейронів задовольняють бажаний розподіл вірогідності. Навчання Больцмана може розглядатися як спеціальний випадок корекції за помилкою, в якому під помилкою розуміється розбіжність кореляцій полягань в двох режимах .

Правило Хебба

Найстарішим навчальним правилом є постулат навчання Хебба. Хебб опирався на такі нейрофізіологічні спостереження: якщо нейрони з обох боків синапсу активізуються одночасно і регулярно, то сила синаптичного зв’язку зростає. Важливою особливістю цього правила є те, що зміна синаптичної ваги залежить тільки від активності нейронів, які зв’язані даним синапсом. Це істотно спрощує ланцюги навчання в реалізації вертикально-випромінюючих лазерів.

Навчання методом змагання

На відміну від навчання Хебба, в якому безліч вихідних нейронів можуть збуджуватися одночасно, при навчанні змагання вихідні нейрони змагаються між собою за активізацію. Це явище відоме як правило “переможець бере все”. Подібне навчання має місце в біологічних нейронних мережах. Навчання за допомогою змагання дозволяє кластеризувати вхідні дані: подібні приклади групуються мережею відповідно до кореляцій і подаються одним елементом. При навчанні модифікуються тільки ваги нейрона, що “переміг”. Ефект цього правила досягається за рахунок такої зміни збереженого в мережі зразка (вектора вагів зв’язків нейрона, що “переміг”), при якому він стає трохи ближчим до вхідного прикладу [86].

В. П. КОЖЕМ’ЯКО, В. В. ДМИТРУК, Н. В. БЕЛІК

НАУКА І ТЕХНІЧНА ТВОРЧІСТЬ В НАВЧАЛЬНОМУ ПРОЦЕСІ (ВІД АБІТУРІЄНТА ДО АСПІРАНТА)