Градієнтні методи безумовної оптимізації. Градієнтний спуск

Також можна шукати не найкращу точку в напрямку градієнта, а якусь краще за поточну.

Найбільш простий у реалізації із усіх методів локальної оптимізації. Має досить слабкі умови збіжності, та заодно швидкість збіжності досить мала (лінійна). Крок градієнтного методу часто використовується як частина інших методів оптимізації, наприклад, метод Флетчера – Рівса.

Опис [ | ]

Удосконалення[ | ]

Метод градієнтного спуску виявляється дуже повільним при русі по яру, причому зі збільшенням кількості змінних цільової функціїтака поведінка методу стає типовою. Для боротьби із цим явищем використовується, суть якого дуже проста. Зробивши два кроки градієнтного спуску і отримавши три крапки, третій крок слід зробити у напрямку вектора, що з'єднує першу і третю точку, вздовж дна яру.

Для функцій, близьких до квадратичних, ефективним є метод сполучених градієнтів.

Застосування у штучних нейронних мережах[ | ]

Метод градієнтного спуску з деякою модифікацією широко застосовується для навчання перцептрону і теоретично штучних нейронних мереж відомий як метод зворотного поширення помилки. При навчанні нейромережі типу персептрон потрібно змінювати вагові коефіцієнти мережі так, щоб мінімізувати середню помилкуна виході нейронної мережі при подачі на вхід послідовності навчальних вхідних даних. Формально, щоб зробити всього один крок за методом градієнтного спуску (зробити лише одну зміну параметрів мережі), необхідно подати на вхід мережі послідовно абсолютно весь набір навчальних даних, для кожного об'єкта навчальних даних обчислити помилку та розрахувати необхідну корекцію коефіцієнтів мережі (але не робити цю корекцію), і після подачі всіх даних розрахувати суму в коригуванні кожного коефіцієнта мережі (сума градієнтів) і зробити корекцію коефіцієнтів «на крок». Очевидно, що при великому наборі навчальних даних алгоритм працюватиме вкрай повільно, тому на практиці часто здійснюють коригування коефіцієнтів мережі після кожного елемента навчання, де значення градієнта апроксимуються градієнтом функції вартості, обчисленому тільки на одному елементі навчання. Такий метод називають стохастичним градієнтним спуском або оперативним градієнтним спуском . Стохастичний градієнтний спуск є одним із форм стохастичного наближення. Теорія стохастичних наближень дає умови збіжності способу стохастичного градієнтного спуску.

Посилання [ | ]

• J. Mathews.Модули для Steepest Descent або Gradient Method. (недоступне посилання)

Література [ | ]

• Акуліч І. Л.Математичне програмування в прикладах та задачах. - М.: вища школа, 1986. – С. 298-310.
• Гілл Ф., Мюррей У., Райт М.Практична оптимізація = Practical Optimization. - М.: Світ, 1985.
• Коршунов Ю. М., Коршунов Ю. М.Математичні засади кібернетики. - М.: Вища школа, 1972.
• Максимов Ю. А., Філіповська Є. А.Алгоритми розв'язання задач нелінійного програмування. - М.: МІФІ, 1982.
• Максимов Ю. А.Алгоритми лінійного та дискретного програмування. - М.: МІФІ, 1980.
• Корн Р., Корн Т.Довідник з математики для науковців та інженерів. - М.: Наука, 1970. - С. 575-576.
• С. Ю. Городецький, В. А. Гришагін.Нелінійне програмування та багатоекстремальна оптимізація. - Нижній Новгород: Видавництво Нижегородського Університету, 2007. – С. 357-363.

У основі методу лежить така ітераційна модифікація формули

x k +1 = x k + ak s (x k),

x k + 1 = x k - a k F (x k), де

a – заданий позитивний коефіцієнт;

Ñ ​​f(x k) – градієнт цільової функції першого порядку.

Недоліки:

необхідність вибору відповідного значення ;

повільна збіжність до точки мінімуму через малість f(x k) в околиці цієї точки.

Метод якнайшвидшого спуску

Вільний від першої вади найпростішого градієнтного способу, т.к. a k обчислюється шляхом розв'язання задачі мінімізації Ñ f(x k) вздовж напрямку Ñ f(x k) за допомогою одного з методів одновимірної оптимізації x k+1 = x k - a k f (x k).

Цей метод іноді називають методом Коші.

Алгоритм характеризується низькою швидкістю збіжності під час вирішення практичних завдань. Це пояснюється тим, що зміни змінних безпосередньо залежить від величини градієнта, яка прагне нуля в околиці точки мінімуму та відсутня механізм прискорення на останніх ітераціях. Тому, враховуючи стійкість алгоритму, метод якнайшвидшого спуску часто використовується як початкова процедура пошуку рішення (з точок, що розташовані на значних відстанях від точки мінімуму).

Метод сполучених напрямків

Загальне завдання нелінійного програмування без обмежень зводиться до такого: мінімізувати f(x), x E n , де f(x) є цільовою функцією. При розв'язанні цього завдання ми використовуємо методи мінімізації, які призводять до стаціонарної точки f(x), яка визначається рівнянням f(x *)=0. Метод сполучених напрямів відноситься до методів мінімізації без обмежень, що використовують похідні. Завдання: мінімізувати f(x), x E n де f(x) є цільовою функцією n незалежних змінних. Важливою особливістює швидка збіжність за рахунок того, що при виборі напрямку використовується матриця Гессе, яка описує область топології поверхні відгуку. Зокрема, якщо цільова функція квадратична, можна отримати точку мінімуму лише за кількість кроків, рівне розмірності завдання.

Для застосування методу на практиці його необхідно доповнити процедурами перевірки збіжності та лінійної незалежності системи напрямків. Методи другого порядку

Метод Ньютона

Послідовне застосування схеми квадратичної апроксимації призводить до реалізації оптимізаційного методу Ньютона за формулою

x k +1 = x k - 2 f (x k -1) Ñ f (x k).

Недоліком методу Ньютона є недостатня надійність при оптимізації не квадратичних цільових функцій. Тому його часто модифікують:

x k +1 = x k - a k Ñ 2 f(x k -1) Ñ f(x k), де

a k - параметр, що вибирається таким чином, щоб f(x k+1) min.

2. Знаходження екстремуму функції без обмеження

Дано деяку функцію f(х) на відкритому інтервалі (а, в) зміни аргументу х. Припускаємо, що exst всередині цього інтервалу існує (треба сказати, що в загальному випадку математично заздалегідь це стверджувати не можуть; проте в технічних додатках дуже часто наявність exst всередині деякого інтервалу зміни інтервалу зміни аргументу може бути передбачено фізичними міркуваннями).

Визначення exst. Функція f(x) задана на інтервалі (а, в) має в точці x * max (min), якщо цю точку можна оточити таким інтервалом (x * -ε, x * +ε), що міститься в інтервалі (а, в) , що всім її точок х, що належать інтервалу (x * -ε, x * +ε), виконується нерівність:

f(x) ≤ f(x *) → для max

f(x) ≥ f(x *) → для min

Це визначення не накладає жодних обмежень клас функцій f(x), що, звісно, ​​дуже цінно.

Якщо обмежиться для функцій f(x), досить поширеним, але все ж таки більш вузьким класом гладких функцій (під гладкими функціями ми розумітимемо такі функції, які безперервні разом зі своїми похідними на інтервалі зміни аргументу), то можна скористатися теоремою Ферма, яка дає необхідні умови існування exst.

Теорема Ферма. Нехай функція f(x) визначена в деякому інтервалі (а, в) та в точці "с" цього інтервалу набуває найбільшого (найменшого) значення. Якщо існує в цій точці двостороння кінцева похідна, то існування необхідно exst.

Примітка. Двостороння похідна характеризується властивістю іншими словами, йдеться про те, що в точці "с" похідна в межі одна і та ж при підході до точки "с" ліворуч і праворуч, тобто f(x) - гладка функція.

* У разі має місце min, а при →max. Нарешті, якщо при х = х 0 то використання 2-ой похідної не допомагає і потрібно скористатися, наприклад, визначенням exst.

При розв'язанні задачі I необхідні умови exst (тобто теорема Ферма) використовують дуже часто.

Якщо рівняння exst має речові корені, то точки, що відповідають цим корінням, є підозрілими на exst (але не обов'язково самими екстремумами, бо маємо справу з необхідними, а не з необхідними та достатніми умовами). Так, наприклад, у точці перегину Х п має місце, проте, як відомо, це не екстремум.

Зауважимо ще, що:

з необхідних умовне можна сказати, який вид екстремуму знайдено max або min: визначення цього потрібні додаткові дослідження;

із необхідних умов не можна визначити, глобальний це екстремум чи локальний.

Тому, коли знаходять точки підозрілі на exst, їх додатково досліджують, наприклад, на основі визначення exst або 2 похідної.

Вкину трохи свого експірієнсу:)

Метод покоординатного спуску

Ідея цього методу полягає в тому, що пошук відбувається в напрямку покоординатного спуску під час нової ітерації. Спуск здійснюється поступово за кожною координатою. Кількість координат залежить від кількості змінних.
Для демонстрації ходу роботи даного методу для початку необхідно взяти функцію z = f(x1, x2,…, xn) і вибрати будь-яку точку M0(x10, x20,…, xn0) в n просторі, яка залежить від числа характеристик функції. Наступним кроком йде фіксація всіх точок функції в константу, крім найпершої. Це робиться для того, щоб пошук багатовимірної оптимізації звести до вирішення пошуку на певному відрізку завдання одновимірної оптимізації, тобто пошуку аргументу x1.
Для знаходження значення даної змінної, необхідно проводити спуск по цій координаті до нової точки M1(x11, x21, xn1). Далі функція диференціюється і тоді ми можемо знайти значення наступної нової точки за допомогою даного виразу:

Після знаходження значення змінної, необхідно повторити ітерацію з фіксацією всіх аргументів крім x2 і почати спуск по новій координатідо наступної нової точки M2 (x11, x21, x30 ..., xn0). Тепер значення нової точки відбуватиметься за словами:

І знову ітерація з фіксацією повторюватиметься доти, доки всі аргументи від xi до xn не закінчаться. За останньої ітерації, ми послідовно пройдемо по всіх можливих координатах, у яких вже знайдемо локальні мінімумиТому цільова функція на останній координаті дійде до глобального мінімуму. Однією з переваг даного методу в тому, що у будь-який момент часу є можливість перервати спуск і остання знайдена точка буде точкою мінімуму. Це корисно, коли метод йде в нескінченний цикл і результатом цього пошуку можна вважати останню знайдену координату. Однак, цільове встановлення пошуку глобального мінімуму в області може бути так і не досягнуто через те, що ми перервали пошук мінімуму (див. малюнок 1).

Рисунок 1 – Скасування виконання покоординатного спуску

Дослідження даного методу показали, що кожна знайдена точка, що обчислюється, в просторі є точкою глобального мінімуму заданої функції, А функція z = f (x1, x2, ..., xn) є опуклою та диференційованою.
Звідси можна дійти невтішного висновку, що функція z = f(x1, x2,…, xn) опукла і диференційована у просторі, а кожна знайдена гранична точка в послідовності M0(x10, x20,…, xn0) буде точкою глобального мінімуму (див. Малюнок 2) цієї функції методом покоординатного спуску.

Рисунок 2 – Локальні точки мінімуму на осі координат

Можна дійти невтішного висновку у тому, що це алгоритм добре справляється з простими завданнямибагатовимірної оптимізації, шляхом послідовно розв'язання n кількості задач одновимірної оптимізації, наприклад, методом золотого перерізу.

Хід виконання методу покоординатного спуску відбувається за алгоритмом описаного в схемі (див. Рисунок 3). Ітерації виконання цього методу:
Спочатку необхідно ввести кілька параметрів: точність Епсілон, яка має бути строго позитивною, стартова точка x1 з якою ми почнемо виконання нашого алгоритму та встановити Лямбда j;
Наступним кроком буде взяти першу стартову точку x1, після чого відбувається вирішення звичайного одновимірного рівняння з однією змінною і формула для знаходження мінімуму буде де k = 1, j=1:

Тепер після обчислення точки екстремуму, необхідно перевірити кількість аргументів функції і якщо j буде менше n, тоді необхідно повторити попередній крок і перевизначити аргумент j = j + 1. При всіх інших випадках, переходимо до наступного кроку.
Тепер необхідно перевизначити змінну x за формулою x (k + 1) = y (n + 1) і спробувати виконати збіжність функції заданої точності за виразом:

Тепер від цього вираження залежить перебування точки екстремуму. Якщо цей вираз істинний, тоді обчислення точки екстремуму зводиться до x*= xk + 1. Але часто необхідно виконати додаткові ітерації, що залежать від точності, тому значення аргументів буде перевизначено y(1) = x(k + 1), а значення індексів j = 1, k = k + 1.

Малюнок 3 – Блок схема методу покоординатного спуску

У нас є відмінний і багатофункціональний алгоритм багатовимірної оптимізації, який здатний розбивати складне завдання, на кілька послідовно ітераційних одновимірних. Так, даний метод досить простий у реалізації і має легке визначення точок у просторі, тому що даний метод гарантує збіжність до локальній точцімінімуму. Але навіть за таких вагомих переваг, метод здатний йти в нескінченні цикли через те, що може потрапити у свого роду яр.
Існують яружні функції, у яких існують западини. Алгоритм, потрапивши в одну з таких западин, вже не може вибратися і точку мінімуму він виявить там. Так само велике числоПослідовне використання одного і того ж методу одновимірної оптимізації може сильно позначитися на слабких обчислювальних машинах. Мало того, що збіжність у цій функції дуже повільна, оскільки необхідно обчислити всі змінні і найчастіше висока задана точність збільшує в рази час розв'язання задачі, так і головним недоліком даного алгоритму – обмежена застосовність.
Проводячи дослідження різних алгоритмівВирішення завдань оптимізації, не можна не відзначити, що велику роль відіграє якість даних алгоритмів. Так само не варто забувати таких важливих характеристик, як час і стабільність виконання, здатність знаходити найкращі значення, що мінімізують або максимізують цільову функцію, простота реалізації вирішення практичних завдань. Метод покоординатного спуску простий у використанні, але в завданнях багатовимірної оптимізації найчастіше необхідно виконувати комплексні обчислення, а не розбиття цілого завданняна підзавдання.

Метод Нелдера - Міда

Варто відзначити популярність даного алгоритму серед дослідників методів багатовимірної оптимізації. Метод Нелдера – Міда один із небагатьох методів, який заснований на концепції послідовної трансформації деформованого симплексу навколо точки екстремуму та не використовують алгоритм руху у бік глобального мінімуму.
Даний симплекс є регулярним, а представляється як багатогранник з рівними вершинами симплексу в N-мірному просторі. У різних просторах, симплекс відображається в R2-рівносторонній трикутник, а R3 - правильний тетраедр.
Як згадувалося, алгоритм є розвитком методу симплексів Спендлі, Хекста і Химсворта, але, на відміну від останнього, допускає використання неправильних симплексів. Найчастіше, під симплексом мається на увазі опуклий багатогранник з числом вершин N+1, де N – кількість параметрів моделі в n-мірному просторі.
Для того, щоб почати користуватися даним методом, необхідно визначитися з базовою вершиною всіх наявних множини координат за допомогою виразу:

Найпрекраснішим у цьому методі те, що у симплексу існують можливості самостійно виконувати певні функції:
Відбиття через центр тяжкості, відбиття зі стисненням чи розтягуванням;
Розтяг;
Стиснення.
Переваги серед цих властивостей відбивають, оскільки даний параметр є найбільш опціонально - функціональним. Від будь-якої обраної вершини можна відбиток щодо центру тяжкості симплекса по выражению:.

Де xc – центр тяжіння (див. малюнок 1).

Малюнок 1 – Відображення через центр тяжіння

Наступним кроком необхідно провести розрахунок аргументів цільової функції у всіх вершинах відбитого симплексу. Після цього ми отримаємо повну інформаціюпро те, як симплекс поводитиметься у просторі, а значить і інформацію про поведінку функції.
Для того, щоб здійснити пошук точки мінімуму або максимуму цільової функції за допомогою методів, що використовують симплекси, необхідно дотримуватися наступної послідовності:
На кожному кроці будуватися симплекс, у кожній точці якого, необхідно зробити розрахунок всіх його вершин, після чого відсортувати отримані результати зростання;
Наступний крок – це відбиток. Необхідно провести спробу отримати значення нового симплексу, а шляхом відображення, у нас вийде позбутися небажаних значень, які намагаються рухати симплекс не в бік глобального мінімуму;
Щоб отримати значення нового симплексу з отриманих відсортованих результатів, ми беремо дві вершини з найгіршими значеннями. Можливі такі випадки, що відразу підібрати відповідні значення не вдасться, тоді доведеться повернутися до першого кроку і зробити стиск симплексу до точки з самим найменшим значенням;
Закінченням пошуку точки екстремуму є центр ваги, за умови, що значення різниці між функціями має найменші значення у точках симплекса.

Алгоритм Нелдера – Міда також використовує ці функції роботи з симплексом за такими формулами:

Функція відображення через центр ваги симплекса обчислюється за таким виразом:

Дане відображення виконується суворо у бік точки екстремуму і через центр тяжкості (див. малюнок 2).

Малюнок 2 – Відображення симплексу відбувається через центр тяжіння

Функція стиснення всередину симплекса обчислюється за таким виразом:

Щоб провести стиск, необхідно визначити точку з найменшим значенням (див. малюнок 3).

Рисунок 3 – Стиснення симплексу відбувається до найменшого аргументу.

Функція відображення зі стисненням симплексу вираховується за таким виразом:

Для того, щоб провести відображення зі стисненням (див. рисунок 4), необхідно пам'ятати роботу двох окремих функцій – це відображення через центр тяжкості та стиснення симплексу до найменшого значення.

Малюнок 4 - Відображення зі стиснення

Функція відображення з розтягуванням симплексу (див. рис. 5) відбувається з використанням двох функцій – це відображення через центр тяжкості та розтягування через найбільше значення.

Малюнок 5 - Відображення із розтягуванням.

Щоб продемонструвати роботу методу Нелдера – Міда, необхідно звернутися до блоку схеми алгоритму (див. Рисунок 6).
Першорядно, як і в попередніх прикладах, потрібно задати параметр спотвореності ε, яка повинна бути строго більшою за нуль, а також задати необхідні параметри для обчислення α, β і a. Це потрібно буде для обчислення функції f(x0), а також для побудови самого симплексу.

Рисунок 6 – Перша частина методу Нелдера – Міда.

Після побудови симплекса необхідно зробити розрахунок всіх значень цільової функції. Як і було описано вище для пошуку екстремуму за допомогою симплекса, необхідно розрахувати функцію симплекса f(x) у всіх його точках. Далі робимо сортування, де базова точка перебуватиме:

Тепер, коли базова точка розрахована, а також і всі інші відсортовані у списку, ми перевіряємо умови досяжності за раніше заданою нами точності:

Як тільки ця умова стане істинною, тоді точка x(0) симплексу буде вважатися точкою екстремуму, що шукається. В іншому випадку ми переходимо на наступний крок, де потрібно визначити нове значення центру тяжіння за формулою:

Якщо ця умова виконується, тоді точка x(0) буде точкою мінімуму, інакше, необхідно перейти на наступний крок у якому необхідно зробити пошук найменшого аргументу функції:

З функції необхідно дістати мінімальне значення аргументу у тому, що перейти до наступного кроку виконання алгоритму. Іноді трапляється проблема, що кілька аргументів відразу мають однакове значення, обчислюване з функції. Вирішенням такої проблеми може стати повторне визначення значення аргументу до десятитисячних.
Після повторного обчислення мінімального аргументу, необхідно знову зберегти нові отримані значення на n позиціях аргументів.

Малюнок 7 – Друга частина методу Нелдера – Міда.

Обчислене з попередньої функції значення необхідно підставити за умови fmin< f(xN). При истинном выполнении даної умови, точка x(N) буде мінімальною з групи тих, які зберігаються у відсортованому списку і потрібно повернутися до кроку, де ми розраховували центр тяжкості, інакше, стискаємо симплекс в 2 рази і повертаємося до самого початку з новим набором точок.
Дослідження даного алгоритму показують, що методи з нерегулярними симплексами (див. рис. 8) ще досить слабо вивчені, але це не заважає їм добре справлятися з поставленими завданнями.
Глибокі тести показують, що експериментальним чином можна підібрати найбільш підходящі для завдання параметри функцій розтягування, стиснення та відображення, але можна користуватися загальноприйнятими параметрами цих функцій α = 1/2, β = 2, γ = 2 або α = 1/4, β = 5/2, ? нестандартні рішенняметоду.

Малюнок 8 – Процес знаходження мінімуму.

Статистика показала, що в роботі даного алгоритму існує одна з найбільш поширених проблем - це виродження симплексу, що деформується. Це відбувається, коли щоразу, коли кілька вершин симплекса потрапляють у одне простір, розмірність якого задовольняє поставленої задачи.
Таким чином, розмірність під час роботи та задана розмірність закидають кілька вершин симплексу в одну пряму, запускаючи метод у нескінченний цикл. Алгоритм в даній модифікації ще не оснащений способом вийти з такого положення і змістити одну вершину в бік, тому доводиться створити новий симплекс з новими параметрами, щоб такого не відбувалося.
Ще однією особливістю має даний метод - це некоректною роботою при шести і більше вершинах симплексу. Однак, при модифікації даного методу, можна позбутися цієї проблеми і навіть не втратити при цьому швидкості виконання, але значення пам'яті, що виділяється помітно підвищиться. Цей методможна вважати циклічним, оскільки він повністю заснований на циклах, тому і помічається некоректна робота при велику кількістьвершин.
Алгоритм Нелдера – Міда по праву можна вважати одним із найкращих методівзнаходження точки екстремуму за допомогою симплексу і відмінно підходить для використання його в різні родиінженерних та економічні завдання. Навіть незважаючи на циклічність, кількість пам'яті він використовує дуже мала кількість, порівняно з тим самим методом покоординатного спуску, а знаходження самого екстремуму потрібно вираховувати лише значення центру тяжкості і функції. Невелика, але достатня кількість комплексних параметрів дають цьому методу широке використанняу складних математичних та актуальних виробничих завданнях.
Симплексні алгоритми – це край, горизонти якого ще ми не скоро розкриємо, але вже зараз вони значно спрощують наше життя своєю візуальною складовою.

P.S. Текст повністю мій. Сподіваюся комусь дана інформаціябуде корисною.

Метод Гауса-Зейделя

Метод полягає у черговому знаходженні приватних екстремумів цільової функції за кожним фактором. При цьому на кожному етапі стабілізують (k-1) факторів і варіюють лише один i-ий фактор

Порядок розрахунку: у локальній області факторного простору виходячи з попередніх дослідів вибирають точку, відповідну найкращому результату процесу, і з неї починають рух до оптимуму. Крок руху за кожним фактором задається дослідником. Спочатку фіксують всі фактори на одному рівні і змінюють один фактор доти, доки буде збільшення (зменшення) функції відгуку (Y), потім змінюють інший фактор при стабілізації інших і т. д. доти не отримають бажаний результат (Y) . Головне правильно вибрати крок руху за кожним фактором.

Цей спосіб найбільш простий, наочний, але рух до оптимуму тривалий час і метод рідко призводить до оптимальної точки. В даний час він іноді застосовується при машинному експерименті.

Ці методи забезпечують рух до оптимуму прямою перпендикулярною до ліній рівного відгуку, тобто в напрямку градієнта функції відгуку.

Градієнтні методи мають кілька різновидів, що відрізняються правилами вибору щаблів варіювання та робочих кроків на кожному етапі руху до екстремуму.

Сутність всіх методів полягає у наступному: спочатку виходячи з попередніх дослідів вибирають базову точку. Потім кожному етапі навколо чергової базової точки організують пробні експерименти, за результатами яких оцінюють новий напрям градієнта, після чого у цьому напрямі роблять один робочий крок.

Метод градієнта (звичайний) здійснюється за такою схемою:

а) вибирають базову точку;

б) вибирають кроки руху за кожним фактором;

в) визначають координати пробних точок;

г) проводять експерименти у пробних точках. В результаті одержують значення параметра оптимізації (Y) у кожній точці.

д) за результатами дослідів обчислюють оцінки складових вектор-градієнта в т. м. для кожного i-го фактора:

де H i -крок руху X i .

X i – координати попередньої робочої точки.

ж) координати цієї робочої точки приймають за нову базову точку, навколо якої проводять експерименти у пробних точках. Обчислюють градієнт і т. д., доки не досягнуть бажаного параметра оптимізації (Y). Коригування напряму руху провадиться після кожного кроку.

Переваги методу: простота, вища швидкість руху до оптимуму.

Недоліки: велика чутливість до перешкод. Якщо крива має складну форму, метод може призвести до оптимуму. Якщо крива відгуку полога - метод малоефективний. Метод не дає інформації щодо взаємодії факторів.

а) Метод крутого сходження (Бокса – Вілсона).

б) Ухвалення рішень після крутого сходження.

в) симптомний метод оптимізації.

г) Переваги та недоліки методів.

5.7.3 Метод крутого сходження (Бокса-Вілсона)

Цей метод є синтезом кращих рисградієнтних методів, методу Гаусса-Зейделя та методів ПФЕ та ДФЕ – як засоби отримання математичної моделі процесу. Розв'язання задачі оптимізації даним методом виконується так, щоб кроковий рух здійснювався у напрямку якнайшвидшого зростання (зменшення) параметра оптимізації. Коригування напряму руху (на відміну від градієнтних методів) проводиться не після кожного кроку, а по досягненню приватного екстремуму цільової функції. Далі в точках приватного екстремуму ставиться новий факторний експеримент, складається нова математична модельі знову повторюється круте сходження до досягнення глобального оптимуму. Рух градієнтом починають з нульової точки (центру плану).

Метод крутого сходження передбачає рух до оптимуму за градієнтом.

Де i,j,k-поодинокі вектори у бік відповідних координатних осей.

Порядок розрахунку.

Вихідними даними є математична модель процесу, отримана будь-яким способом (ПФЕ, ДФЕ тощо).

Розрахунки проводять у такому порядку:

а) рівняння регресії краще перевести в натуральний вигляд за формулами кодування змінних:

де x i-кодоване значення змінної x i;

X i - натуральне значення змінної x i;

X i Ц -центральний рівень фактора в натуральному вигляді;

l i -інтервал варіювання фактора x i в натуральному вигляді.

б) обчислюють кроки руху до оптимуму за кожним фактором.

Для цього обчислюють добутки коефіцієнтів рівняння регресії у натуральному вигляді на відповідні інтервали варіювання

B i *.l I ,

Потім вибирають з отриманих творів максимальний за модулем,а відповідний цьому твору фактор приймають за базовий фактор(Bala). Для базового фактора слід встановити крок руху, який рекомендується задавати меншим або рівним інтервалуваріювання базового фактора

Знак кроку руху l a ' має збігатися зі знаком коефіцієнта рівняння регресії, що відповідає базовому фактору (Ba). Величина кроків для інших факторів обчислюється пропорційно до базового за формулою:

Знаки кроків руху також мають співпадати зі знаками відповідних коефіцієнтів рівняння регресії.

в) обчислюють функцію відгуку у центрі плану, т. е. при значеннях чинників рівних центральному рівню чинників, т. до. рух до оптимуму починають із центру плану.

Далі здійснюють обчислення параметра оптимізації, збільшуючи значення факторів на величину відповідного кроку руху, якщо хочуть отримати Y max . В іншому випадку, якщо необхідно отримати Y min значення факторів зменшують на величину кроку руху.

Процедуру повторюють, послідовно збільшуючи кількість кроків до тих пір, поки досягнуто бажаного значення параметра оптимізації (Y). Кожен із факторів після gкроків матиме значення:

Якщо Y® max X i = X i ц + gl i ` '

якщо Y ® min . X i = X i ц -gl i `.(5.36)