Математична оптимізація – це дисципліна, що займається пошуком найкращого рішення з множини доступних альтернатив. У контексті програмування це зазвичай означає мінімізацію або максимізацію певної цільової функції шляхом систематичного вибору значень вхідної змінної. Будь-яка задача оптимізації складається з трьох критичних компонентів: цільової функції, що виражає нашу мету, області пошуку (набору допустимих значень змінної) та обмежень, які диктуються реальними умовами.

Математичною оптимізацією (інколи, оптимізацією) або математичним програмуванням в математиці, інформатиці та дослідженні операцій називають відбір найкращого елементу (за певним критерієм) з множини доступних альтернатив [1].

У процесі проєктування ставиться, звичайно, задача визначення найкращих, у деякому значенні, структури або значення параметрів об’єктів. Така задача називається оптимізаційною. Якщо оптимізація пов’язана з розрахунком оптимальних значень параметрів при заданій структурі об’єкта, то вона називається параметричною. Задача вибору оптимальної структури є структурною оптимізацією.

Стандартна математична задача оптимізації формулюється в такий спосіб. Серед елементів χ, що утворюють множину Χ, знайти такий елемент χ^*, що надає мінімальне значення f(χ^*) заданій функції f(χ). 

У задачах з однією змінною головною проблемою є розрізнення локальних та глобальних екстремумів. Глобальний мінімум – це найнижча точка функції на всій області її визначення, тоді як локальний мінімум – це точка, що є найнижчою лише у певному обмеженому околі. На рисунку показано глобальні та локальні максимуми та мінімуми функції. Більшість класичних чисельних алгоритмів аналізують нахил функції в поточній точці та рухаються в бік зниження. Якщо функція має складний рельєф з багатьма «ямами», алгоритм може застрягти в локальному мінімумі.

Глобальні та локальні мінімуми та максимуми функції [2]

Формальне визначення:

Нехай дано функцію і  – внутрішня точка області визначення Тоді [3]

•  називається точкою локального максимуму функції якщо існує проколотий окіл  такий, що

•  називається точкою локального мінімуму функції якщо існує проколотий окіл  такий, що

•  називається точкою глобального (абсолютного) максимуму (рис. 1.2), якщо

•  називається точкою глобального (абсолютного) мінімуму, якщо

 називається точкою строгого локального або глобального максимуму або мінімуму відповідно.

Значення функції називають відповідно (строгим) локальним або глобальним максимумом або мінімумом. Точки, які є точками (локального) максимуму або мінімуму, називають точками (локального) екстремуму.

Графік параболоїду, заданого рівнянням z = f(x, y) = −(x² + y²) + 4. Глобальний максимум в точці (x, y, z) = (0, 0, 4) позначено синьою точкою [4]

З погляду математичного аналізу, пошук екстремуму базується на дослідженні похідної. У точці мінімуму або максимуму гладкої функції її похідна дорівнює нулю – це означає, що дотична до графіка в цій точці стає горизонтальною.

Основна математична умова екстремуму:

Якщо ми не можемо знайти похідну аналітично, ми використовуємо ітераційні методи, наприклад, метод золотого перетину. Він послідовно звужує інтервал, де знаходиться мінімум, використовуючи пропорцію числа фі (j).