Привести всі значення ознак до єдиного масштабу з метою прискорити обрахунки та уникнути помилок переповнення при обчисленнях

Знайти найкращий мінімум функції втрат

Прибрати "шум" у вхідних даних

Перевіряти допустимі межі отриманих результатів на кожному кроці обчислень

Прискорити обрахунки через проектування процесу на стандартну паралельну обчислювальну архітектуру

В переважній більшості практичних випадків градієнтний спуск знаходить прийнятне рішення в той час як аналітичне - ні

Легше вирішити одне матричне рівняння і отримати результат одразу ніж робити наперед невідому кількість кроків градієнтного спуску

Легше наперед вивести формулу і її разово застосувати ніж нескінченно довго наближатися до того ж результату ітеративно

Обидва методи погані: мінімум функції завжди ж видно на малюнку - просто треба глянути на функцію з більшого просторового виміру і побачити мінімум одразу

Випадок, коли моделі надали занадто багато тренувальних зразків.

Випадок, коли модель занадто точно запам'ятала всі особливості навчального набору разом із шумом, що супроводжував його створення.

Випадок, коли модель вилучила і узагальнила всі корисні закономірності.

Випадок, коли модель навчилася більшому, ніж це передбачували творці навчального набору зразків.

L₂ регуляризатор гладкий тому що він неперервно диференційований

L₂ регуляризатор гладкий тому що він неперервно використовуваний

L₁ регуляризатор дозволяє автоматично відбирати найважливіші ознаки, але не дає можливість використовувати градієнтні методи оптимізації

L₁ регуляризатор не є гладким, тому він найкраще підходить для пошуку оптимуму на dataset'ах імпульсних систем

L₁, L₂ регуляризація дозволяє ефективно боротися з галюцинаціями нейронних мереж

Напрямок (вектор) зростання функції

Напрямок (вектор) спадання (зменшення) функції

Напрямок (вектор) найбільшої зміни функції

Знак похідної функції в точці, який визначає, в яку сторону робити наступний крок пошуку мінімуму

Погано підготований dataset, який не підходить для навчання моделі

Лінійну взаємозалежність ознак, яких треба позбутися перед навчанням моделі

Присутність повної або часткової лінійної взаємозалежності ознак, позбутися якої важко або неможливо

Кількість (арність) ознак, що входить як аргумент у функцію шуканої залежності: унарність, бінарність, колінеарність.

Множина поєднаних між собою лінійних регресій, розподілених по шарам

Орієнтований обчислювальний граф, в якому множина вхідних зв'язків кожної вершини є лінійною регресією, а на виході застосовується функція активації

Математична модель біологічного нейрона

Теорема А. М. Колмогорова про універсальність нейронної мережі

1. Може знаходити нелінійні залежності

Відображає функціональну залежність

Ніяк з нею не пов'язана

Є її реалізацією

Визначає метод побудови нейромережі будь-якої складності

Коректна в межах одиничного гіперкуба, що суттєво обмежує її застосування для побудови реальних архітектур нейромереж

Доводить можливість відтворити неперервну функцію будь-якої складності за допомогою нейромережі, але не надає методів побудови її архітектури