Сряда изпълнението на задачи - MATLAB.

Линейна регресия Модел -regulyarizovannoy

формулировка на метода

Проблемът за възстановяване регресия. Има _n обучение проба, t_n \> _ ^ N "/>, където _n \ в \ mathbb ^ Г" /> - функция вектор за обекта и "/> -. Неговата регресия стойност проблем се състои в предвиждане регресия стойности" /> за новия обект, представлявано от векторните знаци _ "/>.

В линейната регресия прогнозата се извършва с помощта на линейна функция:

където \ в \ mathbb ^ D "/> - Създаване на някои везни се извършва чрез свеждане до минимум на узаконени следните критерии :.

Ето - определен от потребителя параметри за отстраняване на нередовностите. Използването -regulyarizatsii позволява, от една страна, за да се намали вероятността от повторно обучение алгоритъм, и второ, да се получи т.нар Разредените разтвори. Разредените разтвори на компонентите на оптимално вектор тегло "/> е нула. Нула тегло за някои признаци на тяхното изключване от еквивалентен модел (признаване на тяхната информационен стойност).

Двойното проблема

Помислете за получаване на двойния проблем оптимизация за проблем (1). За това ние считаме, еквивалентната формулирането на проблема, както е ограничен проблем оптимизация:

Освен това, може да се докаже, че двойната на изпъкнала проблем оптимизация е както следва:

Тук под || _ "/> разбран.

гладка задача

Задача изпъкнала nonsmooth оптимизация (1) могат да бъдат представени като еквивалентно ограничени минимизиране проблем гладка:

задача Описание

• Изходна двойна проблем оптимизация (2); запишете как да се справи с проблема с двойна (2) може да се получи решение от пряк проблем (1);
• За проблема (2) за изчисляване на допустимото формула двойна точка "/> в точка, определена от линията" />, въз основа на това да записва горна граница на разликата между директни проблемни разтвори (1) и два проблема (2);
• Извлече необходимите формули за решаване на гладки учебни цели (3), използвайки метода на бариерните функции; предлагат начин за ефективно решаване на съответните линейни системи, необходими за тази формула, за да вмъкнете в доклада;
• Прилагане на метод на бариерните функции за решаване на проблема (3); като спиране критерий, използван за оценка на получения горната разликата;
• Изходна необходимо за решаване на проблема с формула (2) с метод с права двойна вътрешна точка; предлагат начин за ефективно справяне със смущение KKT-система, необходима за тази формула, за да вмъкнете в доклада;
• Прилагане на първична-двойна вътрешна точка на проблема (2); като критерий за спиране използва нормално дясната страна на смутен KKT-система;
• Прилагане за избор на проксималната или coordinatewise метод за решаване на проблема на обучение (1);
• За провеждане на експериментална сравнение на три прилагани методи (бариерен метод за проблема (1), десен двойна метод вътрешна точка на проблема (2) и метод проксимален / coordinatewise за (1)) за скоростта, с 1) различни съотношения на броя на обектите и функции в данните, и 2) различни стойности на точност;
• Напиши доклад в PDF формат с описание на всички изследвания. Този доклад трябва да съдържа по-специално необходимите формули за всички методи. Също така, във всички тези експерименти показват, броя на повторенията, точност и време параметрите на работа.

Спецификация изпълнява функции

метод за обучение на наказателните функции

w = l1linreg_barrier (X, т, ламбда, param_name1, param_value1).