Таянч векторлар усули (SVM) - Informatika va AT - Referatlar

Таянч векторлар усули (SVM)

Yuklangan vaqt:

20.09.2019

Ko'chirishlar soni:

0

Hajmi:

1803.5 KB

Ko'chirib olish

Таянч векторлар усули (SVM) Режа: Чизиқли ажралувчи танлов учун SVM Чизиқли ажралмайдиган танлов учун SVM Ядролар ва тўғирловчи фазолар

Таянч векторлар усули (SVM) 60-70 йилларда В.Н. Вапник раҳбарлигидаги математиклар гуруҳи оптимал ажратувчи гипертекислик ни қуришга асосланган умулашган портрет усулини ишлаб чиқдилар. Оптималликка қўйилган талаб, ўргатилаётган объектлар ажратувчи текисликдан иложи борича узоқда бўлиши шарт. 90-йилларда усул кенг танилди ва бир қанча ўзгартиришлардан кейин таянч векторлар усули (support vector machine, SVM) дея ном олди. Ҳозирги кунда бу усул энг яхши классификация усулларидан ҳисобланади. SVM усули бир нечта ажойиб хусусиятларга эга. Биринчидан, SVM ни ўргатиш ҳатто юз минглаган объектдан иборат танловда ҳам етарлича самарали ҳисобланадиган ягона ечимга эга бўлган квадратик программалаш масаласига келтирилади. Иккинчидан, ечим сийракланганлик хусусиятига эга, яъни, оптимал ажратувчи гипертекисликнинг жойлашиши ўргатувчи объектларнинг жуда кам қисмига боғлиқ. Улар таянч векторлар дейилади ва қолган объектлар қатнашмайдилар. Ва ниҳоят, ядро функциясини киритиш орқали математик йўл билан SVM ночизиқли ажратувчи юза ҳолати учун ҳам умумлаштирилди. Берилган амалий масала учун ядро танлаш саволи ҳалигача назарий муаммо бўлиб очиқ қолмоқда. Чизиқли ажралувчи танлов учун SVM Иккита кесишмайдиган синф учун классификация масаласини қараймиз, бунда объектлар ўлчовли векторлар орқали ифодаланади: , Чизиқли остонали классификатор қурамиз:

бу ерда, - объект нинг аломатлар тавсифи, – вектор ва - скаляр остоналар алгоритмнинг параметрлари. тенглама синфларни да ажратувчи гипертекисликни ифодалайди. Фараз қилайлик, танлов чизиқли ажралувчи ва (6.1) функционал нол қийматга тенг бўладиган параметрлар мавжуд бўлсин. Агар ни бир хил мусбат константа қийматга кўпайтирсак алгоритм ўзгармайди. Бу константани шарт бажариладиган қилиб танланади. нуқталар тўплами синфларни ажратадиган йўлакни ифодалайди. Ўргатувчи танловдан ҳеч бири бу йўлак ичига тушмайди. Йўлакни чегаралари бўлиб нормал вектори билан иккита параллел гипертекислик хизмат қилади. Ажратувчи гипертекислик уларнинг қоқ ўртасидан ўтади ва унга энг яқин объектлар йўлакнинг чегарасида ётадилар, айнан ўша объектлар (6.1) ни минимумга эриштиради.

Ажратувчи гипертекислик танлов объектларидан имкон қадар узоқ туриши учун йўлакнинг кенглиги максимал бўлиши керак. йўлакнинг чегарасидаги мос равишда -1 ва +1 синф ўргатувчи объектлари бўлсин. У ҳолда йўлак кенглиги: Бундан йўлак максимал бўлиши учун нормал вектори минимал бўлиши керак ва қуйидагича квадратик программлаш масаласига келтирилади: ( 6.2) Амалиётда чизиқли ажралувчи синфлар жуда кам учрайди. Шунинг учун, (6.2) масала қўйилишини ихтиёрий ҳолат учун модификация қилиш керак. Чизиқли ажралмайдиган танлов учун SVM объектлардаги хатолик қийматини ифодаловчи ёрдамчи ўзгарувчини киритамиз. (6.2) тенгсизлик чегараланишни бўшаштирамиз ва бир вақтда хатоликлар йиғиндиси учун жаримани минималлаштирувчи функционални киритамиз: (6.3) Мусбат константа усулнинг бошқарувчи параметри дейилади ва у одатда сирғалувчи назорат ёрдамида танланади. (6.3) нинг ечими нинг қандай танланишига жуда сезувчан эмас ва унинг жуда аниқликда оптимизация

қилиш талаб қилинмайди. (6.3) икки тарафлама масаласига келтирилади ва Лагранж теоремаси, Куна-Таккер теоремалари ёрдамида параметрлар ҳисобланиб: кўринишга келади. – га икки тарафлама вектор ўзгарувчилар. Ядролар ва тўғирловчи фазолар Чизиқли ажралмаслик муаммосини ечиш учун яна бир йўл мавжуд. Бу объектлар аломатлари тавсифи бошланғич фазосидан қандайдир акслантириш ёрдамида янги фазога ўтишдир. Агар фазо етарлича катта ўлчамда бўлса, у ҳолда танлов чизиқли ажралишини кўриш мумкин (агар, танловда бир бирини инкор қиладиган берилганлар бўлмаса, у ҳолда ўлчами дан катта бўлмаган фазо ҳар доим топиладики, бунда танлов чизиқли ажралади (исботи уйга вазифа)). фазо тўғирловчи (спрамляющий) дейилади. Таъриф 6.1. Агар қандайдир акслантиришлар учун функцияни кўринишда ифодалаб бўлса, бу функция ядро (kernel function) дейилади, бу ерда – скаляр кўпайтмали фазо.

Ихтиёрий икки аргументли функция ядро бўла оладими? Бу саволга қуйидаги теорема тўлиқ жавоб беради ва рухсат этилган ядролар синфи етарлича кўплигини кўрсатади. Теорема 6.1. (Мерсер, 1909) функция ядро бўлади фақат ва фақат у симметрик бўлса , ҳамда ихтиёрий функциялар учун номанфий аниқланган бўлса . Қуйидаги натижавий қоидалар амалий масалаларда ядроларни қуришга имкон беради: 1. Ихтиёрий скаляр кўпайтма ядро бўлади. 2. константа ядро бўлади. 3. Ядролар кўпйтмаси яна ядро бўлади. 4. Ихтиёрий функциялар учун кўпайтма ядро бўлади. 5. Номанфий коэффициент билан ядроларни чизиқли комбинацияси ядро бўлади ва бошқалар.

А дабиётлар рўйхати 1. Бауман Е.В. Задача построения размытых классификаций // Методы и алгоритмы анализа эмпирических данных. М.: Ин –т пробл. управления, 1988.- С. 16-27. 2. Белкин А. Р., Левин М. Ш. Принятие решений: комбинаторные модели аппроксимации информации. М.: Наука, 1990.- 160 с. 3. Бернатович А.С. Активный эксперимент в идентификации фунциональных систем для оперативной реализации моделей имитационного типа // Кибернетика.- 1983.- № 1.- С. 99-104. 4. Блишун А.Ф. Сравнительный анализ методов измерения нечёткости // Изв. АH СССР. сер. Техническая кибернетика.- 1988.- № 5.- С. 152-175. 5. Бородкин Л.И.,Стадник О.Е. Алгоритм построения решающего правила в задаче распознавания образов с использованием размытых множеств // Автоматика и телемеханика.- 1985.- № 11.- С. 108-116. 6. Будущее искусственного интеллекта.-М.: Наука, 1991.- 302 с. 7. Вапник В.Н. Восстановление зависимостей по эмпиpическим данным. - М.: Наука, 1979. - 447 с. 8. Ветров Д.П., Рязанов В.В. О минимизации признакового пространства в задачах распознавания // Тр. междунар. конф. Математические методы распознавания образов:М., 2001.- С. 22-24.

O'xshashlar

Динамик программалаштириш усули

Чизиқли қобиқ усули

Уринмалар ва ватарлар усули

Энг кичик квадратлар усули

Cунъий базис вектор усули