Сунъий интеллект тизимлари ҳақида - Информатика и ИТ - Рефераты

Сунъий интеллект тизимлари ҳақида

Загружено в:

20.09.2019

Скачано:

0

Размер:

3608 KB

Сунъий интеллект тизимлари ҳақида Режа: Кириш Сунъий интеллект тизимлари ҳақида. Асосий тушунчалар ва таърифлар Объект ва аломатлар Жавоблар ва масалалар тоифалари Алгоритмлар модели ва ўргатиш усули Сифат функционали Переобучения муаммоси ва умумлаштирувчи қобилият тушунчаси

Сунъий интеллект тизимлари ҳақида. Компьютер технологияларининг мукаммаллашуви ва жамиятнинг деярли барча соҳаларига кириб бориши натижасида гигант ҳажмда ҳар хил тоифали берилганлар базалари (ББ) узлуксиз ўсмоқда. Шу билан биргаликда, бу астрономик ҳажмдаги “хом” берилганлардан “яширин билимлар”ни кашф қиладиган усулларга талаб ортмоқда. Чунки, анъанавий ББ учун яратилган махсус сўров тиллари (масалан, реляцион ББ учун SQL сўров тили) ёрдамида “яширин билимлар”ни олиб бўлмайди. “Яширин билимлар” деганда: - илгари номаълум бўлган, яъни, янги билимлар бўлиши; - бевосита кўриб бўлмайдиган билимлар (масалан, берилганларни бевосита визуал таҳлили ёки оддий статистик тавсифларни ҳисоблаш учун); - амалиёт учун фойдали, яъни, тадқиқотчи ёки истеъмолчи учун қийматга эга бўлган билимлар; - осонлик билан изоҳлаш мумкин бўлган, яъни, фан соҳасида терминлар орқали қийинчиликсиз тушунтириладиган билимлар бўлиши шарт. Бу талаблар Data Mining (DM) усуллари моҳиятини ва DM технологиялари ББ бошқариш тизимлари, статистик таҳлил усуллари ва сунъий интеллект усуллари билан қандай кўринишда, қандай муносабатда фойдаланишини аниқлаб беради. DM усуллари ёрдамида кашф қилинган билимларни модел кўринишида ифодалиш қабул қилинган. Бундай моделларга ассоциатив қоидалар, қарорлар дарахтлари, кластерлар, математик функциялар киради. Бу каби моделларни қуриш усуллари сунъий интеллект соҳасида кўрилади.

DM усуллари орқали ечиладиган масалалар тавсифловчи ва прогноз қилувчиларга ажралади. Тавсифловчи масалаларда энг асосийси бу – мавжуд бўлган яширин қонуниятларга яққол тавсиф бериш бўлса, прогноз қилувчи масалаларда эса, танловда берилганларга асосланиб келажакдаги ҳодисаларни прогноз қилишдир. Тавсифловчи масалаларга қуйидагилар киради: - ассоциатив қоида ёки образларни излаш; - объектларни гуруҳлаш, кластерли таҳлил; - регрессион моделларни қуриш. Прогноз қилувчи масалаларга: - объектларни классификация қилиш (олдиндан берилган класслар учун); - регрессион таҳлил, вақтли қаторлар таҳлили масалалари киради. DM усуллари билан масаланинг ечилиши қуйидаги босқичлардан иборат: 1. Гипотеза шакллантириш 2. Берилганларни йиғиш 3. Берилганларни тайёрлаш (фильтрлаш) 4. Моделлар танлаш 5. Моделлар параметрлари ва ўргатиш алгоритмини танлаш 6. Моделни ўргатиш (моделнинг қолган параметрларини автоматик излаш) 7. Ўргатиш сифати таҳлили, агар, қониқарсиз бўлса 5- ёки 4- босқичга қайтиш 8. Аниқланган қонуниятни таҳлил қилиш, агар, талабга жавоб бермаса 1,4 ёки 5-босқичга қайтиш. DM технологияларида қуйидаги муаммолар учрайди:

Гигант ҳажмли берилганлар . Берилганлар ичида керакли натижа учун ҳисса қўшмайдиганлари ҳам бўлиши мумкин. Бу ҳолатда берилганлар билан ишлаш катта ресурс талаб қилади. Хато ўлчанган берилганлар . DM усулларида кўзланган мақсадга етиш берилганларни қанчалик аниқ ва ишончли бўлишига боғлиқ. Берилганларни ўлчашдаги хатоликлар натижага салбий таъсир кўрсатади. Ўлчанмаган берилганлар . Қандайдир сабаблар билан берилганлардаги айрим аломатлар ўлчанмасдан қолиши мумкин (масалан, беъморни барча таҳлилга пули етмаслиги мумкин ёки ўлчаш асбоби бузилиб қолиши мумкин ва ҳ. ). Ҳар хил тоифали берилганлар . Реал ҳаётда объектларнинг аломатлари ҳар хил тоифали (миқдорий, номинал, бинар ва тартибли) бўлади ва улар билан ишлаш ўзига яраша муаммолар яратади. Информатив аломатларни танлаш . Танловдаги объектлар аломатларининг ичида бир бирини такрорлайдиганлари ёки олинадиган натижага таъсир кўрсатмайдиганлари учраши мумкин. Бундай информатив бўлмаган аломатларни танловдан чиқариб ташлаш модел сифатини оширади ва берилганларни қайта ишлашда ресурсларни тежалишига олиб келади. Аммо, аломатларни саралаш масаласининг мураккаблиги комбинаторли характерга эга. Шунинг учун, аломатларни танлашда тўлиқ саралаш (перебор)ни камайтирадиган усулларни топиш DM нинг замонавий муаммоларидан ҳисобланади. Латент аломатларни топиш . Латент аломатлар бу – танловда мавжуд аломатлардан маълум комбинация натижасида ҳосил қилинадиган яширин аломатлардир. Танловдаги аломатлар ҳар доим қарор қабул қилиш учун етарли бўлмаслиги мумкин, шундай вазиятда латент аломатлар ёрдамида янги аломатлар фазоси қурилади ва масала ечилади. Информатив бўлган латент аломатларни топиш муаммоси тўлиқ ечим топмаган.

Эталон объектларни топиш . Ҳар хил тоифали гигант ҳажмли танловлар билан ишлашда танловни тўлиқ қоплайдиган ва минимал сондаги эталон объектларни топиш. DM технологиялари инсон фаолиятининг деярли барча соҳаларига тез суратда кириб бормоқда. Дастлаб, банк иши, суғурта, электрон тижорат ва электрон маркетингда қўлланила бошлаган бўлса, ҳозирги кунга келиб саноат, молиявий таҳлил, веб ресурс ва матн таҳлили, давлат сектори, биология, генетика, медицина ва табиий фанлар каби бошқа соҳаларда ҳам фойдаланилмоқда. Ижтимоий тармоқлар таҳлили, терроризмга қарши кураш ва мобил тармоқ таҳлили, биржа, сейсмология соҳаларда самарали натижалар бермоқда. Шунинг учун, дунёнинг илғор мамлакатлари DM технологияларини ривожлантиришга катта маблағ ва мутахассисларни жалб қилмоқда. Асосий тушунчалар ва таърифлар Бу маърузада бутун курс давомида фойдаланиладиган таянч тушунчалар берилади. Прецедент бўйича ўргатишда масаланинг қўйилиши ва амалий масалаларга оид бир нечта мисоллар кўрилади. объектлар тўплами, рухсат этилган жавоблар тўплами берилган ва қиймати фақат чекли объектлар қисм тўплами да маълум бўлган мақсадли функция (target function) берилган. “Объект -жавоб” жуфтлиги прецедент дейилади. Барча жуфтликлар мажмуи ўргатувчи танлов (training sample) дейилади. Прецедент бўйича ўргатиш масаласи танлов бўйича боғлиқликни тиклашни, яъни, фақат ўргатувчи танловдагина эмас, балки, барча тўпламда мақсадли функцияга яқинлашувчи қарор қабул қилувчи функция (decision function)ни қуриш ўз ичига олади.

Қарор қабул қилувчи a функцияни компьютерда самарали реализация қилиш мумкин бўлиши шарт, шу сабабли, a функцияни алгоритм деб аталади. Объект ва аломатлар объектнинг аломати ( feature ) бу – объектнинг қандайдир характеристикасини ўлчаш натижасидир. Расмий томондан аломат деб акслантиришга айтилади, бу ерда – аломатнинг рухсат этилган қийматлар тўплами. Хусусий ҳолда, ихтиёрий алгоритм аломат сифатида ҳам қаралиши мумкин. Табиатан боғланишига кўра аломатлар тўплами бир нечта тоифага бўлинади: Агар бўлса, – бинар аломат; Агар чекли тўплам бўлса, у ҳолда – номинал аломат ; Агар чекли тартибланган тўплам бўлса, у ҳолда – тартибланган аломат ; Агар бўлса, у ҳолда – миқдорий аломат дейилади. Агар барча аломатлар бир хил тоифали бўлса, у ҳолда бошланғич берилганлар бир тоифали, акс ҳолда ҳар хил тоифали дейилади. танловдаги барча объектларнинг ўлчовли жадвал кўринишда аломатлари тавсифи йиғидиси “ объект-аломат” матрица дейилади. Объект- аломат матрицаси амалий масалаларда бошланғич берилганларни ифодалашни стандарт ва энг кўп тарқалган кўриниши ҳисобланади.

Жавоблар ва масалалар тоифалари Прецедент бўйича ўргатиш масалалари рухсат этилган жавоблар тўплами нинг табиатига кўра қуйидаги тоифаларга ажралади: Агар бўлса, у ҳолда бу масала - та кесишмайдиган синфда классификация масаласи дейилади. Бу ҳолатда барча объектлар тўплами синфларга ажратилади ва алгоритм “ қайси синфга тегишли?” саволига жавоб бериши шарт. Баъзи иловаларда синфларни образлар ва масалани эса образларни англаш (pattern recognition) масаласи ҳам дейилади. Агар бўлса, у ҳолда масала - та кесишадиган синфда классификация масаласи дейилади. Бундай ҳолатда масала та мустақил иккита кесишмайдиган синф классификация масаласига келтирилади. Агар бўлса, масала регрессия (regression estimation) масаласи дейилади. Прогноз масалалари (forecasting) классификация ва регрессия масалаларининг хусусий холи ҳисобланади, яъни, объектнинг ўтмишдаги ҳолатининг тавсифи, объектнинг келажакдаги ҳолатининг баъзи тавсифи бўлади. Алгоритмлар модели ва ўргатиш усули Таъриф 1.1. , кўринишдаги параметрик акслантиришлар алгоритмлар модели дейилади, бу ерда, қандайдир фиксирланган функция, параметрнинг параметрлар фазоси деб номланадиган рухсат этилган қийматлар тўплами. Ўргатувчи танлов бўйича моделнинг оптимал параметрини танлаш жараёни алгоритмни созлаш (fitting) ёки ўргатиш (training, learning) дейилади.

Таъриф 1.2. Ўргатиш усули (learning algorithm) бу – ихтиёрий чекли танловда қандайдир алгоритмни мословчи акслантиришдир. Бошқача қилиб, усул танлов бўйича алгоритмни қуради дейиш мумкин. Ўргатиш усули самарали компьютер реализациясига имкон бериши керак. Прецедент бўйича ўргатиш масалалари 2 босқичдан иборат бўлади: - ўргатиш босқичида усул танлов бўйича алгоритмни қуради; - қўллаш босқичида алгоритм янги объект учун жавоб беради. Ўргатиш босқичи энг қийини ҳисобланади, чунки, бунда масала берилган сифат функционалининг оптимал қийматини берувчи модел параметрларини излаш масаласига келтирилади. Сифат функционали Таъриф 1.3. Йўқотиш функцияси (loss function) бу - алгоритм объектда хатолик қийматини характерловчи номанфий функциядир. Агар бўлса, жавоб коррект дейилади. Таъриф 1.4. танлов бўйича алгоритмнинг сифат функционали : . Функционал ўртача йўқотиш ёки эмпирик таваккаллик ҳам дейилади. Чунки, эмпирик берилганлар бўйича ҳисобланади. Қуйида энг кўп қўлланадиган йўқотиш функциялари келтирилган:

– хатолар индикатори, одатда, классификация масалаларида фойдаланилади. (Бу ерда [ ] квадрат қавс мантиқий қийматни сонга айлантириш учун қўйилган, [рост]=1, [ёлғон]=0) – тўғри жавобдан четга чиқиш, одатда, регрессия масалаларида фойдаланилади. – квадратик йўқотиш функцияси , функционал эса алгоритмнинг танловда ўртача квадратик хатолиги дейилади ва одатда, регрессия масалаларида фойдаланилади. Эмпирик таваккалликни минимизациялаш ( empirical risk minimization ) дея номланувчи классик ўргатувчи усулининг мақсади берилган моделларда шундай алгоритмни топишки, бунда берилган танловда сифат функционали нинг қиймати минимал бўлади, яъни: Переобучения муаммоси ва умумлаштирувчи қобилият тушунчаси Эмпирик таваккалликни минимизациялашда маълум даражада эҳтиёткорлик лозим. Агар функционал алгоритмда минимумга эришган бўлсада, бу ихтиёрий назорат танловда мақсадли боғлиқликка алгоритм яхши яқинлашишига кафолат бермайди. Ўргатишда қатнашмаган янги объектда алгоритм ишининг сифати ўргатувчи танловдагидан кўра ёмонроқ бўлса, переобучения (overtraining) ёки переподгонка (overfitting) самараси ҳақида гапирилади. Амалий масалаларни ечишда бу ҳодисага жуда кўп дуч келинади. Шунинг учун, муваффақиятли ўргатишда нафақат ёдлаб олиш, балки, умумлаштириш ҳам шарт.

усулнинг умумлаштирувчи қобилияти (generalization ability) - ва танловлар ўзаро вакил бўлганда катталик билан характерланади. “Вакил танлов” тушунчаси ва танловларни тўпламда номаълум эҳтимолий тақсимот билан олинишини англатади. Таъриф 1.5. Ўргатиш усули асосли дейилади, агар, берилган ва ларнинг етарлича кичик қийматларида қуйидаги тенгсизлик ўринли бўлса: . параметр аниқлик , ишончлилик дейилади. Юқоридаги кўринишдаги баҳо ўргатиш статистик назариясининг фундаментал муаммоси ҳисобланади. Биринчи бўлиб баҳолаш 60-йилларнинг охирида В.Н. Вапник ва А.Я. Червоненкислар томонидан киритилган. Агар назариядан фойдаланиш муваффақиятли чиқмаса, умумлаштириш қобилиятининг эмпирик баҳоси қўлланилади. танлов берилган бўлсин. Танловни иккита кесишмайдиган узунликдаги ва узунлиги бўлган қисм танловларга хил йўл билан бўламиз. Ҳар бир тақсимлаш учун алгоритм қурамиз ва қийматини ҳисоблаймиз. Барча бўлишлар бўйича қийматларининг ўрта арифметиги сирғалувчи назорат (cross-validation, CV) баҳоси дейилади:

Адабиётлар рўйхати 1. Бауман Е.В. Задача построения размытых классификаций // Методы и алгоритмы анализа эмпирических данных. М.: Ин –т пробл. управления, 1988.- С. 16-27. 2. Белкин А. Р., Левин М. Ш. Принятие решений: комбинаторные модели аппроксимации информации. М.: Наука, 1990.- 160 с. 3. Бернатович А.С. Активный эксперимент в идентификации фунциональных систем для оперативной реализации моделей имитационного типа // Кибернетика.- 1983.- № 1.- С. 99-104. 4. Блишун А.Ф. Сравнительный анализ методов измерения нечёткости // Изв. АH СССР. сер. Техническая кибернетика.- 1988.- № 5.- С. 152-175. 5. Бородкин Л.И.,Стадник О.Е. Алгоритм построения решающего правила в задаче распознавания образов с использованием размытых множеств // Автоматика и телемеханика.- 1985.- № 11.- С. 108-116. 6. Будущее искусственного интеллекта.-М.: Наука, 1991.- 302 с. 7. Вапник В.Н. Восстановление зависимостей по эмпиpическим данным. - М.: Наука, 1979. - 447 с. 8. Ветров Д.П., Рязанов В.В. О минимизации признакового пространства в задачах распознавания // Тр. междунар. конф. Математические методы распознавания образов:М., 2001.- С. 22-24.

Похожие

Сунъий интеллект тизимлари

Сунъий интеллект. Эксперт тизимлари

Назорат қилувчи дастурлар. Муаммоли ёндашув дастурлари. Эксперт тизимлар ва сунъий интеллект

Назорат килувчи дастурлар. Муаммоли ёндашув дастурлари. Эксперт тизимлар ва сунъий интеллектНазорат килувчи дастурлар. Муаммоли ёндашув дастурлари. Эксперт тизимлар ва сунъий интеллект

Ахборот тизимлари