logo
  1. Bosh sahifa
  2. Slaydlar
  3. Informatika va AT
  4. Klassifikasiya va regressiya algoritmi. K-Nearest Neighbour eng yaqin qo’shnilar algoritmi

Klassifikasiya va regressiya algoritmi. K-Nearest Neighbour eng yaqin qo’shnilar algoritmi

Yuklangan vaqt:

13.12.2024

Ko'chirishlar soni:

0

Hajmi:

2710.0966796875 KB
Ko'chirib olish
Klassifikasiya va regressiya algoritmi. K- Nearest Neighbour eng yaqin qo’shnilar algoritmi Dotsent G.Y. Bo`ronova Mashinali o`qitish nima? • Mashinani o'rganish uchun ishlatilishi mumkin bo'lgan g'oya - qushlar bilan bog'liq yana bir ibora: “Bir xil turga mansub qushlar bir joyda to`planadi". • Boshqacha qilib aytganda, o'xshash narsalar o'xshash xususiyatlarga ega bo'lishi mumkin. • Biz ushbu printsipdan ma'lumotlarni eng o'xshash yoki "yaqin" qo'shnilar bilan toifaga joylashtirish orqali tasniflash uchun foydalanishimiz mumkin. BuxDU G.Y. Bo`ronova Nearest Neighbor Classification • Bitta jumlada eng yaqin qo'shni klassifikatorlar eng o'xshash yorliqli misollar sinfini belgilash orqali yorliqsiz misollarni tasniflash xususiyati bilan aniqlanadi. Ushbu g'oyaning soddaligiga qaramay, eng yaqin qo'shni usullari juda kuchli. Ular quyidagi maqsadlarda muvaffaqiyatli qo'llanilgan: • Kompyuter ko‘rish ilovalari, shu jumladan, harakatsiz tasvirlar va videolarda optik belgilarni aniqlash va yuzni tanish • - Biror kishi unga tavsiya etilgan filmni yoqtiradimi yoki yo'qligini taxmin qilish (Netflix tanlovida bo'lgani kabi) • Muayyan protein yoki kasalliklarni aniqlashda foydalanish uchun genetik ma'lumotlardagi o`xshashliklarni aniqlash BuxDU G.Y. Bo`ronova Klasifikasiyalash masalasi kNN Algorithmini ishlash prinsipi • kNN algoritmi nominal o'zgaruvchi bilan belgilangan bir necha toifalarga bo'lingan misollardan tashkil topgan o'quv ma'lumotlar to'plamidan boshlanadi. • Tasavvur qilaylik, bizda yorliqsiz misollarni o'z ichiga olgan test ma'lumotlar to'plami bor, ular aks holda o'quv ma'lumotlari bilan bir xil xususiyatlarga ega. • Sinov ma'lumotlar to'plamidagi har bir yozuv uchun kNN o'xshashlik bo'yicha "eng yaqin" bo'lgan o'quv ma'lumotlaridagi k yozuvni aniqlaydi, bu erda k - oldindan belgilangan butun son. • Yorliqsiz sinov namunasi k eng yaqin qo'shnilarning ko'pchiligi sinfiga tayinlanadiBuxDU G.Y. Bo`ronova Misol: Reference: Machine Learning with R, Brett Lantz, Packt Publishing BuxDU G.Y. Bo`ronova Misol: BuxDU G.Y. Bo`ronova Misol: BuxDU G.Y. Bo`ronova Meni hozir tasniflang! BuxDU G.Y. Bo`ronova Misol: BuxDU G.Y. Bo`ronova Masofani hisoblash • Pomidorning eng yaqin qo'shnilarini aniqlash uchun masofa funksiyasi yoki ikkita nuqta o'rtasidagi masofani topish formula kerak bo'ladi. • Masofani hisoblashning turli usullari mavjud. • An'anaga ko'ra, kNN algoritmi Evklid masofasidan foydalanadi, agar siz ikkita nuqtani chizg`ich yordamida birlashtirsangiz, bu masofa hosil bo`ladi bu avvalgi rasmda pomidorni qo'shnilari bilan bog'laydigan nuqta chiziqlar bilan tasvirlangan.BuxDU G.Y. Bo`ronova Oraliq masofani aniqlash: Reference: Super Data Science BuxDU G.Y. Bo`ronova Oraliq • Evklid masofasi quyidagi formula bilan aniqlanadi, bu erda p va q taqqoslanadigan misol bo'lib, ularning har biri n ta xususiyatga ega. P1 atamasi p misolining birinchi xususiyati qiymatini bildiradi, q1 esa q misolining birinchi xususiyati qiymatini bildiradi: •Masofa formulasi har bir xususiyatning qiymatlarini solishtirishni o'z ichiga oladi. Misol uchun, pomidor (sweetness = 6, crunchiness = 4) va yashil loviya (sweetness = 3, crunchiness = 7) orasidagi masofani hisoblash uchun quyidagi formuladan foydalanishimiz mumkin: BuxDU G.Y. Bo`ronova Manxetten masofasi Ikki vektor (shahar bloklari) orasidagi Manxetten masofasi vektorlar orasidagi masofaning bir normasiga teng. Amaldagi masofa funksiyasi (shuningdek, "metrik" deb ataladi) "taksi" metrikasi deb ham ataladi. Manxetten masofasi mutlaq farqlar yig'indisi sifatida Manxetten masofasi [{a, b, c}, {x, y, z}] Abs [a - x] + Abs [b - y] + Abs [c - z] Bitta norma Manxettendagi ikkita shahar bloklari orasidagi masofaga o'xshaydi. blok1 = {1, 2, 3, 4}; blok2 = {5, 6, 7, 8}; Norm[blok1 − blok2, 1] 16 Manxetten ikki blokdan iborat: blok1 = {5, 2, - 3, 4}; blok2 = {1, 6, - 7, 8}; {Norm[blok1, 1], Norma[blok2, 1]} {14, 22} BuxDU G.Y. Bo`ronova Distance BuxDU G.Y. Bo`ronova Distance Manhattan Distance Euclidean Distance BuxDU G.Y. Bo`ronova Eng yaqin qo'shnilar BuxDU G.Y. Bo`ronova K ni aniqlash KNN uchun qancha qo'shni ishlatishni hal qilish, rejimning kelajakdagi ma'lumotlarga qanchalik yaxshi umumlashtirilishini aniqlaydi. O'quv ma'lumotlarini haddan tashqari moslashtirish va to'liq moslashtirish o'rtasidagi mutanosiblik - bu noaniqlik almashinuvi deb nomlanuvchi muammo. Katta k ni tanlash xilma xil ma'lumotlardan kelib chiqadigan ta'sir yoki farqni kamaytiradi, lekin o'quvchini shunday noto'g'ri qilishi mumkinki, bu kichik, ammo muhim xususiyatlarni e'tiborsiz qoldirish xavfini tug'diradi.• • • BuxDU G.Y. Bo`ronova K-NN algoritmi uchun kutubxona Pythonda k-yaqin qo'shnilar (k-NN) algoritmini amalga oshirish uchun ko'pincha quyidagi kutubxonalar qo'llaniladi: 1. scikit-learn: Bu Python’dagi eng mashhur mashina o‘rganish kutubxonalaridan biridir. U sklearn.neighbors modulida k-NN algoritmini amalga oshirishni o'z ichiga olgan keng ko'lamli vositalarni taqdim etadi. Scikit-learn da k-NN dan foydalanishga misol: from sklearn.neighbors import KNeighborsClassifier X_train, y_train, X_test, y_test = ... # подготовка данных knn = KNeighborsClassifier(n_neighbors=5) knn.fit(X_train, y_train) y_pred = knn.predict(X_test)BuxDU G.Y. Bo`ronova K-NN algoritmi uchun kutubxonalar 2. numpy: numpy k-NN ning to'g'ridan-to'g'ri amalga oshirilishini ta'minlamasa ham, bu kutubxona ko'pincha algoritmni amalga oshirish uchun zarur bo'lgan raqamli hisoblar uchun ishlatiladi. 3. scipy: Scipy kutubxonasidan k-NNni amalga oshirish uchun ham foydalanish mumkin, ayniqsa ma'lumotlar orasidagi masofani hisoblash uchun scipy.spatial.distance moduli. 4. Pandas: Pandas kutubxonasi ko'pincha k-NN uchun zarur bo'lgan ma'lumotlarni qayta ishlash va tayyorlash uchun boshqa kutubxonalar bilan birga ishlatiladi. Muayyan kutubxonani tanlash sizning ehtiyojlaringiz, vazifaning murakkabligi va afzalliklaringizga bog'liq. Scikit-learn odatda Pythonda k-NNni amalga oshirish uchun eng mashhur tanlovdir. BuxDU G.Y. Bo`ronova K ni aniqlash BuxDU G.Y. Bo`ronova Choosing appropriate k • Amalda, k ni tanlash o'rganiladigan kontseptsiyaning qiyinligi va o'quv ma'lumotlaridagi yozuvlar soniga bog'liq. • Odatda, k 3 va 10 oralig'ida o'rnatiladi. Umumiy amaliyotlardan biri k ni o`qitishlar sonining kvadrat ildiziga tenglashtirishdir. • Tasniflagichda biz k = 4 ni o'rnatishimiz mumkin, chunki o'quv ma'lumotlarida 15 ta misol ingredientlari mavjud va 15 ning kvadrat ildizi 3,87 ni tashkil qiladi. BuxDU G.Y. Bo`ronova Min- Max normalization • KNN uchun xususiyatlarni o'zgartirishning an'anaviy usuli - bu min-max normalizatsiya. • Bu jarayon xususiyatni shunday o'zgartiradiki, uning barcha qiymatlari 0 va 1 oralig'ida bo'ladi. Xususiyatni normallashtirish formulasi quyidagicha. Asosan, formula har bir qiymatdan X xususiyatining minimalini ayiradi va X oralig'iga bo'linadi: • Oddiylashtirilgan xususiyat qiymatlari 0 foizdan 100 foizgacha bo'lgan asl qiymat asl minimal va maksimal oralig'ida qanchalik uzoqqa tushganini ko'rsatadigan tarzda talqin qilinishi mumkin. BuxDU G.Y. Bo`ronova The Lazy Learning O'rganishning qat'iy ta'rifidan foydalangan holda, dangasa o'quvchi hech narsani o'rganmaydi. Buning o'rniga u faqat o'quv ma'lumotlarini saqlaydi. Bu o'quv bosqichining juda tez sodir bo'lishiga imkon beradi, buning mumkin bo'lgan salbiy tomoni shundaki, bashorat qilish jarayoni nisbatan sekin bo'ladi. O'quv misollariga katta bog'liqlik tufayli, dangasa o'rganish, shuningdek, misolga asoslangan o'rganish yoki eslab o'rganish sifatida ham tanilgan.• • • BuxDU G.Y. Bo`ronova Few Lazy Learning Algorithms • K eng yaqin qo'shnilar • Mahalliy regressiya • Lazy Naive Bayes BuxDU G.Y. Bo`ronova The kNN Algorithm BuxDU G.Y. Bo`ronova Python Packages needed • pandas – Data Analytics • numpy – Numerical Computing • matplotlib.pyplot – Plotting graphs • sklearn – Classification and Regression Classes BuxDU G.Y. Bo`ronova Sample Application BuxDU G.Y. Bo`ronova KNN – Classification : Dataset • Yangi vositadan boshlash uchun eng yaxshi kichik loyiha - bu iris gullarining tasnifi (masalan, iris ma'lumotlar to'plami). • Bu yaxshi loyiha, chunki u juda yaxshi tushunilgan. • Atributlar sonli, shuning uchun siz ma'lumotlarni qanday yuklash va qayta ishlashni aniqlashingiz kerak. • Bu tasniflash muammosi bo'lib, sizga nazorat ostidagi o'rganish algoritmining osonroq turi bilan mashq qilish imkonini beradi. • Bu ko'p toifali tasniflash muammosi (ko'p nominal) bo'lib, ba'zi maxsus ishlov berishni talab qilishi mumkin. • U faqat 4 ta atribut va 150 ta qatorga ega, ya'ni u kichik va xotiraga (va ekran yoki A4 sahifaga) osongina mos keladi. • Barcha raqamli atributlar bir xil birliklarda va bir xil masshtabda bo'lib, boshlash uchun hech qanday maxsus masshtablash yoki o'zgartirishni talab qilmaydi. BuxDU G.Y. Bo`ronova Dataset BuxDU G.Y. Bo`ronova KNN – Classification : Dataset BuxDU G.Y. Bo`ronova Pre- processing BuxDU G.Y. Bo`ronova Characterize BuxDU G.Y. Bo`ronova Finding error w it h changed k BuxDU G.Y. Bo`ronova Error rate BuxDU G.Y. Bo`ronova Useful resources • • • • • • • • • www.mitu.co.in www.pythonprogramminglanguage. com www.scikit- learn.org www.towardsdatascience.com www.medium.com www.analyticsvidhya.com www.kaggle.com www.stephacking.co m www.github.com gulnoraburonova@gmail .comThank you Gulnora Yodgorovna

O'xshashlar

Sun’iy intellekt asosida video tasvirlarni raqamli qayta ishlash algoritmi va dasturiy ta’minotini ishlab chiqish
Chiziqli algoritm
Ma'lumotlarni saralash algoritmlari. Saralashning qat’iy va yashilangan usullari
Axborotni himoyalashning kriptografik usullari
Haqiqiy ikkilik qidiruv