Ахборотни кодлаш усуллари. Шеннон – Фано, Хаффман усуллари - Informatika va AT - Slaydlar

Ахборотни кодлаш усуллари. Шеннон – Фано, Хаффман усуллари

Yuklangan vaqt:

04.12.2024

Ko'chirishlar soni:

0

Hajmi:

2005.1328125 KB

Ko'chirib olish

Ахборотни кодлаш усуллари. Шеннон – Фано, Хаффман усуллари. Самарали кодлаш усуллари.

Режа: 1. Ахборотни кодлашнинг мақсади ва афзалликлари. 2. Ахборотни Шеннон – Фано усули бўйича кодлаш. 3. Ахборотни Хаффман усули бўйича кодлаш. 4. Самарали кодлаш усуллари.

Ахборотни сиқиш усуллари Замонавий телекоммуникация тармоқлари орқали фойдаланувчилар ўзаро ахборот алмашинаётганда маълумотлар ҳажми кескин равишда ошиб бормоқда, натижада, ахборотни узатадиган юқори тезликли каналларга ва катта ҳажмдаги ахборотларни сақлаш имкониятини берадиган маълумотлар базаларига эҳтиёж сезилади. Бунинг учун ахборот ҳажмини унинг маъносини ўзгартирмасдан туриб камайтириш механизмлари керак бўлади. Бундай механизмлардан бири ахборотни кодлаштиришнинг самарали усуллари, яъни ахборотни архивлаш алгоритмларидан фойдаланиш ҳисобланади. Компютер нуқтаи назаридан матн алоҳида символлардан иборат. Символлар орасида нафақат ҳарфлар (катта ёки кичик, лотин ёки рус ҳарфлар), балки рақамлар, тиниш белгилари, “=”, “()“, “&” каби махсус белгилар ва ҳатто сўзлар орасидаги бўшлиқлар ҳам бўлиши мумкин. Ҳа, ҳайрон бўлманг: матндаги бўш жой ҳам ўз белгисига эга бўлиши керак. Матн ёзиладиган символлар мажмуаси алифбо дейилади . Алифбодаги символлар сони – бу унинг қувватидир. Ахборот миқдорини аниқлаш қуйидаги формула орқали аниқланади: бу ерда N – алифбонинг қуввати (белгилар сони); b – битлар сони (белгининг ахборот оғирлиги). Деярли барча керакли символлар 256 та символдан иборат бўлган алифбога жойлаштирилиши мумкин. Бундай алифбо етарли деб аталади. Чунки 256 = 28, кейин 1 символнинг оғирлиги 8 бит. 8 бит ўлчов бирлигига 1 байт номи берилди: 1 байт = 8 битга тенг. Компьютер матнидаги ҳар бир символнинг иккилик коди 1 байт хотирани эгаллайди.b N 2 

Матнли ахборот компьютер хотирасида қандай ифодаланади? Матнлар компьютер хотирасига клавиатура (тугмалар) ёрдамида киритилади. Тугмалар таниш бўлган ҳарфлар, рақамлар, тиниш белгилари ва бошқа белгилар билан ёзилган. Улар оператив хотирага иккилик код кўринишда киритилади. Бу шуни англатадики, ҳар бир белги 8 битли иккилик код билан ифодаланади. Кодлаш шундан иборатки, ҳар бир белги 0 дан 255 гача бўлган ноёб ўнлик код ёки 00000000 дан 11111111 гача бўлган мос келадиган иккилик код билан белгиланади. Шундай қилиб, инсон белгиларни услуби билан, компютерни эса ўз коди билан ажратади.

Ахборотни сиқиш - бу улар эгаллаган ҳажмни камайтириш мақсадида амалга ошириладиган ва ахборотни сақлаш ва узатиш қурилмаларидан янада оқилона фойдаланиш учун фойдаланиладиган хабарларни алгоритмик ўзгартириш. Тескари процедура ахборотни тиклаш деб аталади. Шуни ёдда тутиш керакки, ҳар қандай сиқиш усули маълумотлар манбасининг ортиқча моделига асосланади. Бошқача қилиб айтадиган бўлсак, маълумотларни сиқиш қандай маълумотларнинг сиқилганлиги ҳақида априор маълумотлардан фойдаланади. Сиқиш алгоритмининг асосий характеристикаси – сиқиш коеффициенти ҳисобланади ва у бирламчи сиқилмаган маълумот ҳажмини маълум бир алгоритм бўйича сиқилган маълумот ҳажмига нисбати билан аниқланади, яъни: бунда k — сиқиш коэффициенти, Сб.м.ҳ — бирламчи маълумот ҳажми, Сс.м.ҳ — сиқилган маълумот ҳажми. Маълумот эгаллаган хотира ҳажмини камайтириш мақсадида бирламчи маълумотни махсус алгоритмлар асосида ўзгартириш (компрессиялаш) маълумотларни сиқиш дейилади. Бундай алгоритмлар хотира ва маълумотларни узатиш воситаларидан рационал фойдаланиш мақсадларида ишлатилади. Тескари маълумот, яъни бирламчи маълумотни тиклаш жараёнлари сиқилган маълумотни декомпрессиялаш дейилади. Маълумотни сиқишда биринчи навбатда бирламчи матн тўғрисида маълумот йиғилади, яъни ундаги қайтариладиган фрагментлар, сонлар, иборалар аниқланади. Бундай маълумотга эга бўлмай туриб, маълумотни сиқиш тўғрисида ҳеч қандай ечимга келиб бўлмайди.h ms h m b S S k . . . . 

Ахборот назарияси нуқтаи назаридан ахборотни кодлаш – бу ахборот манбаидаги алфавитни маълум бир тартибда шартли символлар билан алмаштириб чиқиш тушунилади. Код (код алфавити) – берилган бирламчи маълумотни кодлаштириш мақсадида ишлатиладиган шартли символларнинг тўлиқ тўплами ҳисобланиб, маълум бир кодлаш қоидаси негизида амалга оширилади. Код алфавитини ташкил этадиган ҳар хил код символлари код алфавитининг ҳажми дейилади. Код алфавитининг ҳажми кодлаштириладиган бирламчи маълумот алфавитининг ҳажмидан кам бўлиши мумкин эмас.

Кодлаштириш – бу бирламчи маълумотни алоқа каналлари орқали узатишга мўлжалланган код символлари алфавити билан ифодалашдир. Кодлаш код символлари қандай кўринишда берилганига қараб, рақамли ва рақамсиз бўлиши мумкин:  Иккилик;  саккизлик;  16 тилик саноқ тизимида;  қандайдир белги ёки объектлар кўринишида. Кўп ҳолларда код символлари оддий рақамлар кетма-кетлиги ёки рақамлар тўплами сифатида тасвирланади. Бунда улар код символларининг элементи ҳисбланади. Код сўзи таркибидаги рақамнинг жойлашиши ёки тартиб рақами унинг позициясини белгилайди.

Клод Элвуд Шеннон 1916 - 2001Шеннон Клод – америкалик муҳандис ва математик, замонавий маълумотлар ва алоқа назариясини отаси. 1948 йил энг кичик ахборот бирлигини “бит” сўзи билан белгилашни таклиф қилган. Бундан ташқари Шеннон теоремасида энтропия тушунчаси ўзига хос хусусиятга эга эди. Р. Хартли ва К. Шеннон ишларида маълумотлар нисбатлар, белгилар, хабарлар, бир-бирларига сигналлар – синтаксис нисбатларда берилган.

Роберт Марио Фано 1917 йил 11 ноябрда Италиянинг Турин шахрида туғилган. 2016 йил 13 июлда АҚШнинг Флорида штатида вафот этган. Информатика соҳаси бўйича италия – америка олими, профессор. У Клод Шеннондан эркин ҳолда ахборотни сиқиш бўйича алгоритмни эрта бошлаган ва яратган. Фано ахборот назарияси соҳаси бўйича машҳур . Роберт Марио Фано 1917-2016

Ахборотни камроқ битларни сарфлаб узатиш ахборотни кодлаштиришнинг самарали усулларининг мақсад ва вазифаси ҳисобланади. Ахборотни кодлаштиришнинг самарали усулларидан фойдаланилганда каналнинг ўтказувчанлик қобилиятидан самарали фойдаланиш мумкин. Шеннон - Фано коди пайдо бўлгунча алоқа каналлари орқали узатилаётган ахборотлардаги белгилар узунлиги бир хил бўлган битлар ёрдамида кодлаштирилар эди. Шеннон - Фано коди пайдо бўлгандан сўнг узатилаётган ахборотдаги ҳар бир белгининг пайдо бўлиш эҳтимоллигига қараб туриб, узунлиги ҳар хил бўлган битлар ёрдамида кодлаш имконияти пайдо бўлди. Ахборотда бирор бир белгининг пайдо бўлиш эҳтимоллиги каттароқ бўлса, уни иккилик саноқ тизимидаги коднинг узунлиги “кичикроқ бит” бўлади. Агар ахборотда бирор бир белгининг пайдо бўлиш эҳтимоллиги кичикроқ бўлса, уни иккилик саноқ тизимидаги коднинг узунлиги “каттароқ бит” бўлади.

Қуриш техникаси бўйича Шеннон ва Фано кодлари бир- бирига яқин бўлганлиги учун Шеннон - Фано коди дейилади. Ушбу код 1948 йилда пайдо бўлган. Ушбу алгоритм ёрдамида ахборотни кодлаштириш қуйидагича амалга оширилади:  ахборотдаги барча белгиларнинг умумий сони N ҳисобланади;  N та белгидан иборат бўлган ахборотдан ҳар бир белгининг пайдо бўлиш частотаси ёки пайдо бўлиш эхтимоллиги ҳисобланади;  ҳар бир белгининг пайдо бўлиш частотаси камайиб бориш тартибида жадвалга жойлаштирилади;  умумий бўлган жадвалдаги йиғинди тенг иккига бўлинади ва тепа қисмига « 1 » ни, пастки қисмига « 0 » ни қўйилади;  тенг иккига бўлиш кодлаштирилаётган ахборотдаги ҳар бир белгига биттадан « 1 » ёки « 0 » қолгунча давом эттирилади;

мисол: Қуйидаги кўринишда ахборот берилган: BBCBBBCDDEDAAADDFFGGHHEE. Ушбу ахборотда умумий белгилар сони 24 та. Дастлаб ушбу ахборот учун энтропия кўрсаткичининг қийматини ҳисоблаймиз. Н(х) = ∑ Р(х) * Log 2 Р(х) = 2,89 бит га тенг бўлади. Ушбу алгоритм бўйича ҳисоблаш натижалари жадвалда келтирилган. Шеннон- Фано алгоритми бўйича ҳисоблаш натижалари. Белгилар Пайдо бўлиш частотаси Ёрдамчи жадвал Коди B 5 5 (1) 5 (1) 3 (1) 5 (1) 11 D 5 5 (0) 3 (0) 5 (1) 101 A 3 3 (0) 100 E 3 3 (0) 2 (0) 2 (0) 2 (0) 2 (0) 3 (1) 3 (1) 011 C 2 2 (1) 2 (0) 010 F 2 2 (0) 2 (0) 2 (0 ) 2 (1) 001 2 (0) 2 (0) 2 (1) 0001 G 2 2 (0) 0000 H 2

Кодлаштирилган ахборотдаги хар бир белгига мос келган кодли комбинациянинг ўртача узунлиги қуйидагича ҳисобланади: n ўрт = ∑ n i * Р(х) = 2,96 битга тенг. Ҳозирги кунда энг кенг тарқалган, амалиётда кўп ишлатиладиган энтропияли кодлаш усулига асосланган алгоритмлардан бири бу – Хаффман алгоритми ҳисобланади. Хаффман алгоритми асосида матнли ахборотлар кодлаштирилади.

Дэвид Хаффман 1925 йил 9 августда АҚШнинг Огайо штатида туғилган. 1999 йил 7 октябрда АҚШнинг Калифорния штатида вафот этган. Дэвид Хаффман - ахборот назарияси муҳити бўйича иш олиб борган. У 1952 йил кам ортиқчалик билан префиксларни кодлаш алгоритмини яратган. 1999 йил ахборот назариясига қўшган ҳиссаси учун Ричард Хэмминг медалини олган. Дэвид Хаффман 1925 - 1999

Ушбу алгоритм ёрдамида ахборотни кодлаштириш қуйидагича амалга оширилади:  ахборотдаги барча белгилар сони, яъни N ҳисобланади;  жами N та белгидан иборат бўлган ахборотдаги ҳар бир белгининг пайдо бўлиш частотаси ҳисобланади;  ҳар бир белгининг пайдо бўлиш частотаси камайиб бориш тартибида жадвалга жойлаштирилади;  жадвалдаги охирги иккита частота йиғиндиси ҳисобланиб, битта умумий бўлган йиғинди частотага бирлаштирилади;  ҳисобланган янги йиғинди частотадан ва ҳисоблашда қатнашмаган бошқа частоталардан жадвалнинг янги устуни ҳосил қилинади (бунда ҳам частоталар камайиб бориш тартибида жойлаштирилади);  шу тарзда то битта умумий N га тенг бўлган йиғинди ҳосил бўлгунча жараён давом этаверади;  жадвал тўлдирилгандан сўнг, ундаги ҳисоблашларга мувофиқ дарахт қурилади;  дарахтнинг тепа қисмида N жойлашган бўлади ва уни тенг иккига бўлиш керак, ҳосил бўлган натижаларни яна тенг иккига бўлиш лозим;  шу тарзда ахборотдаги ҳар бир белгининг пайдо бўлиш частотаси топилгунча, бўлиш давом эттирилади.

Белги- лар Пайдо бўлиш частотаси Ёрдамчи жадвал B 5 5 5 6 8 10 14 24 D 5 5 5 5 6 8 10 A 3 4 4 5 5 6 E 3 3 4 4 5 C 2 3 3 4 F 2 2 3 G 2 2 H 2 мисол: Қуйидаги кўринишда ахборот берилган: BBCBBBCDDEDAAADDFFGGHHEE. Хаффман алгоритми бўйича ҳисоблаш натижалари жадвалда келтирилган.

Белгилар B D A E C F G H коди 01 00 100 101 1101 1100 1111 1110

Кодлаштирилган ахборотдаги хар бир белгига мос келган кодли комбинациянинг ўртача узунлигини ҳисоблаймиз: n ўрт = ∑ n i * Р(х) = 2,92 битга тенг. Юқоридаги кўриб чиқилган 1 ва 2-мисолларда кодлаштирилаётган ахборот қўйидагича, яъни BBCBBBCDDEDAAADDFFGGHHEE. Бироқ, ҳисоблаш натижаларига кўра, кодлаштирилган ахборотдаги хар бир белгига мос келган кодли комбинациянинг ўртача узунлиги Шеннон - Фано усули учун n ўрт =2,96 битга , Хаффмен усули учун эса n ўрт =2,92 битга тенг чиқди. Бундан хулоса қилинадики, юқоридаги ахборотни Хаффен усули билан кодлаштирилса мақсадга мувофиқ бўлади, чунки ушбу алгоритм билан ахборотни кодлаштирилганда ахборотдаги хар бир белгига мос келувчи кодли комбинациянинг ўртача узунлиги кичкина, яъни ахборотни узатиш учун кам бит сарфланади. Бу эса ўз навбатида ахборотни узатиш тезлигини оширишга олиб келади.

Хаффман коди асосан факсимил тизимларда ишлатилади. Хаффман кодларининг шартлари қуйидагилардан иборат:  энг кўп учрайдиган символларни биринчи узатиш;  символлар эхтимоллигини аниқлаш;  эхтимоллигига қараб жойлаштириш (катта кичиклигига қараб);  энтропия хисобланади;  энтропия хисоблангандан кейин дарахт холига келтирилади ва кодлаштирилади.

Мисол: Қуйидаги кўринишда ахборот берилган бўлсин Символ А Б В Г Д Частота 15 7 6 6 5 Бу мисолни ечиш учун дарахтсимон усулни қуришдан фойдаланамиз: Бу берилган усул учун Хаффман коди жадвали қуйидаги кўринишда бўлади Символ А Б В Г Д Код 0 100 101 110 111

Символлари пайдо бўлишининг эҳтимоли бир хил бўлган маълумотларни самарали кодлаш Самарали кодлаш шовқинсиз алоқа каналларида қўлланилади. Бунда каналларда асосий масала – максимал ахборот узатиш тезлигини таъминлаш, яъни ахборот узатиш тезлигини алоқа каналининг маълумот узатиш имконига етказиш ҳисобланади. Агар Н(х) – бирламчи маълумотнинг энтропияси бўлса, ҳамда (x i ) маълумот символларини пайдо бўлиш эҳтимоллиги бир хил ва маълумот манбаи алфавитининг ҳажми m бўлса, (x i ) маълумотини ҳоҳлаган i символининг пайдо бўлиш эҳтимоллиги P(x i ) бир хил қийматга эга бўлади, яъни: i=1 ,.., m ,m x P i 1 ) ( 

Маълумотнинг энтропияси (Н(х)) : га тенг бўлади. Агар кодлаш учун k асосли рақамли коддан фойдаланилган бўлса (код символлари элементлари алфавитининг ҳажми k га тенг) ва бунда код символлари элементларининг энтропияси ( Н 1 ), символ элементларининг пайдо бўлиш эҳтимоллиги бир хил ва улар ўзаро мустақил бўлиш шарти бажарилганида қуйидаги формула орқали ҳисобланади: H 1 = log 2 k . Бунда самарали код символи элементларининг узунлиги ( l эфф. ) қуйидаги формула ёрдамида ҳисобланиши мумкин: Бунда m = k n .m x P x P x H i i m i 2 2 log ) ( log ) ( ) ( 1       n k k k m H H l n 1 x эфф     2 2 2 2 log log log log

Шовқинсиз алоқа каналлари орқали узатиладиган маълумотларни самарали кодлаштириш Шеннон теоремасига асосланади: Агар маълумот манбаининг энтропияси Н [бит/символ] га ва алоқа каналининг узатиш қобилияти С [бит/сек] га (алоқа каналининг узатиш қобилияти деганда, унинг энг максимал маълумот узатиш тезлигини таъминлаши тушунилади) тенг бўлса, ҳар доим шундай кодлаш усулини топиш мумкинки, каналда маълумот узатиш тезлигининг ўртача қиймати ушбу формула негизида ҳисобланган тезликга тенг бўлади: [ символ/сек], С- алоқа каналининг узатиш қобилияти.Н- маълумот манбанинг энтропияси;       ε H C = V ўртача

Самарали кодлаш алгоритмларининг камчиликлари  ташқи шовқинларга таъсирчанлиги – шовқин таъсирида битта элементда содир бўлган хато бир код комбинациясини вақт бирлиги бўйича бошқа қийматга эга иккинчисига ўтиб кетишига сабаб бўлиши мумкин;  бир код символи бошқа вақт бирлигидаги символга айланиши мумкин, бунинг оқибатида жорий ва кейинги символлар нотўғри декодланади ва бирламчи маълумот бошқа маълумотга ўзгариб кетади;  кейинги камчилик бу техникавий жиҳатдан уларни яратиш мураккаблиги ҳисобланади: қурилма буфер ва символларни йиғиш ускуналарига эга бўлиши керак. Чунки алоқа каналлари бир хил узунликдаги код комбинацияларини узатишда самарали ишлайди, юқоридаги алгоритмлардаги код комбинацияларининг узунлиги ҳар хил, уларни йиғиб бир тугалланган маълумот шаклига келтириш учун олдин қабул қилинган символларни сақлаш керак бўлади.

O'xshashlar

Телекоммуникация тизимларида ишончлиликни ошириш чоралари ва усуллари. Шовқинли дискрет каналларда кодлаш

Йўқотишли ва йўқотишсиз сиқиш усуллари. Модемларда сиқиш алгоритмлари

Ахборотни кодлаштириш

Ахборотни сирқиб чиқиш каналлари

Ахборотларни ўлчаш ва тасвирлаш. Ахборот семантик, синтактик ва прагматик ўлчовлари