Tiểu luận Xác định mặt người dựa vào thành phần khuôn mặt và logic mờ

öï phaùt trieån nhanh choùng cuûa coâng ngheä thoâng tin, con ngöôøi ngaøy caøng muoán laøm ra nhöõng vaät duïng thay theá hoï trong vieäc lao ñoäng chaân tay cuõng nhö trí oùc. Vì vaäy nhöõng lónh vöïc nhö trí tueä nhaân taïo vaø töï ñoäng hoùa ngaøy caøng phaùt trieån maïnh ôû nhöõng nöôùc phaùt trieån, ñaëc bieät laø vieäc cheá taïo ra nhöõng robot. Nhöõng heä thoáng töï ñoäng noùi chung vaø robot noùi rieâng muoán hoaït ñoäng coù hieäu quaû thöôøng phaûi coù moät heä thoáng töông taùc ngöôøi maùy vaø trong nhöõng heä thoáng naøy thì vieäc xaùc ñònh maët ngöôøi chieám moät vò trí quan troïng. Xaùc ñònh maët ngöôøi (face detection) laø thuaät ngöõ duøng ñeå chæ vieäc ñònh höôùng (location) vaø xaùc ñònh moät caùch chính xaùc vò trí cuûa maët ngöôøi trong moät böùc aûnh. Xaùc ñònh maët ngöôøi coù raát nhieàu phöông phaùp: phöông phaùp neural network, phöông phaùp döïa vaøo ñaëc tröng cuûa da ngöôøi, phöông phaùp döïa vaøo nhöõng ñaëc ñieåm treân khuoân maët ngöôøi. Luaän vaên naøy chuû yeáu trình baøy phöông phaùp xaùc ñònh maët ngöôøi döïa treân maøu da vaø nhöõng ñaëc tröng treân khuoân maët ngöôøi. Luaän vaên ñöôïc chia ra laøm 2 phaàn. Phaàn ñaàu chuû yeáu noùi veà cô sôû toaùn hoïc vaø khoa hoïc maùy tính cuûa heä thoáng xaùc ñònh maët ngöôøi bao goàm: caùc khoâng gian maøu, heä thoáng logic môø, phöông phaùp Fast Marching. Phaàn coøn laïi cuûa luaän vaên laø chi tieát veà thuaät toaùn vaø caøi ñaët heä thoáng. Luaän vaên naøy ñaõ ñöôïc vieát vaø bieân taäp kó löôõng, song khoâng theå traùnh khoûi thieáu soùt trong quaù trình vieát, mong nhaän ñöôïc söï ñoùng goùp taän tình cuûa quí thaày coâ vaø caùc baïn ñeå luaän vaên hoaøn thieän hôn. Xaùc ñònh maët ngöôøi 2 Xaùc ñònh maët ngöôøi 3 Lôøi caûm ôn Ñaàu tieân chuùng toâi xin chaân thaønh caûm ôn thaïc só Phaïm Theá Baûo, ngöôøi tröïc tieáp höôùng daãn ñeà taøi naøy ñaõ taän tình chæ baûo, giuùp ñôõ chuùng toâi trong suoát quaù trình thöïc hieän tieåu luaän naøy. Chuùng toâi cuõng chaân thaønh caûm ôn hai anh Nguyeãn Thaønh Nhöït vaø Cao Minh Thònh ñaõ coù nhöõng giuùp ñôõ quí baùu veà taøi lieäu cuõng nhö thuaät toaùn ñeå chuùng toâi thöïc hieän toát luaän vaên. Chuùng toâi cuõng xin caûm ôn thaày coâ trong khoa Toaùn-Tin hoïc ñaõ cung caáp cho chuùng toâi nhöõng neàn taûng Toaùn vaø Tin hoïc vöõng chaéc laøm tieàn ñeà cho vieäc thöïc hieän thaønh coâng luaän vaên naøy. Chuùng toâi cuõng xin caûm ôn caùc baïn khoùa 2001 ñaõ ñoäng vieân, giuùp ñôõ ñeå chuùng toâi hoaøn thaønh toát luaän vaên. Xaùc ñònh maët ngöôøi 4 Muïc luïc Lôøi noùi ñaàu .....................................................................................................................1 Lôøi caûm ôn .....................................................................................................................2 Muïc luïc ..........................................................................................................................3 Phaàn 1: Cô sôû toaùn hoïc..................................................................................................5 Chöông 1: Caùc khoâng gian maøu söû duïng trong vieäc xaùc ñònh da ngöôøi .........................5 1. Khoâng gian maøu HIS, HSV, HSL .......................................................................5 2. Khoâng gian maøu TSL .........................................................................................5 3. Khoâng gian maøu YCbCr .....................................................................................6 Chöông 2: Ñieàu khieån môø vaø logic môø...........................................................................7 1. Toång quan veà logic môø vaø ñieàu khieån môø..........................................................7 2. Caùc thaønh phaàn cuûa heä thoáng logic môø ..............................................................8 3. Môø hoùa................................................................................................................8 4. Giaûi môø ...............................................................................................................9 Chöông 3: Fast Marching..............................................................................................10 1. Giôùi thieäu .........................................................................................................10 2. Coâng thöùc tính toaùn cuûa thuaät toaùn Fast Marching...........................................10 3. AÙp duïng thuaät toaùn Fast Marching trong heä thoáng thöïc nghieäm .....................11 Phaàn 2: Heä thoáng xaùc ñònh maët ngöôøi ........................................................................14 Chöông 1: Toång quan veà caùc phöông phaùp xaùc ñònh maët ngöôøi.................................14 I.Muïc ñích vaø khoù khaên.............................................................................................. 1. Muïc ñích ....................................................................................................14 2. Khoù khaên....................................................................................................14 II.Caùc phöông phaùp xaùc ñònh maët ngöôøi vaø caùc thaønh phaàn treân khuoân maët .......15 1. Caùc phöông phaùp xaùc ñònh maët ngöôøi .................................................................. a. Phöông phaùp tieáp caän döïa vaøo ñaëc ñieåm cuûa khuoân maët .........................15 b. Phöông phaùp tieáp caän döïa vaøo hình aûnh ...................................................15 2. Caùc phöông phaùp xaùc ñònh thaønh phaàn treân khuoân maët ngöôøi .........................16 3.Öu ñieåm cuûa phöông phaùp xaùc ñònh döïa vaøo thaønh phaàn cuûa khuoân maët.........18 Chöông 2: Xaây döïng thuaät giaûi...................................................................................19 I. Caùc böôùc tieàn xöû lí ...............................................................................................19 Xaùc ñònh maët ngöôøi 5 1. Phöông phaùp laáy nhöõng vuøng da ngöôøi ............................................................20 2. Phöông phaùp khöû nhieãu ...................................................................................21 II. Xaùc ñònh thaønh phaàn maét-mieäng vaø taùch dính........................................................25 1. Xaùc ñònh caùc thaønh phaàn maét-mieäng cuûa khuoân maët .......................................25 2. Phöông phaùp taùch dính ......................................................................................29 Xaùc ñònh ñieåm loang ......................................................................................30 Xaùc ñònh ñoä loang ..........................................................................................30 III. Xaây döïng luaät môø..................................................................................................32 Nhöõng luaät môø veà quan heä giöõa maét muõi mieäng vaø chieàu daøi chieàu roäng cuûa khuoân maët ....................................................................................................................32 Chöông 3: Caøi ñaët thöïc nghieäm vaø ñaùnh giaù................................................................34 1. Caùc chöùc naêng chính cuûa heä thoáng.....................................................................34 2. Toång keát Thoáng keâ döïa treân cô sôû döõ lieäu.........................................................................34 Öu ñieåm ..............................................................................................................34 Khuyeát ñieåm .......................................................................................................34 Höôùng phaùt trieån.................................................................................................35 Taøi lieäu tham khaûo ......................................................................................................36 Xaùc ñònh maët ngöôøi 6 Phaàn 1: Cô sôû toaùn hoïc cuûa heä thoáng Chöông 1: Caùc khoâng gian maøu thöôøng söû duïng trong vieäc xaùc ñònh maët ngöôøi 1. Khoâng gian maøu HIS, HSV, HSL (Hue-Saturation-(Intensity/Value/Lightness)) Hue xaùc ñònh nhöõng maøu troäi ( nhö maøu ñoû, xanh laù caây, maøu tía, vaøng) trong moät vuøng , suturation duøng ñeå ño tæ leä cuûa maøu saéc so vôùi ñoä saùng cuûa vuøng, nhöõng giaù trò intensity, value, lightness duøng lieân quan ñeán ñoä saùng cuûa vuøng ñoù. Söï tröïc giaùc cuûa nhöõng thaønh phaàn trong khoâng gian maøu vaø söï phaân bieät roõ raøng giöõa ñoä saùng vaø ñoä chrominance laøm cho nhöõng khoâng gian maøu naøy trôû neân thoâng duïng trong vieäc taùch vuøng da ngöôøi. Coâng thöùc chuyeån ñoåi giöõa R, G, B vaø H, S, V )))(()(( ))()(( 2 1 arccos 2 BGBRGR BRGR H −−+− −+− = min( , , )1 3 R G BS R G B = − + + 1 ( ) 3 V R G B= + + 2. Khoâng gian maøu TSL - Tint, Saturation, Lightness Khoâng gian maøu TSL laø söï chuyeån ñoåi töø khoâng gian maøu RGB thaønh nhöõng giaù trò tröïc quan hôn 2 2 1/ 29[ ( ' ' )] 5 S r g= + arctan( '/ ') / 2 1 / 4, ' 0 arctan( '/ ') / 2 3 / 4, ' 0 0, ' 0 r g g T r g g g π π + >⎧⎪= + <⎨⎪ =⎩ 0.299 0.587 0.114L R G B= + + Xaùc ñònh maët ngöôøi 7 Trong ñoù r’ = r−1/3, g’ = g−1/3 vaø caùc giaù trò cuûa r, g laø nhöõng giaù trò ñöôïc chuaån hoùa cuûa khoâng gian maøu RGB ñöôïc tính theo coâng thöùc sau: Rr R G B = + + Gg R G B = + + Bb R G B = + + 3. Khoâng gian maøu YCbCr YCrCb laø daïng maõ hoùa khoâng tuyeán tính cuûa tín hieäu RGB ñöôïc söû duïng phoå bieán trong coâng ngheä truyeàn hình ôû chaâu Aâu vaø trong neùn aûnh. Ñoä Y( ñoä saùng ) ñöôïc taïo thaønh baèng toång caùc thaønh phaàn R, G, B theo caùc troïng soá khaùc nhau, Cr vaø Cb ñöôïc taïo thaønh baèng caùch laáy giaù trò R, B töông öùng tröø cho giaù trò Y. Y = 0.299R+0.587G+0.114B Cr = R−Y Cb = B−Y Söï ñôn giaûn trong bieán ñoåi vaø söï phaân bieät roõ raøng giöõa ñoä saùng vaø ñoä chrominabce laøm cho khoâng gian maøu naøy raát phoå bieán trong vieäc moâ hình hoùa maøu da ngöôøi. Xaùc ñònh maët ngöôøi 8 Chöông 2: Ñieàu khieån môø vaø logic môø 1. Toång quan veà logic môø vaø ñieàu khieån môø: Baét ñaàu töø naêm 1965, giaùo sö Lofti A.Zadeh ôû tröôøng ñaïi hoïc California-Myõ ñaõ ñöa ra khaùi nieäm veà lyù thuyeát taäp môø (Fuzzy set theory). Töø ñoù ñeán nay logic môø vaø neural network laø hai lónh vöïc ñöôïc nhieàu nhaø khoa hoïc ñaëc bieät quan taâm nghieân cöùu vaø öùng duïng vaøo nhieàu ngaønh khoa hoïc kó thuaät. Taäp môø vaø logic môø döïa treân caùc suy luaän cuûa con ngöôøi veà caùc thoâng tin “khoâng chính xaùc” hoaëc “khoâng ñaày ñuû” veà heä thoáng ñeå ñieàu khieån vaø hieåu bieát heä thoáng moät caùch chính xaùc. Ñònh nghóa taäp con môø vaø haøm lieân thuoäc: Cho taäp E, goïi A’ laø taäp con môø cuûa E vaø: A:= 2 1( ) 1A x kx μ = + Trong ñoù ( )A xμ laø haøm lieân thuoäc cuûa taäp môø A’, ( )A xμ laáy giaù trò baát kì trong ñoïan [0,1] , ( )A xμ caøng gaàn 1 thì phaàn töû x E∈ töông öùng caøng toû, neáu ( )A xμ =1 thì x ñuùng laø phaàn töû toû cuûa taäp môø, caøng gaàn 0 thì phaàn töû x E∈ töông öùng caøng môø. Ngöôøi ta coù theå laáy ( )A xμ theo nhieàu kieåu khaùc nhau vaø coù caùc kieåu thoâng duïng sau ñaây: *1 ( ) 0 elseA i f x x xμ ⎧ == ⎨⎩ ( ) kxA x eμ −= k > 0 1 1 . M l l l M l l h y y h = = = ∑ ∑ k > 0 2 1( ) 1A x kx μ = + Xaùc ñònh maët ngöôøi 9 2. Caùc thaønh phaàn cuûa heä thoáng logic môø Heä thoáng ñieàu khieån môø coù 4 khoái: Khoái môø hoùa: coù giaù trò bieàn ñoåi caùc giaù trò roõ ñaàu vaøo thaønh moät mieàn giaù trò môø vôùi haøm lieân thuoäc ñaõ choïn öùng vôùi bieán ngoân ngöõ ñaàu vaøo ñaõ ñöôïc ñònh nghóa. Khoái hôïp thaønh: duøng ñeå bieán ñoåi caùc giaù trò môø hoùa cuûa bieán ngoân ngöõ ñaàu vaøo thaønh caùc giaù trò môø cuûa caùc bieán ngoân ngöõ ñaàu ra theo caùc luaät hôïp thaønh naøo ñoù. Khoái luaät môø: bao goàm caùc taäp luaät “Neáu thì” döïa vaøo caùc luaät môø cô sôû, ñöôïc ngöôøi thieát keá vieát ra cho thích hôïp vôùi töøng bieán vaø giaù trò cuûa caùc bieán ngoân ngöõ theo quan heä môø Vaøo/Ra. Khoái giaûi môø: bieán ñoåi caùc giaù trò môø ñaàu ra thaønh caùc giaù trò roõ ñeå ñieàu khieån ñoái töïông. Moät boä ñieàu khieån môø chæ goàm boán khoái nhö vaäy goïi laø boä ñieàu khieån môø cô baûn. 3. Môø hoùa Môø hoùa ñöôïc ñònh nghóa nhö laø söï aùnh xaï töø taäp caùc giaù trò thöïc x* ∈U⊂Rn thaønh taäp caùc giaù trò môø A’ ôû trong U. Nguyeân taéc chung cuûa söï môø hoùa laø: -Töø taäp giaù trò thöïc x ñaàu vaøo seõ taïo ra taäp môø A’ vôùi haøm lieân thuoäc coù giaù trò ñuû roäng taïi caùc ñieåm roõ x*. -Neáu coù nhieãu ôû ñaàu vaøo thì söï môø hoùa seõ goùp phaàn khöû nhieãu. -Vieäc môø hoùa phaûi taïo ñieàu kieän ñôn giaûn cho vieäc tính toaùn sau naøy. Coù caùc phöông phaùp môø hoùa sau: a. Phöông phaùp ñôn trò: Môø hoùa ñôn trò laø töø caùc ñieåm giaù trò thöïc x* ∈U laáy caùc giaù trò ñôn trò cuûa taäp môø A’; nghóa laø haøm lieân thuoäc coù daïng: *1 ( ) 0 elseA i f x x xμ ⎧ == ⎨⎩ Xaùc ñònh maët ngöôøi 10 b. Môø hoùa Gaus: Môø hoùa Gaus laø töø caùc ñieåm giaù trò thöïc x* ∈U laáy caùc giaù trò ñôn trò cuûa taäp môø A’ vôùi haøm lieân thuoäc Gaus: 2 2 ( ) ( , , ) x c A x c e σμ σ − = c. Môø hoùa tam giaùc: Môø hoùa tam giaùc laø töø caùc ñieåm giaù trò thöïc x* ∈U laáy caùc giaù trò ñôn trò cuûa taäp môø A’ vôùi caùc haøm lieân thuoäc daïng hình tam giaùc ( hoaëc hình thang): ( , , , ) max(min( , ) ,0)A x a c xx a b c b a c b μ − −= − − (hình tam giaùc) ( , , , , ) max(min( ,1, ) ,0)A x a d xx a b c d b a d c μ − −= − − (hình thang) 4. Giaûi môø Giaûi môø laø söï aùnh xaï töø caùc giaù trò thuoäc taäp môø B’ trong taäp cô sôû thaønh giaù trò roõ ñaàu ra y∈V. Nhö vaäy nhieäm cuï cuûa vieäc giaûi môø laø tìm moät ñieåm roõ ñaïi dieän toát nhaát cho taäp môø B’. Caùc phöông phaùp giaûi môø: a. Phöông phaùp cöïc ñaïi: phöông phaùp naøy bao goàm hai böôùc Böôùc 1: Xaùc ñònh mieàn chöùa giaù trò roõ ñaàu ra.Ñoù laø mieàn G maø giaù trò roõ ñaàu ra y coù haøm lieân thuoäc ñaït giaù trò cöïc ñaïi, nghóa laø: G= B{ | ( ) max}y Y yμ∈ = Böôùc 2: Xaùc ñònh giaù trò y töø mieàn G coù 3 caùch tính laø laáy trung bình, laáy giaù trò caän phaûi, laáy giaù trò caän traùi. b. Phöông phaùp laáy troïng taâm: . ( ) ( ) B S B S y y dy y y dy μ μ= ∫ ∫ Xaùc ñònh maët ngöôøi 11 c. Phöông phaùp laáy trung bình taâm: Vì taäp môø B’ coù theå laø hôïp hay giao cuûa M taäp môø neân chuùng ta coù theå tính gaàn ñuùng giaù trò y laø trung bình theo troïng soá cuûa taâm cuûa M taäp môø. 1 1 . M l l l M l l h y y h = = = ∑ ∑ Xaùc ñònh maët ngöôøi 12 Chöông 3: Phöông phaùp Fast Marching 1. Giôùi thieäu Phöông phaùp Fast Marching ñöôïc phaùt trieån bôûi giaùo sö J.A.Sethian tröôøng ñaïi hoïc Berkely bang California, Myõ. Ñaây laø phöông phaùp tieân tieán thuoäc lónh vöïc giaûi tích soá chuyeân giaûi quyeát caùc vaán ñeà veà loang. Baøi toaùn ñaët ra laø cho tröôùc moät maët phaân giôùi ngoaøi vaø maët phaân giôùi trong cuøng vôùi moät haøm vaän toác F thì sau khoaûng thôøi gian t ñöôøng cong trong loang ra ngoaøi seõ coù hình daïng nhö theá naøo, vaø muïc tieâu laø tính toaùn söï di chuyeån cuûa noù. Hình 1: Ñöôøng cong theo tham soá S (bieân trong) loang ra theo thôøi gian T. 2. Coâng thöùc tính toaùn cuûa thuaät toaùn FastMarching: 1/ 22 2 2 2 1max( ,0) min( ,0) max( ,0) min( ,0)x x y yij i j i j i j i j D T D T D T D T F − + − +⎡ ⎤+ + + =⎣ ⎦ Trong ñoù F>0 laø haøm vaän toác chæ höôùng loang töø trong ra ngoaøi T (i,j) laø thôøi gian khi ñöôøng cong loang ñeán ñieåm coù toïa ñoä (i,j) Vaø 1,i j i jxi j T T D T h −− −= 1,i j i jxi j T T D T h ++ −= , 1i j i jyi j T T D T k ++ −= , 1i j i jyi j T T D T k −− −= Xaùc ñònh maët ngöôøi 13 3. Aùp duïng thuaät toaùn Fast Marching trong heä thoáng thöïc nghieäm Döõ lieäu vaøo: Vuøng baét ñaàu loang (StartBound) vôùi Pixel bieân ñöôïc gaùn giaù trò laø Known, Pixel laân caän bieân ñöôïc gaùn giaù trò laø Trial vaø caùc Pixel khaùc laø FarAway. Vuøng giôùi haïn loang (EndBound) vaø haøm vaän toác loang laø F=5 (loang tuyeán tính), heä soá loang s. Tieán trình: Laëp: - Trong taát caû caùc ñieåm trial laáy ñieåm coù T beù nhaát A. - Ñöa ñieåm A ñoù töø Trial thaønh Known.Vaø ñaët caùc giaù trò laân caän töø Far thaønh Trial ñeå duøng cho laàn xeùt keá tieáp. - Baát cöù Pixel naøo chuyeån trang thaùi ñeàu phaûi tính toaùn laiï thôøi gian T theo coâng thöùc Fast Marching. -Trôû laïi voøng laëp. Caùch caäp nhaät cho ñieåm chuyeån traïng thaùi: (giaû söû laø X) Hình 2: Caäp nhaät giaù trò T cho ñieåm X Neáu T(A)+1/F >= min(T(B),T(D)) ( ) ⎟⎠⎞⎜⎝⎛ −−++= 22 )()()/1(*2)()(2 1)( ATBTFBTATXT Xaùc ñònh maët ngöôøi 14 Ngöôïc laïi thì T(X) = T(A)+1/F Döõ lieäu ra: Coù ñöôïc bieân môùi töø startBound sau khoaûng thôøi gian loang t. Xaùc ñònh maët ngöôøi 15 Phaàn 2 : Heä thoáng xaùc ñònh maët ngöôøi Chöông 1: Toång quan veà caùc phöông phaùp xaùc ñònh maët ngöôøi I. Muïc ñích vaø khoù khaên: Haøng chuïc naêm qua ñaõ coù haøng ngaøn coâng trình nghieân cöùu veà vieäc xaùc ñònh maët ngöôøi trong aûnh maøu cuõng nhö aûnh traéng ñen. Nhöõng coâng trình nhö vaäy phuïc vuï cho nhieàu muïc ñích khaùc nhau vaø cuõng gaëp nhieàu khoù khaên khaùc nhau nhöng toùm laïi coù theå keå ra nhöõng muïc ñích vaø khoù khaên chuû yeáu sau: 1. Muïc ñích: a. Heä thoáng töông taùc ngöôøi maùy: Khoa hoïc kó thuaät ngaøy caøng tieán boä vaø ñeán luùc naøo ñoù con ngöôøi caàn phaûi giaûi phoùng khoûi vieäc lao ñoäng chaân tay, hoï caàn nhöõng maùy moùc thay theá hoï. Muoán ñöôïc nhö vaäy caàn coù nhöõng heä thoáng coù theå ñieàu khieån baèng gioïng noùi hoaëc caûm xuùc, vaø nhöõng heä thoáng naøy tröùôc heát coù theå xaùc ñònh cuõng nhö nhaän daïng ñöôïc maët ngöôøi. b. Phuïc vuï cho vieäc nhaän daïng: Nhaän daïng ngaøy caøng coù vai troø to lôùn trong nhieàu hoïat ñoäng cuûa xaõ hoäi ñaëc bieät laø hoïat ñoäng an ninh. Xaùc ñònh maët ngöôøi laø böôùc ñaàu tieân cuûa vieäc nhaän daïng maët ngöôøi do ñoù ñeå coù ñöôïc moät heä thoáng nhaän daïng toát tröôùc heát chuùng ta phaûi coù moät heä thoáng xaùc ñònh maët ngöôøi toát. c. Heä thoáng quan saùt, baûo veä: Ñeå coù heä thoáng baûo veä hoaït ñoäng hieäu quaû, lieân tuïc, chuùng ta caàn phaûi söû duïng moät heä thoáng quan saùt vaø nhaän daïng chính xaùc nhöõng hoaït ñoäng nhaát laø nhöõng hoïat ñoäng cuûa con ngöôøi. 2. Khoù khaên: a. Goùc quay khaùc nhau cuûa maët: Khoù khaên ñaàu tieân phaûi keå ñeán trong vieäc xaùc ñònh maët ngöôøi ñoù laø goùc quay khaùc nhau cuûa khuoân maët. Goùc quay trong khoâng gian aûnh gaây khoù khaên cho nhöõng heä thoáng chæ xaùc ñònh ñöôïc maët thaúng ñöùng (truïc cuûa khuoân maët khoâng höôùng theo nhöõng chieàu gioáng nhau). Goùc quay ngoaøi khoâng gian aûnh gaây ra vieäc maát ñi nhöõng thaønh phaàn quan troïng Xaùc ñònh maët ngöôøi 16 cuûa khuoân maët laøm cho vieäc xaùc ñònh döïa vaøo nhöõng thaønh phaàn treân khuoân maët gaëp nhieàu khoù khaên. b. Ñoä lôùn nhoû cuûa maët: Ñoä lôùn nhoû cuûa khuoân maët khaùc nhau gaây khoù khaên trong vieäc xaùc ñònh khuoân maët döïa vaøo kích thöôùc cuûa nhöõng vuøng da. c. Nhieãu: Nhöõng nhieãu gaây ra bôûi nhieàu nguyeân nhaân khaùc nhau gaây khoù khaên cho moïi phöông phaùp xaùc ñònh, ñoâi khi laøm cho vuøng khoâng phaûi laø maët bò nhaän laø maët vaø ngöôïc laïi. d. Cöôøng ñoä aùnh saùng khaùc nhau: Cöôøng ñoä aùnh saùng khaùc nhau gaây ra nhöõng vuøng nhieãu nhö ñaõ noùi ôû treân. Ngoaøi ra cöøông ñoä aùnh saùng coøn gaây khoù khaên trong vieäc moâ hình hoùa maøu da ngöôøi gaây aûnh höôûng lôùn ñeán nhöõng phöông phaùp xaùc ñònh maët ngöôøi döïa vaøo maøu da. II. Caùc phöông phaùp xaùc ñònh maët ngöôøi vaø thaønh phaàn treân khuoân maët: 1. Caùc phöông phaùp xaùc ñònh maët ngöôøi: Xaùc ñònh maët ngöôøi ñöôïc chia ra laøm hai höôùng chính: a. Phöông phaùp tieáp caän döïa vaøo ñaëc ñieåm cuûa khuoân maët (feature-based): trong caùch tieáp caän naøy coù ba phöông phaùp chính: • Phaân tích nhöõng ñaëc ñieåm coù theå goïi laø vaät lyù cuûa khuoân maët: trong caùch tieáp caän naøy coù theå phaân chia ra laøm caùch tieáp caän nhö caùch tieáp caän döïa vaøo bieân khuoân maët, maøu saéc, ñoä xaùm, chuyeån ñoäng vaø kích thöôùc cuûa khuoân maët. • Phaân tích nhöõng ñaëc ñieåm treân khuoân maët (maét, muõi, mieäng): caùch tieáp caän naøy coù caùc phöông phaùp nhö: tìm kieám nhöõng thaønh phaàn cuûa khuoân maët, phaân tích quan heä giöõa caùc thaønh phaàn ñoù. • Moâ hình nhöõng hình daïng: phöông phaùp naøy chuû yeáu döïa vaøo ñöôøng cong treân khuoân maët, nhöõng moâ hình phaân boá ñieåm. b. Phöông phaùp tieáp caän döïa vaøo hình aûnh : trong phöông phaùp naøy coù hai phöông phaùp chính: Xaùc ñònh maët ngöôøi 17 • Phöông phaùp neural network: Phöông phaùp naøy söû duïng moät heä thoáng neural network. Heä thoáng naøy sau khi ñöôïc training vôùi moät löôïng döõ lieäu lôùn veà maët ngöôøi cuõng nhö khoâng phaûi laø maët ngöôøi seõ ñi ñeán traïng thaùi oån ñònh coù theå nhaän ra maët ngöôøi. Khuyeát ñieåm lôùn nhaát cuûa heä thoáng naøy laø chuùng ta phaûi coù moät cô sôû döõ lieäu raát lôùn veà maët ngöôøi ñeå training heä thoáng bôûi vì caøng ñöôïc training nhieàu thì heä thoáng xaùc ñònh maët ngöôøi caøng chính xaùc. • Phöông phaùp thoáng keâ: Yeáu toá chính cuûa phöông phaùp thoáng keâ trong caùc heä thoáng xaùc ñònh maët ngöôøi laø caùch tieán haønh xaây döïng taäp caùc vector ñaëc tính vaø keát caáu cuûa khuoân maët. Sau ñoù aùp duïng caùc ñaëc tính keát caáu ña phaân giaûi ñoù cho moät vuøng aûnh nhaát ñònh ñeå nhaän bieát xem ñoù coù phaûi laø vuøng aûnh coù chöùa maët ngöôøi hay khoâng.Öu ñieåm cuûa phöông phaùp naøy laø heä thoáng khoâng caàn nhieàu aûnh huaán luyeän (training image).Nhöôïc ñieåm cuûa phöông phaùp naøy laø khoái löôïng tính toaùn lôùn vaø töông ñoái phöùc taïp trong quaù trình xaây döïng caùc ñaëc tính keát caáu ña phaân giaûi. 2. Nhöõng phöông phaùp xaùc ñònh thaønh phaàn khuoân maët ngöôøi: a. Phöông phaùp xaùc ñònh caùc thaønh phaàn döïa vaøo pheùp chieáu: Töø nhöõng vuøng da ngöôøi xaùc ñònh tröôùc, nhöõng thaønh phaàn chính cuûa khuoân maët (maét, muõi, mieäng) coù theå xaùc ñònh chính xaùc döïa vaøo hình chieáu ngang vaø doïc cuûa noù. Beân caïnh ñoù, nhöõng tri thöùc veà caáu truùc cuûa khuoân maët ngöôøi giuùp cho chuùng ta coù theå aùp duïng moät soá thuaät giaûi heuristic laøm cho quaù trình ñònh höôùng hieäu quaû hôn. Cho tröôùc moät vuøng aûnh xaùm I(x,y), hình chieáu toaøn phaàn cuûa noù ñöôïc xaùc ñònh bôûi HP(y)= ( ,. )I x∑ ( . , )I y∑ vaø VP(x)= ( ,. )I x∑ . Nhöõng hình chieáu naøy ñöôïc laøm trôn ñeå traùnh nhöõng ñænh nhieãu. Sau ñoù nhöõng thaønh phaàn cuûa khuoân maët coù theå ñöôïc suy ra töø nhöõng cöïc ñaïi vaø cöïc tieåu ñòa phöông nhö trong hình. Neáu khoâng coù ñænh naøo ñöôïc tìm thaáy ôû nhöõng vò trí mong muoán thì ta coù theå keát luaän laø khoâng coù khuoân maët naøo trong aûnh. Vaø neáu taát caû caùc thaønh phaàn cuûa khuoân maët coù theå xaùc ñònh ñöôïc ta keát luaän laø coù toàn taïi khuoân maët. Xaùc ñònh maët ngöôøi 18 b. Caùch xaùc ñònh döïa vaøo caùc ñaëc tröng maøu saéc vaø quan heä hình hoïc: • Xaùc ñònh mieäng: chuû yeáu döïa vaøo tính chaát ñoû hôn cuûa moâi so vôùi caùc thaønh phaàn khaùc cuûa khuoân maët. Sau khi xaùc ñònh nhöõng vuøng bao quanh vuøng da ngöôøi, nhöõng vuøng coù maøu ñoû trong vuøng da ñoù ñöôïc xaùc ñònh döïa vaøo coâng thöùc: MouthMap= 2 2 2. ( / )r r r bC C C Cη− trong ñoù η= 2(1/ ) 0 .95 (1/ ) / N Cr N Cr Cb × ∑∑ vôùi N laø soá chieàu khoâng gian cuûa bao vuøng da. Nhöõng khu vöïc ñöôïc xaùc ñònh laø mieäng ñöôïc taùch rieâng. Trong tröôøng hôïp coù nhieàu khu vöïc thì nhöõng khu vöïc naøy ñöôïc troän chung laïi döïa treân tính laân caän cuûa chuùng vaø taïo thaønh moät vuøng. Troïng taâm cuûa vuøng naøy sau ñoù coù theå xem nhö laø vò trí cuûa mieäng. • Xaùc ñònh maét: Moät tính chaát quan troïng giuùp cho vieäc xaùc ñònh maét laø maét thöôøng coù ñoä toái cao hôn nhöõng vuøng khaùc do maét ngöôøi chöùa nhöõng vuøng gaàn ñen hoaëc gaàn traéng. Nhöõng khu vöïc naøy coù theå xaùc ñònh döïa vaøo nhöõng tính toaùn trong coâng thöùc (4) nhö sau : Variance= 2(1/N) (Y-Y)∑ Trong ñoù Y laø ñoä saùng toái cuûa töøng pixel trong khu vöïc, Y laø ñoä saùng toái trung bình cuûa khu vöïc vaø N laø soá chieàu cuûa khu vöïc. Tuy nhieân trong thöïc teá naøy khoâng hieäu quaû ñeå xaùc ñònh maét maø chuùng ta caàn döïa nhöõng ñaëc ñieåm caáu truùc vaø hình hoïc cuûa khuoân maët nhö sau: Xaùc ñònh maët ngöôøi 19 9 Khu vöïc maét phaûi naèm treân khu vöïc mieäng ít nhaát laø 10 pixel. 9 Tæ leä giöõa chieàu cao vaø chieàu roäng cuûa maét ít nhaát laø 0.4. 9 Khoaûng caùch töø mieäng tôùi maét traùi vaø maét phaûi phaûi thoûa ñieàu kieän sau: l r l1 .4xME ME 0.6xME≥ ≥ . 9 Goùc giöõa mieäng vaø maét phaûi thoûa ñieàu kieän sau: 0 035 80l rE ME≤ ≤ . 3. Nhöõng öu ñieåm cuûa phöông phaùp xaùc ñònh döïa vaøo thaønh phaàn cuûa khuoân maët: Trong khi xaùc ñònh khuoân maët ngöôøi döïa vaøo toaøn boä khuoân maët raát nhaïy caûm vôùi söï thay ñoåi vò trí cuûa khuoân maët thì vieäc xaùc ñònh khuoân maët döïa vaøo thaønh phaàn cuûa khuoân maët raát ít aûnh höôûng bôûi vieäc naøy, bôûi vì nhöõng thaønh phaàn treân khuoân maët ít thay ñoåi vò trí khi vò trí cuûa khuoân maët thay ñoåi nhoû. Nhöõng keát quaû thöïc nghieäm cho thaáy vieäc xaùc ñònh khuoân maët ngöôøi döïa vaøo caùc thaønh phaàn treân khuoân maët coù ñoä chính xaùc cao hôn raát nhieàu so vôùi vieäc xaùc ñònh maët ngöôøi döïa vaøo toaøn boä khuoân maët. Xaùc ñònh maët ngöôøi 20 Chöông 2: Xaây döïng thuaät giaûi I. Caùc böôùc tieàn xöû lí: Töø chöông naøy chuùng toâi seõ ñeà caäp khaùi quaùt quaù trình cuõng nhö caùch xaùc ñònh maêt ngöôøi cuûa heä thoáng ñöôïc xaây döïng 1. Phöông phaùp laáy nhöõng vuøng da ngöôøi: a. Xaây döïng heä thoáng maøu: Xaây döïng heä thoáng maøu laø moät coâng vieäc quan troïng trong vieäc xaùc ñònh khuoân maët ngöôøi döïa vaøo maøu da. Vieäc xaùc ñònh chính xaùc maøu da ngöôøi laø thaønh coâng ban ñaàu trong vieäc xaùc ñònh khuoân maët. Ngoaøi ra, heä thoáng naøy phaûi xaùc ñònh khuoân maët döïa vaøo caùc thaønh phaàn cuûa khuoân maët neân ngoaøi vieäc xaùc ñònh maøu da ngöôøi ta phaûi xaây döïng heä thoáng maøu sao cho caùc thaønh phaàn treân khuoân maët hieän roõ treân neàn maøu da ngöôøi. Heä thoáng maøu xaây döïng töø chuaån laø khoâng gian maøu RGB chuyeån qua khoâng gian YCrCb vôùi coâng thöùc chuyeån ñoåi tuyeán tính. Cuï theå nhö sau: • Laáy maøu RGB cuûa moät toïa ñoä. • Tính maøu YCrCb töø maøu RGB theo coâng thöùc sau [3] : Y = 0.299*R + 0.587*G + 0.114*B Cb = -0.169 * R - 0 .331 * G + 0.500 * B Cr = 0.500 * R - 0 .419 * G - 0 .081 * B ⎧⎪⎨⎪⎩ (I) Aùp duïng khoâng gian maøu YCbCr coù raát nhieàu thuaän lôïi khoâng chæ laø tính toaùn ñôn giaûn maø chuùng ta coù theå ñieàu khieån ñöôïc caùc saéc maøu Xanh (laø Cb vôùi troïng soá Blue lôùn), Ñoû (laø Cr vôùi troïng soá Red lôùn) vaø ñoä chieáu saùng (laø Y toå hôïp tuyeán tính cuûa ba trang thaùi maøu R, G, B vaø ñaït cöïc ñaïi vôùi saéc maøu traéng). b. Tieâu chuaån ñeå moät ñieåm laø maøu da ngöôøi trong khoâng gian maøu YCbCr: Döõ lieäu vaøo: Pixel vôùi caùc toïa ñoä töông öùng (x,y) Tieán trình : Aùp duïng coâng thöùc chuyeån ñoåi (I) vaø ñieàu kieän isSkin = 45 &&Y<252 Cb>-60 && Cb<10.3 Cr>10 && Cr<60 Y >⎧⎪⎨⎪⎩ Xaùc ñònh maët ngöôøi 21 Döõ lieäu ra: ⎩⎨ ⎧ = == falseisSkinBlack trueisSkinWhite jiPixel ),( c. Tieâu chuaån moät ñieåm laø caùc thaønh phaàn maét mieäng trong moät vuøng da: Tieâu chuaån naøy ñoùng moät vai troø quan troïng trong toaøn boä heä thoáng: 9 Noù quyeát ñònh caùc khu vöïc ñeå ñaït ñöôïc möùc ñoä loang chính xaùc trong moät khuoân maët vaø vieäc taùch dính moät khuoân maët vôùi nhieàu khuoân maët. 9 Noù quyeát ñònh ñoä chính xaùc vaø ñaày ñuû trong vieäc xaùc ñònh caùc thaønh phaàn. 9 Noù cuõng ñoùng vai troø quan troïng trong quaù trình loaïi boû caùc nhieãu (gioáng khuoân maët nhöng thaät ra khoâng phaûi laø khuoân maët). Khôûi taïo: Crb=Cr/Cb (trong khoâng gian maøu YCbCr) Cr 2 =Cr*Cr Saéc naâu ñen: Crb>3 && G<100 && B<100(ñaëc tröng vuøng maét) Saéc ñoû: 1300&&2 2 >> CrCrb (ñaëc tröng vuøng mieäng) Döõ lieäu vaøo: Vuøng maët {minX<i<maxX, minY<j<maxY} Tieán trình: Böôùc 1: Xeùt moät pixel P(i,j) thuoäc vuøng maët . Böôùc 2: ishole(i,j)=Saéc naâu ñen hoaëc Saéc ñoû. ishole(i,j) duøng ñeå xaùc ñònh xem pixel ôû vò trí (i,j) coù thuoäc veà moät khu vöïc hay khoâng. Böôùc 3: ishole(i,j)=true thì xeùt laïi böôùc 2 vôùi P laø moät laân caän bieân cuûa P. ishole(i,j)=false thì qua böôùc 4. Böôùc 4: Taäp hôïp caùc Pixel vöøa xeùt laïi thaønh moät khu vöïc. Döõ lieäu ra: ⎩⎨ ⎧ ∈ ∉= holejiPixelBlack holejiPixelWhite jiPixel ),( ),( ),( Xaùc ñònh maët ngöôøi 22 2. Phöông phaùp khöû nhieãu: Do tính chaát phöùc taïp cuûa ñieàu kieän aùnh saùng neân caùc thaønh phaàn nhieãu vaãn toàn taïi.Vì vaäy aûnh sau khi laáy ñöôïc vuøng da khoâng ñöôïc ñöa tröïc tieáp vaøo xöû lyù maø phaûi qua böôùc loïc nhieãu (neáu laøm toát thì seõ thuaän lôïi cho vieäc xaùc ñònh thaønh phaàn cuûa khuoân maët sau naøy). Nhöõng khu vöïc nhoû taùch bieät nhöng gioáng thaønh khuoân maët hay nhöõng hole nhoû trong vuøng khuoân maët seõ bò loaïi boû nhôø phöông ph