Luận văn Nghiên cứu phát triển hệ thống tra cứu các loài thực vật quý hiếm tại khu bảo tồn thiên nhiên na hang tỉnh tuyên quang

Chuyên ngành: Khoa học máy tính Mã số: 8.48.0101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS. Nguyễn Văn Tảo THÁI NGUYÊN - 2019 i LỜI CAM ĐOAN Sau quá trình học tập tại Trƣờng Đại học Công nghệ thông tin & Truyền thông, với những kiến thức lý thuyết và thực hành đã tích lũy đƣợc, với việc vận dụng các kiến thức vào thực tế, em đã tự nghiên cứu các tài liệu, các công trình nghiên cứu, tự tìm kiếm dữ liệu hình ảnh trên thực tế, đồng thời phân tích, tổng hợp, đúc kết và phát triển để hoàn thành luận văn thạc sĩ của mình. Em xin cam đoan luận văn này là công trình do bản thân em tự tìm hiểu, nghiên cứu và hoàn thành dƣới sự hƣớng dẫn của thầy giáo, TS. Nguyễn Văn Tảo. Thái Nguyên, tháng năm 2019 Học viên Vũ Thanh Bình ii LỜI CẢM ƠN Trong thời gian 2 năm của chƣơng trình đào tạo thạc sĩ, trong đó gần một nửa thời gian dành cho các môn học, thời gian còn lại dành cho việc lựa chọn luận văn, giáo viên hƣớng dẫn, tập trung vào nghiên cứu, viết, chỉnh sửa và hoàn thiện luận văn. Với quỹ thời gian nhƣ vậy và với vị trí công việc đang phải đảm nhận, không riêng bản thân em mà hầu hết các sinh viên cao học muốn hoàn thành tốt luận văn của mình mình trƣớc hết đều phải có sự sắp xếp thời gian hợp lý, có sự tập trung học tập và nghiên cứu với tinh thần nghiêm túc nỗ lực hết mình; tiếp đến là có sự ủng hộ về tinh thần, sự giúp đỡ về chuyên môn - một trong những điều kiện không thể thiếu quyết định đến việc thành công của luận văn. Để hoàn thành đƣợc luận văn này trƣớc tiên em xin gửi lời cảm ơn sâu sắc đến thầy giáo hƣớng dẫn TS. Nguyễn Văn Tảo, là ngƣời đã định hƣớng nội dung, hƣớng phát triển của luận văn và có nhiều ý kiến đóng góp quan trọng ảnh về những vấn đề chuyên môn của luận văn, giúp em tháo gỡ kịp thời những vƣớng mắc trong quá trình làm luận văn. Em cũng xin chân thành cảm ơn các thầy cô giáo Trƣờng Đại học Công nghệ thông tin và Truyền thông và bạn bè cùng lớp đã có những ý kiến bổ ích để luận văn đƣợc hoàn thiện hơn. Xin cảm ơn gia đình, ngƣời thân, đồng nghiệp luôn quan tâm ủng hộ về tinh thần trong suốt thời gian học tập và hoàn thành luận văn. Em xin hứa sẽ cố gắng tự nghiên cứu, nâng cao năng lực chuyên môn của mình để sau khi hoàn thành luận văn này sẽ có hƣớng tập trung nghiên iii cứu sâu hơn, tiếp tục hoàn thiện luận văn này để có những ứng dụng thiết thực trong thực tế. Thái Nguyên, tháng năm 2019 Học viên Vũ Thanh Bình iv MỤC LỤC LỜI CAM ĐOAN .............................................................................................. i LỜI CẢM ƠN ................................................................................................... ii MỤC LỤC ........................................................................................................ iv DANH SÁCH HÌNH VẼ ................................................................................. vi DANH MỤC CÁC BẢNG............................................................................. viii MỞ ĐẦU ........................................................................................................... 1 1. Đặt vấn đề ...................................................................................................... 1 2. Bài toán tra cứu/ nhận dạng thực vật ............................................................ 3 3. Cấu trúc luận văn .......................................................................................... 4 CHƢƠNG 1: MỘT SỐ NGHIÊN CỨU LIÊN QUAN .................................... 6 1.1 Tổng quan về tra cứu ảnh ............................................................................ 6 1.2 Tổng quan về nhận dạng, tra cứu thực vật ................................................ 10 1.3 Một số nghiên cứu liên quan ..................................................................... 11 CHƢƠNG 2: PHƢƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES ..... 13 2.1 Giới thiệu ................................................................................................... 13 2.2 Phƣơng pháp KDES .................................................................................. 13 2.2.1 Gradient, màu sắc, và hình dạng kernels tƣơng ứng........................... 13 2.2.2 Học tính năng nhỏ gọn ........................................................................ 17 2.3 Phƣơng pháp tra cứu lá cây sử dụng KDES cải tiến ................................. 21 2.4 Biểu diễn ảnh lá cây .................................................................................. 23 2.4.1 Tính toán đặc trƣng mức Pixel ............................................................ 23 2.4.2 Tính toán đặc trƣng mức patch ........................................................... 23 2.4.2.1 Sinh tập patch với kích thƣớc patch thích nghi ............................ 23 2.4.2.2 Tính toán véctơ đặc trƣng mức patch ........................................... 26 2.4.3 Tính toán đặc trƣng mức ảnh .............................................................. 31 2.5 Phân lớp ảnh lá cây ................................................................................... 37 2.5.1 Máy véctơ hỗ trợ - SVM ..................................................................... 37 v 2.5.2 Máy véctơ hỗ trợ nhiều lớp – MSVM ................................................ 41 2.5.2.1 Từ Binary classification tới multi-class classification .................. 41 2.5.2.2 Xử lý dữ liệu ảnh ......................................................................... 41 2.5.2.3 Softmax Regression. ..................................................................... 42 CHƢƠNG 3: THỰC NGHIỆM ...................................................................... 44 3.1 Thu thập dữ liệu ........................................................................................ 44 3.1.1 Cơ sở dữ liệu hình ảnh ........................................................................ 44 3.1.2 Phƣơng pháp lấy mẫu hình ảnh lá cây: ............................................... 45 3.2 Tiền xử lý ảnh trong bộ cơ sở dữ liệu ....................................................... 48 3.3 Phƣơng pháp đánh giá ............................................................................... 53 3.4 Thử nghiệm và kết quả. ............................................................................. 54 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN. ..................................................... 60 TÀI LIỆU THAM KHẢO ............................................................................... 60 vi DANH SÁCH HÌNH VẼ Hình 2.1 : Xấp xỉ hữu hạn chiều ................................................................... 19 Hình 2.2: Sơ đồ hệ thống nhận dạng cây thuốc sử dụng KDES ................... 22 Hình 2.3: Patch thích nghi với = = 8, do đó = = 9 ....................................................................................................................... 24 Hình 2.4: Một số ví dụ minh họa patch cố định và patch thích nghi ............ 25 Hình 2.5: Ý tưởng cơ bản của việc biểu diễn dựa trên kernel method ......... 29 Hình 2.6: Cấu trúc pyramid .......................................................................... 32 Hình 2.7: Nhược điểm của cách gán cứng .................................................. 34 Hình 2.8: Mô hình Softmax Regression dưới dạng Neural network ............. 42 Hình 3.1: Hình ảnh 38 mẫu lá cây đã thu thập được trong đề tài. ............... 46 Hình 3.2. Phân đoạn ảnh tự động ................................................................. 48 Hình 3.3. giải thuật sử dụng Salient region segmentation ........................... 49 Hình 3.4. Sự chuyển đổi hai không gian màu RGB và Lab .......................... 50 Hình 3.5. Co ảnh nhị phân ............................................................................ 50 Hình 3.6. Giãn ảnh nhị phân ......................................................................... 51 Hình 3.7. Chuẩn hóa hướng của lá cây ........................................................ 53 Hình 3.8. Sơ đồ các khối chức năng của giai đoạn huấn luyện ................... 55 Hình 3.9. Sơ đồ các khối chức năng của giai đoạn kiểm thử ....................... 55 Hình 3.10: Một phần mã code chương trình................................................. 56 Hình 3.11: quá trình Huấn luyện của chương trình ..................................... 57 Hình 3.12: Kết thúc quá trình huấn luyện .................................................... 57 Hình 3.13: Tính toán số vòng lặp so sánh .................................................... 58 vii Hình 3.14: Hình ảnh ma trận nhầm lẫn của phương pháp KDES cải tiến .. 58 Hình 3.7: Hình ảnh nhầm lân ma trận của phương pháp KDES gốc ........... 59 Hình 3.8: Hình ảnh nhầm lẫn ma trân của phương pháp KDES cải tiến .... 60 viii DANH MỤC CÁC BẢNG Bảng 3.1: Danh sách mẫu thực vật trong cơ sở dữ liệu ............................. 47 Bảng 3.2: So sánh kết quả giữa KDES gốc và phương pháp lựa chọn (KDES cải tiến). ....................................................................................................... 59 1 MỞ ĐẦU 1. Đặt vấn đề Khu Bảo tồn thiên nhiên Na Hang là một trong những nơi có nguồn tài nguyên cây thuốc đa dạng và phong phú [1]. Hiện biết có 275 loài cây thuốc, thuộc 4 ngành, 96 họ, 204 chi của thực vật có mạch, đã đƣợc ghi lại trong các cuộc điều tra thực địa. Trong số đó, có 204 loài, thuộc 3 ngành, 85 họ, 168 chi của thực vật có mạch đƣợc sử dụng bởi Cao Lan dân tộc; đã 05 loài đƣợc liệt kê trong Sách Đỏ Việt Nam và Danh lục Đỏ cây thuốc Việt Nam. Trong số 85 họ, có 11 họ có số loài nhiều nhất là họ Rubiaceae, Euphorbiaceae, Zingberaceae, Araceae, Vitaceae, Acanthaceae, Verbenaceae, Myrsinaceae, Moraceae, Menispermaceae và Convallariaceae. Bốn loại phổ biến của cây thuốc là cây thân thảo (41,63%), cây bụi (22.01%), cây thân gỗ (16,75%) và leo núi (17.70%). Các bộ phận đƣợc sử dụng nhiều nhất thân, lá, rễ và toàn cây. Các nguồn tài nguyên cây thuốc ở khu bảo tồn thiên nhiên Na Hang có giá trị kinh tế quan trọng và một tiềm năng để phát triển dƣợc phẩm mới và các sản phẩm tự nhiên khác. Rừng đặc dụng Na Hang (trƣớc đây là Khu bảo tồn thiên nhiên Tát kẻ - Bản Bung huyện Na Hang) đƣợc thành lập theo Quyết định 274/UB-QĐ ngày 9 tháng 5 năm 1994 của Uỷ ban nhân dân tỉnh Tuyên Quang. Nằm trên địa bàn các xã Khâu Tinh, Côn Lôn, Sơn Phú, Thanh Tƣơng của huyện Na Hang, tỉnh Tuyên Quang. Rừng đặc dụng Na Hang có diện tích tự nhiên khoảng 22.401,5 ha, trong đó diện tích khu vực có địa hình dƣới 300 m chiếm khoảng 30%, 300-800 m chiếm 60%, trên 900m chiếm 10%. Mùa đông nhiệt độ trung bình 15 - 20oC, mùa hè nhiệt độ lên đến 30oC hoặc có thể hơn. Hệ 2 thống sông ngòi chỉ ở mức trung bình, có hai con sông lớn chảy qua là sông Gâm (phía Tây Tát Kẻ) và sông Năng (phía đông Na Hang). Hiện nay, nguồn nƣớc từ rừng đặc dụng Na Hang đƣợc phân phối, điều hòa bởi hệ thống lòng hồ và đập thủy điện Na Hang. Hệ thực vật tại Khu bảo tồn thiên nhiên (BTTN) Na Hang có 1.162 loài thực vật, thuộc 604 chi, 159 họ của 4 ngành thực vật bậc cao có mạch. Trong đó ngành Hạt kín (Angiospermae) có 1.083 loài, 570 chi, 135 họ; ngành Hạt trần (Gymnospermae) có 11 loài, 8 chi, 5 họ; ngành Dƣơng xỉ (Polypodiophyta) có 63 loài, 34 chi, 17 họ; nhành Thông đất (Lycopodiophyta) có 5 loài, 2 chi, 2 họ. Trong số 1162 loài thực vật đƣợc ghi nhận tại Khu BTTN Na Hang, có 558 loài thực vật đƣợc ghi nhận có giá trị làm thuốc. Việc nghiên cứu hiện trạng và bảo tồn nguồn tài nguyên cây cối có vị trí rất quan trọng trong việc phát triển nguồn tài nguyên sinh vật ở rừng đặc dụng Na Hang. Để hỗ trợ cho công tác này, việc phát triển các công cụ, dịch vụ công nghệ thông tin hỗ trợ là cần thiết nhằm giúp cho việc xây dựng chiến lƣợc quản lý, bảo tồn và phát triển bền vững tính đa dạng sinh học của Na Hang, tỉnh Tuyên Quang trong tƣơng lai đƣợc thuận lợi hơn. Bƣớc đầu tiên của việc bảo vệ thực vật là tự động nhận ra hoặc phân loại chúng. Có nghĩa là hiểu chúng là gì và chúng đến từ đâu. Nhƣng rất khó để ngƣời ta nhận ra một loại cây một cách chính xác và ngay lập tức bởi vì số lƣợng loài rất lớn. Một hệ thống tự động nhận dạng, tra cứu sẽ rất hữu ích trong quản lý, bảo tồn hệ thống các loài cây quý hiếm, nhận dạng ra các loại cây với thông tin của nó v.v. Tuy nhiên, hiện nay chƣa có một cơ sở dữ liệu với đầy đủ thông tin cần thiết về các loài thực vật quý hiếm tại Khu bảo tồn Thiên nhiên Na Hang 3 cùng với công cụ tra cứu, tiếp cận thông tin một cách thuận tiện. Do đó, đề tài luận văn thạc sỹ này tập trung vào việc xây dựng cơ sở dữ liệu các loài thực vật quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang và nghiên cứu, áp dụng một phƣơng pháp tra cứu tự động dựa trên thông tin hình ảnh, với đề tài: “Nghiên cứu phát triển hệ thống tra cứu các loài thực vật quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang”. Hiện nay, nhiều nhà khoa học đã và đang nghiên cứu, đề xuất nhiều phƣơng pháp giải quyết bài toán nhận dạng lá cây thông qua thông tin hình ảnh, [15] [17] [18]. Trong đó, nhiều phƣơng pháp khai thác thông tin hình ảnh lá cây [2]. Lá cây đƣợc sử dụng nhiều bởi vì đây là bộ phận dễ thu nhận, hiện diện ở hầu hết các mùa. Trên cơ sở đó, đề tài luận văn thạc sỹ này, em sẽ kế thừa một số kết quả nghiên cứu về nhận dạng ảnh lá cây để áp dụng vào bài toán tra cứu các loài thực vật quý hiếm tại Khu bảo tồn thiên nhiên Na Hang. 2. Bài toán tra cứu/ nhận dạng thực vật Tra cứu hoặc nhận dạng thực vật là một quá trình nhằm xác định xem một mẫu thực vật nào đó giống nhất hoặc thuộc loài nào trong danh mục các loài cây đã biết. Đây là một nhiệm vụ khó khăn và tốn thời gian ngay cả đối với các chuyên gia thực vật học. Tra cứu thực vật là đƣa ra một danh sách các loài thực vật theo mức độ phù hợp với câu truy vấn. Trong bài toán tra cứu thông tin/ hình ảnh tổng quát thì câu truy vấn có thể là văn bản, hình ảnh, ... Ở đây, em đề cập đến câu truy vấn là ảnh cây hoặc một vài bộ phận của cây. Gần đây với nghiên cứu tiên tiến trong cộng đồng thị giác máy tính, một số công trình đã tập trung nghiên cứu bài toán nhận dạng thực vật dựa trên hình ảnh [3]. Mục đích chính của các công trình này là nghiên cứu phát triển phƣơng pháp để xây dựng hệ thống chƣơng trình máy tính hỗ trợ việc nhận 4 dạng thực vật bằng các kỹ thuật nhận dạng và xử lý ảnh.. Trong các bộ phận của cây thì lá cây đƣợc sử dụng rộng rãi nhất. Gần đây một số tác giả đã cố gắng kết hợp các hình ảnh bộ phận khác của cây. Một hệ thống tự động nhận dạng phân loại hoặc tra cứu thực vật nói chung và cây thuốc nói riêng có thể sử dụng các đặc trƣng khác nhau của hệ thực vật, bắt đầu từ mức độ rất đơn giản nhƣ: Hình dạng và màu sắc của lá, loại hoa và quả, kiểu phân nhánh, loại rễ, lễ thời vụ, vụ triển vọng, ảnh cho đến đặc trƣng rất phức tạp nhƣ cấu trúc tế bào và mô, cấu trúc di truyền. Hiện tại, điện thoại di động có khả năng thu đƣợc hình ảnh chất lƣợng cao với camera của chúng, điều này làm cho khả năng ứng dụng của một hệ thống nhƣ vậy trở nên rộng lớn. Lá cây có những đặc trƣng quan trọng, ảnh hữu ích để phân loại các loại thực vật khác nhau. Trong thị giác máy tính, đã có nhiều loại đặc trƣng đƣợc đề xuất để phân loại đối tƣợng. Năm 2010, Liefeng Bo [5] đề xuất một bộ mô tả hiệu quả cho bài toán nhận dạng đối tƣợng có tên là KDES (Kernel descriptor). Trong khuôn khổ đề tài luận văn này, này em tìm hiểu và áp dụng KDES cho bài toán tra cứu ảnh lá cây quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang. 3. Cấu trúc luận văn Ngoài phần mở đầu, kết luận, mục lục, danh mục tài liệu, tài liệu tham khảo, luận văn đƣợc chia thành 3 chƣơng nhƣ sau: - CHƢƠNG 1: MỘT SỐ NGHIÊN CỨU LIÊN QUAN Chƣơng này giới thiệu bài toán và thông tin tổng quan về tra cứu/ nhận dạng thực vật. Trong chƣơng này cũng trình bày sơ lƣợc một số nghiên cứu liên quan đến bài toán nhận dạng, tra cứu ảnh lá cây; giới thiệu sử dụng 5 phƣơng pháp KDES (kernel descriptor) cho bài toán tra cứu thông tin về cây thông qua hình ảnh lá cây. - CHƢƠNG 2: PHƢƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES Trong chƣơng này trình bày phƣơng pháp tra cứu thông tin cây thông qua hình ảnh lá cây sử dụng phƣơng pháp KDES. CHƢƠNG 3: THỰC NGHIỆM Nội dung chƣơng này bao gồm phƣơng pháp thu thập dữ liệu, phƣơng pháp đánh giá, việc thử nghiệm và kết quả của thử nghiệm trên cơ sở dữ liệu đã thu thập. 6 CHƢƠNG 1 MỘT SỐ NGHIÊN CỨU LIÊN QUAN 1.1 Tổng quan về tra cứu ảnh Những năm gần đây ảnh số ngày càng thu hút đƣợc sự quan tâm của nhiều ngƣời, một phần là do các thiết bị thu nhận ảnh số ngày càng phổ biến và có giá cả phù hợp, cho phép nhiều ngƣời có thể sở hữu và sử dụng. Mặt khác các công nghệ chế tạo thiết bị lƣu trữ luôn đƣợc cải tiến để cho ra đời các thiết bị lƣu trữ có dung lƣợng lớn và giá thành hạ làm cho việc lƣu trữ ảnh dƣới dạng các file trở nên phổ biến. Thêm nữa là sự phát triển của mạng internet làm cho số lƣợng ảnh số đƣợc đƣa lên lƣu trữ và trao đổi qua internet là rất lớn. Năm 2006, trên 300 triệu hình ảnh đã đƣợc tải lên Flickr, một trong những cộng đồng chia sẻ hình ảnh lớn nhất trên internet. Con số này cho thấy thực tế là số lƣợng ảnh số đƣợc lƣu trữ trong các cơ sở dữ liệu đang gia tăng nhanh chóng. Tuy nhiên khi số lƣợng ảnh đƣợc lƣu trữ trở lên rất lớn thì vấn đề là phải có những phƣơng pháp tổ chức cơ sở dữ liệu ảnh tốt cùng với những kỹ thuật tìm kiếm tra cứu ảnh có hiệu quả có độ chính xác cao và có hiệu năng tốt. Việc tìm kiếm đƣợc một bức ảnh mong muốn trong hàng triệu bức ảnh thuộc đủ loại chủ đề khác nhau là rất khó. Khi số lƣợng ảnh trong một bộ sƣu tập còn ít, việc nhận diện bức ảnh hay việc so sánh sự giống và khác nhau giữa nhiều bức ảnh có thể đƣợc thực hiện bằng mắt thƣờng, tuy nhiên khi số lƣợng ảnh rất lớn thì việc so sánh bằng mắt thƣờng là rất khó khăn, đòi hỏi phải có những phƣơng pháp hiệu quả và chính xác hơn. Trong thực tế, bài toán tra cứu ảnh số có rất nhiều ứng dụng quan trọng. Ví dụ nhƣ trong lĩnh vực ngân hàng, việc so sánh chữ ký của khách hàng với mẫu chữ ký đã đƣợc lƣu trữ sẵn có thể thực hiện rất nhanh và chính xác nếu có đƣợc một phần mềm so sánh mẫu chữ ký tốt. Thực tế hiện nay tại các ngân 7 hàng ở Việt Nam, ngƣời ta vẫn phải sử dụng phƣơng pháp so sánh bằng mắt thƣờng và việc so sánh chữ ký bằng phần mềm vẫn chƣa thực hiện đƣợc. Một ví dụ khác là bài toán quản lý biểu trƣng (logo) trong lĩnh vực sở hữu trí tuệ. Khi một đơn vị muốn đăng ký logo riêng cho đơn vị của mình thì cơ quan quản lý phải tiến hành đánh giá xem mẫu logo đó đã đƣợc sử dụng hay chƣa hoặc có tƣơng tự với mẫu logo nào đó đang đƣợc sử dụng hay không. Trong trƣờng hợp này, nếu sử dụng mắt thƣờng để duyệt thì sẽ tốn rất nhiều thời gian, nếu có các phần mềm cho phép tìm kiếm trong cơ sở dữ liệu ảnh có sẵn những biểu trƣng tƣơng tự với biểu trƣng mẫu thì việc đánh giá sự tƣơng tự sẽ dễ dàng hơn nhiều. Trong lĩnh vực khoa học hình sự, nhu cầu so sánh mẫu vân tay, hay tìm kiếm hình ảnh tội phạm đặt ra những bài toán tra cứu ảnh. Giả sử chúng ta tổ chức quản lý nhân khẩu với thông tin ảnh vân tay của từng ngƣời. Trong một vụ án, nhân viên điều tra thu thập đƣợc mẫu vân tay trên hiện trƣờng, khi đó ngƣời ta cần xem mẫu vân tay đó khớp với vân tay của ai trong hàng chục triệu hình ảnh vân tay trong cơ sở dữ liệu. Nếu có phần mềm thực hiện chính xác, nhanh chóng sẽ giúp ích rất nhiều cho công tác điều tra. Một ví dụ nữa là trong lĩnh vực bảo tồn, bảo tàng. Vấn đề lƣu trữ và tra cứu ảnh số có vai trò càng ngày càng quan trọng. Ảnh của các tác phẩm hội họa, điêu khắc hoặc các cổ vật đƣợc lƣu trữ dƣới dạng các file ảnh sẽ đảm bảo đƣợc chất lƣợng tốt hơn, thời gian lƣu trữ lâu dài hơn và việc trao đổi hay giới thiệu với công chúng cũng dễ dàng hơn. Bài toán tra cứu của vật xuất phát từ một thực tế của ngành bảo tồn, bảo tàng là khi sƣu tầm đƣợc một cổ vật mới, ngƣời ta cần xác định hàng loạt các thuộc tính nhƣ niên đại, nguồn gốc và có thể là chủ sở hữu của vật đó. Nếu có đƣợc sự trợ giúp của phần mềm tra cứu ảnh phù hợp thì ngƣời ta ta có thể dễ dàng xác định xem mẫu cổ vật đó đã đƣợc lƣu trữ trong cơ sở dữ liệu nào hay chƣa, có những loại cổ vật nào tƣơng tự với nó trong kho tàng cổ vật của thế giới, và phần mềm có thể đƣa ra ảnh 8 của các loại cổ vật có màu sắc, hình dáng, hoa văn tƣơng tự với cổ vật vừa tìm thấy. Những thông tin này sẽ giúp ích rất nhiều cho các chuyên gia trong quá trình phân loại, kiểm chứng một cổ vật. Một số hệ thống tra cứu ảnh nổi tiếng nhƣ QBIC (IBM), Virage (Virage Inc.), Photobook (MIT), VisualSEEK (Columbia University)... Trƣớc năm 1990, ngƣời ta thƣờng sử dụng phƣơng pháp tra cứu ảnh theo văn bản (Text Based Image Retrieval). Theo cách này ngƣời ta sẽ gán cho mỗi bức ảnh một lời chú thích phù hợp với nội dung hoặc một đặc điểm nào đó của ảnh, sau đó việc tra cứu ảnh đƣợc thực hiện dựa trên những lời chú thích này. Phƣơng pháp này khá đơn giản, tuy nhiên lại không thể áp dụng để tra cứu các cơ sở dữ liệu có số lƣợng ảnh lớn và kết quả tra cứu thì mang tính chủ quan và cảm ngữ cảnh. Bởi về các kỹ thuật tra cứu dựa trên văn bản chỉ có thể đƣợc áp dụng khi hình ảnh đã đƣợc mô tả. Việc tự động hiểu nội dung một bức tranh theo cách của con ngƣời là một công việc rất khó. Vấn đề này đƣợc gọi là lỗ hổng ngữ nghĩa (semantic gap). Một trong những phƣơng pháp đƣợc nhiều ngƣời quan tâm nghiên cứu hiện nay là phƣơng pháp ”Tra cứu ảnh dựa theo nội dung” (Content Base Image Retrieval). Ý tƣởng phƣơng pháp này là chích chọn các đặc điểm dựa vào nội dung trực quan của ảnh nhƣ màu sắc, kết cấu, hình dạng và bố cục không gian của ảnh để làm cơ sở dữ liệu cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh. Kỹ thuật tra cứu ảnh trên cơ sở màu cơ bản có nhiều hạn chế: - Hạn chế thứ nhất của ảnh kỹ thuật cơ sở là không sử dụng tính tƣơng đồng giữa các màu. Khi đó, hai ảnh với màu cảm nhận tƣơng đồng nhƣng không có màu chung thì khoảng cách giữa chúng sẽ rất lớn, có thể là cực đại. 9 Với hạn chế thứ nhất này, ngƣời ta đã đƣa ra những cách khắc phục bằng cách: đƣa ra thƣớc đo mức độ giống nhau trong đó quan tâm đến đóng góp các màu cảm nhận tƣơng tự; tính toán khoảng cách màu trong đó các giá trị biểu đồ màu đƣợc điều chỉnh trên cơ sở mức độ tƣơng tự màu; sử dụng biểu đồ trọng số cảm nhận (PWH -perceptually weighted histogram). - Hạn chế thứ hai là không sử dụng quan hệ không gian giữa các pixel. Để giải quyết vấn đề này, ngƣời ta có thể tách màu nền khỏi màu cận cảnh (phân đoạn ảnh) sau đó biểu đồ màu nền và biểu đồ màu cận cảnh đƣợc tính toán và sử dụng. - Hạn chế thứ ba là không gian màu lựa chọn đƣợc lƣợng tử hóa đồng nhất mặc dù các màu điểm ảnh không phân bổ đồng nhất trong không gian màu. Một số giải pháp: lƣợng tử hóa màu không đồng nhất; lựa chọn không gian màu thích hợp cũng đã đƣợc đề cập; cải tiến việc tính toán các bins màu cách sử dụng kỹ thuật phân lớp dữ liệu. Kỹ thuật tra cứu cơ sở dựa trên lƣợc đồ màu chƣa tận dụng đƣợc các đặc tính cục bộ của vùng của ảnh nhƣ màu và không gian. Ngƣời ta đã đề cập đến kỹ thuật tra cứu ảnh dựa vào các đặc tính cục bộ của vùng áp dụng trong tra cứu các ảnh phong cảnh: kỹ thuật đối sánh cặp màu để mô hình các đƣờng bao đối tƣợng phân biệt; mở rộng kỹ thuật cặp màu để thực hiện tra cứu các ảnh đã đƣợc phân đoạn. Các hạn chế trong kỹ thuật tra cứu dựa vào màu bao gồm: thiếu khả năng nhận dạng các đối tƣợng tƣơng tự có các màu khác nhau, nhạy cảm với tỷ lệ của đối tƣợng. Ảnh ngƣời ta đƣa ra kỹ thuật tra cứu ảnh dựa vào các đặc tính cục bộ của vùng bao gồm màu và không gian áp dụng trong tra cứu các ảnh phong cảnh. Kỹ thuật này nhằm khắc phục các hạn chế đã đƣợc đề cập ở trên thông qua một quá trình ba bƣớc: phân đoạn ảnh thành các cụm dựa vào màu (sử dụng thuật toán phân lớp dữ liệu K-Means); chia 10 các ảnh thành dãy các hình chữ nhật bằng phƣơng pháp phủ hình chữ nhật tối thiểu có độ thuần nhất; Cuối cùng, thông tin của vùng đƣợc trích rút trong bƣớc thứ hai đƣợc sử dụng để tra cứu các ảnh liên quan từ một cơ sở dữ liệu ảnh phong cảnh. Với phƣơng pháp tra cứu ảnh dựa trên hình dạng, có nhiều phƣơng pháp biểu diễn đặc trƣng hình dạng và thƣớc đo độ tƣơng tự khác nhau: phƣơng pháp tiếp cận dựa trên hình dạng sử dụng logic mờ. Đầu tiên, ảnh đƣợc phân đoạn thành một tập các vùng. Mỗi vùng đƣợc biểu diễn bởi một tập mờ. Khoảng cách giữa hai ảnh đƣợc tính toán dựa trên việc so sánh khoảng cách giữa tất cả các cặp vùng của hai ảnh kết hợp với gán trọng số cho mỗi vùng; phƣơng pháp biểu diễn đặc trƣng của vùng bởi một vectơ 15 chiều bao gồm các thành phần màu đặc trƣng của vùng và các đặc trƣng hình dạng; Kết hợp hai phƣơng pháp trên đồng thời đƣa ra cải tiến cách biểu diễn vectơ đặc trƣng của một vùng sử dụng 6 thành phần (3 thành phần đặc trƣng màu sắc và 3 thành phần đặc trƣng hình dạng); hình dạng các vùng đƣợc xấp xỉ bởi đa giác. Đa giác biểu diễn hình dạng các vùng đƣợc xác định theo cách hoạt động của radar. 1.2 Tổng quan về nhận dạng, tra cứu thực vật Tự động phân loại và tra cứu thực vật có thể đƣợc thực hiện bằng cách trích xuất các đặc trƣng từ lá của nó. Có nhiều cách tiếp cận khác nhau đã đƣợc đề xuất. Đầu tiên, ảnh lá đƣợc thu nhận bằng camera hoặc máy quét. Sau đó, đó ngƣời dùng có thể chọn điểm gốc của lá và một vài điểm tham chiếu trên phiến lá hoặc tự động thực hiện việc này. Tiếp theo, một số đặc trƣng hình thái học đƣợc trích xuất. Các đặc trƣng này đƣợc sử dụng làm đầu vào cho hệ thống phân loại, ví dụ nhƣ mạng nơron nhân tạo. Mạng nơron đƣợc huấn luyện với lá từ các loài thực vật khác nhau. Sau đó, độ chính xác 11 của hệ thống nhận dạng đƣợc đánh giá thông qua thử nghiệm. Phƣơng pháp này chỉ hoạt động đối với những cây có lá phẳng, rộng. Một số lƣợng đáng kể các công trình đã đƣợc thực hiện nhằm giải quyết bài toán tra cứu và nhận dạng thực vật dựa trên ảnh lá. Một phƣơng pháp nào đó có thể đạt đƣợc hiệu năng tốt đối với một số mẫu giá cụ thể, nhƣng không đảm bảo cho kết quả tốt đối với các mẫu lá khác. Đôi khi ngƣời ta thấy rằng hai hoặc nhiều cây có lá có hình dạng tƣơng tự hoặc giống nhau, nhƣng màu sắc khác nhau. Trong trƣờng hợp đó các đặc trƣng màu sắc cần đƣợc lƣu tâm. Chƣơng này trình bày sơ lƣợc các thuật toán khác nhau đã đƣợc sử dụng để tra cứu phân loại thực vật thông qua ảnh lá. 1.3 Một số nghiên cứu liên quan Để nhận dạng cây có nhiều cách, có thể nhận dạng cây qua các bộ phận của cây nhƣ cành, lá, chồi, thân, hoa, quả, rễ cây Tuy nhiên đặc trƣng dễ nhận ra nhất của mỗi cây là hình ảnh lá cây. Nên trong luận văn này em sử dụng hình ảnh lá cây với nền đơn giản. Có hai loại lá: Lá kép (bao gồm một số lá nhỏ) và lá đơn. Trong khi hầu hết các nghiên cứu trên lá đơn tập trung vào việc trích xuất đặc trƣng hình dạng và vị trí của lá [9], thì các nghiên cứu trên lá kép cố gắng khai thác cấu trúc của chúng [7]. Hình ảnh lá có thể đƣợc chụp với nền phức tạp, bƣớc đầu tiên của hệ thống nhận dạng thực vật dựa trên ảnh lá là phân đoạn ảnh lá. Tuy nhiên, phân đoạn ảnh là bài toán khó với nhiều thách thức trong thị giác máy tính. Do đó, các công trình hiện tại thƣờng dựa trên giả định rằng ảnh lá đƣợc chụp trong một nền tƣơng đối đơn giản. Có rất ít công trình đề cập đến việc phân đoạn ảnh lá trên nền phức tạp [8] [18]. Trong [18] Tác giả đã đề xuất một 12 phƣơng pháp có tên là Marker-Controller Watersheds. Tuy nhiên, phƣơng pháp này dựa trên giả định rằng ảnh là bimodal. Trong [8], các tác giả đã đề xuất một phƣơng pháp phân đoạn ảnh lá. Trong nghiên cứu này, trƣớc tiên phân đoạn dựa trên mô hình lá đa giác sau đó phát triển một active contour. Tuy nhiên, công trình này chỉ giới hạn làm việc với lá cây với nền đơn giản. Khi làm việc với bài toán nhận dạng thực vật dựa trên ảnh lá, nhiệm vụ quan trọng nhất là biểu diễn lá. Trong đó, chúng ta cần xác định các đặc trƣng thích hợp để biểu diễn lá tốt nhất. Một một số đặc trƣng đã đƣợc đề xuất cho việc biểu diễn lá trình bày trong ImageClef2013. Các phƣơng pháp này chủ yếu làm việc với giả thiết là nền đơn giản. Gần đây [9] đã đề xuất sử dụng KDES (kernel descriptor) đƣợc sử dụng trong [5] để nhận dạng lá. Bộ mô tả này vƣợt trội hơn các bộ mô tả tốt nhất nhƣ SURF. Công trình này làm việc với nền đơn giản. KDES cải tiến không bất biến đối với scale (kích thƣớc ảnh) và phép xoay. 13 CHƢƠNG 2 PHƢƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES 2.1 Giới thiệu Năm 2010, Liffeng Bo và cộng sự [5] đề xuất một bộ mô tả đối tƣợng nói chung có tên là KDES (kernel descriptor). Với đặc trƣng KDES, việc trích chọn đặc trƣng hình ảnh của mỗi bộ phận của cây đều đƣợc xây dựng theo hƣớng: từ đặc trƣng mức pixel, đến đặc trƣng mức patch, rồi đặc trƣng mức ảnh.Bằng thực nghiệm, các tác giả đã chỉ ra rằng KDES tốt hơn những phƣơng pháp đã có trên cơ sở dữ liệu Cifa-10, Caltech-101, ImageNet. Năm 2015 với những kết quả đã đƣợc chỉ ra của KDES [15], luận văn này áp dụng KDES cho bài toán tra cứu tra cứu các loài thực vật quý hiếm tại khu bảo tồn thiên nhiên Na Hang tỉnh Tuyên Quang dựa vào hình ảnh lá cây. 2.2 Phƣơng pháp KDES 2.2.1 Gradient, màu sắc, và hình dạng kernels tƣơng ứng Với đặc trƣng KDES, việc trích chọn đặc trƣng hình ảnh của mỗi bộ phận của cây đều đƣợc xây dựng theo hƣớng: từ đặc trƣng mức pixel, đến đặc trƣng mức patch, rồi đặc trƣng mức ảnh. - Đặc trưng mức pixel Theo [5], một số đặc trƣng có thể đƣợc tính toán ở mức pixel nhƣ: giá trị pixel (rgb color), kết