Đồ án Ứng dụng xử lý ảnh vào việc phát hiện ngủ gật dùng kit raspberry

SSV: 13141147 Tp. Hồ Chí Minh - 01/2018 Generated by Foxit PDF Creator © Foxit Software For evaluation only. BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH --------------------------------- ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH VÀO VIỆC PHÁT HIỆN NGỦ GẬT DÙNG KIT RASPBERRY GVHD: Th.s Nguyễn Duy Thảo SVTH: Nông Văn Tân MSSV: 13141299 SVTH: Trần Thị Mỹ Khiêm MSSV: 13141147 Tp. Hồ Chí Minh - 01/2018 TRƯỜNG ĐH. SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ Độc lập – Tự do – Hạnh phúc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH TP. Hồ Chí Minh, ngày 01 tháng 01 năm 2018 BẢNG MÔ TẢ CÔNG VIỆC Họ tên sinh viên 1: Nông Văn Tân MSSV: 13141299 Lớp: 13141DT2C Họ tên sinh viên 2: Trần Thị Mỹ Khiêm MSSV: 13141147 Lớp: 13141DT1D Tên đề tài: Ứng dụng xử lý ảnh vào việc phát hiện ngủ gật dùng Kit Raspberry 1. MÔ TẢ MỤC TIÊU CỦA ĐỀ TÀI: Đề tài sẽ đi tìm hiểu kit Raspberry, kiến thức xử lý ảnh, kỹ thuật nhận dạng và xây dụng bài toán phát hiện ngủ gật. 2. MÔ TẢ CÔNG VIỆC THỰC HIỆN ĐỀ TÀI CỦA TỪNG SINH VIÊN: Họ tên Sinh viên 1: Nông Văn Tân Các công việc thực hiện trong đề tài: STT NỘI DUNG CÔNG VIỆC 1 Tìm kiếm tài liệu về lập trình Python, OpenCV. 2 Cài đặt hệ điều hành và thư viện liên quan. 3 Viết chương phát hiện ngủ gật. 4 Viết báo cáo. Họ tên Sinh viên 2: Trần Thị Mỹ Khiêm Các công việc thực hiện trong đề tài: STT NỘI DUNG CÔNG VIỆC 1 Tìm kiếm tài liệu về lập trình Python, OpenCV. 2 Tìm kiếm lý thuyết nhận dạng, phát hiện. 3 Viết và chỉnh sửa báo cáo. SINH VIÊN 1 SINH VIÊN 2 (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) Nông Văn Tân Trần Thị Mỹ Khiêm XÁC NHẬN CỦA GIẢNG VIÊN HƯỚNG DẪN (Ký ghi rõ họ tên) Th.s Nguyễn Duy Thảo TRƯỜNG ĐH. SƯ PHẠM KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP. HỒ CHÍ MINH ĐỘC LẬP - TỰ DO - HẠNH PHÚC KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP- Y SINH Tp. HCM, ngày 01 tháng 01 năm 2018 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nông Văn Tân MSSV: 13141299 Trần Thị Mỹ Khiêm MSSV: 13141147 Chuyên ngành: Điện tử công nghiệp – y sinh Mã ngành: 01 Hệ đào tạo: Đại học chính quy Mã hệ: 1 Khóa: 2013 Lớp: 13141DT2C I. TÊN ĐỀ TÀI: Ứng dụng xử lý ảnh vào việc phát hiện ngủ gật dùng Kit Raspberry II. NHIỆM VỤ 1. Các số liệu ban đầu:  1 bộ kit Raspberry Pi 3.  1 camera.  1 loa  Các hình ảnh cần xử lý. 2. Nội dung thực hiện:  Tìm hiểu về xử lý ảnh.  Tìm hiểu về kit Raspberry Pi.  Các kỹ thuật nhận dạng.  Phát hiện ngủ gật bằng Raspberry Pi.  Viết báo cáo. III. NGÀY GIAO NHIỆM VỤ: 25/9/2017 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 15/01/2018 V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: Th.s Nguyễn Duy Thảo CÁN BỘ HƯỚNG DẪN BM. ĐIỆN TỬ CÔNG NGHIỆP-Y SINH Th.s Nguyễn Duy Thảo TRƯỜNG ĐH. SƯ PHẠM KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP. HỒ CHÍ MINH ĐỘC LẬP - TỰ DO - HẠNH PHÚC KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP Tp. HCM, ngày 01 tháng 01 năm 2018 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Nông Văn Tân Lớp: 13141DT2C MSSV: 13141299 Họ tên sinh viên 2: Trần Thị Mỹ Khiêm Lớp: 13141DT MSSV: 13141147 Tên đề tài: Ứng dụng xử lý ảnh vào việc phát hiện ngủ gật dùng Kit Raspberry Xác nhận Tuần/ngày Nội dung GVHD Tuần 1 Nhận đề tài Tuần 2 Tìm hiểu nội dung liên quan đề tài: - Xử lý ảnh - Raspberry - Các ngôn ngữ lập trình Tuần 3 → 5 Tìm hiểu và cài đặt hệ điều hành cho Raspberry Pi 3. Chạy các chương trình đơn giản kiểm tra kit Raspberry đã cài đặt thành công. Tuần 6 → 10 Tìm hiểu tài liệu về ngôn ngữ Python, OpenCV Tìm hiểu về các thuật toán nhận dạng Tuần 10 → 13 Xây dựng chương trình phát hiện và nhận dạng khuôn mặt. Tuần 14+15 Xây dựng chương trình phát hiện ngủ gật. Tuần 16 → 20 Viết báo cáo. Tuần 21 Chỉnh sửa và hoàn thành báo cáo. GV HƯỚNG DẪN (Ký và ghi rõ họ và tên) Th.s Nguyễn Duy Thảo LỜI CAM ĐOAN Đề tài này là do chúng tôi tự thực hiện dưới sự hướng dẫn của Th.s Nguyễn Duy Thảo và dựa vào một số tài liệu, đề tài trước đó và không sao chép từ tài liệu hay công trình đã có trước đó. Người thực hiện đề tài 1 Người thực hiện đề tài 2 Nông Văn Tân Trần Thị Mỹ Khiêm i LỜI CẢM ƠN Trong thời gian thực hiện luận văn nhóm sinh viên thực hiện đề tài đã được học hỏi nhiều kiến thức bổ ích trong giáo trình và thực tế từ thầy cô. Qua đây em xin gửi lời cảm ơn chân thành đến: Quý thầy cô trong khoa điện điện tử của trường Đại Học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh đã truyền đạt kiến thức, những kinh nghiệm quý báu trong chuyên môn cũng như trong các lĩnh vực khác. Sự tận tụy say mê, lòng nhân ái, nhiệt tình của thầy cô là động lực lớn giúp chúng em trau dồi thêm kiến thức giúp chúng em vượt qua khó khăn trong học tập cũng như trong cuộc sống. Chúng em xin gửi lời cảm ơn chân thành nhất đến thầy Nguyễn Duy Thảo đã giúp đỡ và hướng dẫn chúng em hoàn thành đồ án tốt nghiệp này. Đồng thời cũng cảm ơn đến tất cả các bạn bè đã gắn bó và giúp đỡ nhau trong học tập cũng như trong suốt quá trình thực hiện đồ án tốt nghiệp. Xin chân thành cảm ơn! Nhóm thực hiện đề tài Nông Văn Tân Trần Thị Mỹ Khiêm BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ii MỤC LỤC LỜI CAM ĐOAN ............................................................................................................ i LỜI CẢM ƠN ................................................................................................................. ii MỤC LỤC ...................................................................................................................... iii DANH MỤC HÌNH ....................................................................................................... vi DANH MỤC BẢNG ................................................................................................... viii TÓM TẮT ...................................................................................................................... ix Chương 1. TỔNG QUAN ......................................................................................... 2 1.1. ĐẶT VẤN ĐỀ ............................................................................................... 2 1.2. MỤC TIÊU ĐỀ TÀI ...................................................................................... 2 1.3. NỘI DUNG NGHIÊN CỨU ......................................................................... 3 1.4. GIỚI HẠN ..................................................................................................... 3 1.5. BỐ CỤC ........................................................................................................ 3 Chương 2. CƠ SỞ LÝ THUYẾT .............................................................................. 4 2.1. TỔNG QUAN VỀ XỬ LÝ ẢNH .................................................................. 4 2.1.1. Giới thiệu về xử lý ảnh [1] ...................................................................... 4 2.1.2. Các thành phần cơ bản của hệ thống ảnh ................................................ 6 2.1.3. Các vấn đề cơ bản trong xử lý ảnh .......................................................... 7 2.1.3.1. Ảnh và điểm ảnh ............................................................................... 7 2.1.3.2. Độ phân giải của ảnh ........................................................................ 7 2.1.3.3. Mức xám của ảnh .............................................................................. 8 2.1.3.4. Biến đổi ảnh ...................................................................................... 8 2.2. GIẢI THUẬT ADABOOST [5] .................................................................... 9 2.3. ĐẶC TRƯNG HAAR-LIKE [5] ................................................................. 11 2.4. GIẢI THUẬT FACIAL LANDMARKS .................................................... 15 2.4.1. Giới thiệu về Facial Landmarks [6] ...................................................... 15 2.4.2. Tìm hiểu về bộ phát hiện dấu mốc trên khuôn mặt của dlib [6] ........... 16 2.5. KHOẢNG CÁCH EUCLIDE [7] ............................................................... 17 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH iii 2.6. PYTHON ..................................................................................................... 18 2.6.1. Giới thiệu sơ lược về Python ................................................................. 18 2.6.2 Các đặc điểm của ngôn ngữ python. ..................................................... 19 2.6.3. Ứng dụng của Python ............................................................................ 22 2.7. THƯ VIỆN DLIB ........................................................................................ 23 Chương 3. TÍNH TOÁN VÀ THIẾT KẾ ............................................................... 25 3.1. TỔNG QUAN VỀ KIT RASPBERRY PI 3 ............................................... 26 3.1.1. Giới thiệu tổng quan .............................................................................. 26 3.1.2. Cấu tạo phần cứng của kit Raspberry Pi 3 ............................................ 27 3.1.3. Hệ điều hành của kit Raspberry Pi 3 ..................................................... 29 3.2. CÀI ĐẶT HỆ ĐIỀU HÀNH CHO KIT RASPBERRY PI 3........................ 30 3.2.1. Thiết bị cần dùng để cài đặt .................................................................. 30 3.2.2. Cài đặt hệ điều hành Raspbian .............................................................. 30 3.2.3. Điều khiển Raspberry Pi 3 từ xa bằng cách remote máy tính ............... 33 3.3. CÀI ĐẶT THƯ VIỆN CHO RASPBERRY PI 3 ......................................... 37 3.3.1. Cài đặt OpenCV .................................................................................... 37 3.3.2. Cài đặt thư viện dlib .............................................................................. 44 Chương 4. THI CÔNG HỆ THỐNG ...................................................................... 47 4.1. SƠ ĐỒ KHỐI HỆ THỐNG ......................................................................... 47 4.1.1. Ảnh từ camera ....................................................................................... 48 4.1.2. Tiền xử lý .............................................................................................. 48 4.1.3. Phát hiện khuôn mặt dùng HOG ........................................................... 48 4.1.4. Đánh dấu cấu trúc khuôn mặt dùng Facial Landmarks......................... 50 4.1.5. Trích xuất vùng mắt .............................................................................. 50 4.1.6. Tính toán tỷ lệ mắt ................................................................................ 50 4.1.7. Phát hiện ngủ gật ................................................................................... 52 4.1.8. Cảnh báo................................................................................................ 53 Chương 5. KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ ................................................. 55 5.1. Kết quả ........................................................................................................ 55 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH iv 5.2. Nhận xét ....................................................................................................... 57 Chương 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ............................................ 61 6.1. KẾT LUẬN ................................................................................................. 61 6.1.1. Ưu điểm ................................................................................................. 61 6.1.2. Nhược điểm ........................................................................................... 62 6.2. HƯỚNG PHÁT TRIỂN .............................................................................. 62 6.2.1. Hướng khắc phục .................................................................................. 62 6.2.2. Hướng phát triển ................................................................................... 63 TÀI LIỆU THAM KHẢO ............................................................................................. 64 PHỤ LỤC ...................................................................................................................... 65 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH v DANH MỤC HÌNH Hình Trang Hình 2.1: Các bước cơ bản trong xử lý ảnh ..................................................................... 4 Hình 2.2: Các thành phần cơ bản của hệ thống xử lý ảnh ............................................... 6 Hình 2.3: Độ phân giải của ảnh ........................................................................................ 7 Hình 2.4: Sự khác nhau giữa ảnh màu và ảnh xám .......................................................... 8 Hình 2.5: Ảnh trước khi cân bằng Histogram .................................................................. 9 Hình 2.11: Mô hình phân tầng các bộ phận loại yếu ....................................................... 10 Hình 2.12: Kết hợp các bộ phân loại yếu thành bộ phân loại mạnh. ............................... 11 Hình 2.13: Đặc trưng theo cạnh ....................................................................................... 11 Hình 2.14: Đặc trưng theo đường .................................................................................... 12 Hình 2.15: Đặc trưng theo xung quanh tâm ..................................................................... 12 Hình 2.16: Đặc trưng theo đường chéo ............................................................................ 12 Hình 2.17: Cách tính Integral Image của ảnh .................................................................. 13 Hình 2.18: Cách tính tổng giá trị pixel vùng cần tính ...................................................... 14 Hình 2.19: Hệ thống phát hiện khuôn mặt ....................................................................... 17 Hình 2.20: 68 tọa độ đánh dấu cấu trúc khuôn mặt từ tập dữ liệu iBUG 300-W ............ 23 Hình 3.1: Sơ đồ khối hệ thống ......................................................................................... 25 Hình 3.2: Bo mạch Raspberry Pi 3 .................................................................................. 26 Hình 3.3: Các cổng giao tiếp ngoại vi .............................................................................. 28 Hình 3.4: Sơ đồ chân của Raspberry Pi 3 ........................................................................ 29 Hình 3.5: Hệ điều hành Raspbian Stretch ........................................................................ 31 Hình 3.6: Phần mềm SD Card Formatter ......................................................................... 32 Hình 3.7: Phần mềm Win32 Disk Imager. ....................................................................... 33 Hình 3.8: Vào ổ đĩa Boot ................................................................................................. 33 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH vi Hình 3.9: Thêm địa chỉ IP của Raspberry vào file cmdline.text. ..................................... 34 Hình 3.10: Nhập địa chỉ ip của Raspberry Pi ................................................................... 34 Hình 3.11: Chuyển tiếp X11 ............................................................................................ 35 Hình 3.12: Cài đặt xrdp bằng lệnh ................................................................................... 36 Hình 3.13: Mở Remote Desktop và kết nối ..................................................................... 36 Hình 3.14: Nhập usename và password ........................................................................... 37 Hình 3.15: Giao diện của hệ điều hành Raspbian Stretch ................................................ 37 Hình 3.16: Môi trường ảo cv ............................................................................................ 41 Hình 3.17: Biên dịch OpenCV 3 trên Raspbian Stretch thành công ................................ 42 Hình 3.18: Xác nhận OpenCV 3 đã cài đặt thành công ................................................... 44 Hình 4.1: Sơ đồ khối hệ thống ......................................................................................... 47 Hình 4.2: Đánh dấu mắt 6 điểm ....................................................................................... 51 Hình 4.3: Hình ảnh của mốc đánh dấu mắt khi mắt mở, mắt nhắm và tỉ lệ..................... 52 Hình 4.4: Phát hiện ngủ gật .............................................................................................. 54 Hình 5.1: Phát hiện khuôn mặt ......................................................................................... 55 Hình 5.2: Đánh dấu 68 điểm của khuôn mặt dùng giải thuật Facial Landmarks ............. 55 Hình 5.3: Hình 5.2: Phát hiện trạng thái mắt ở nhiều trường hợp. .................................. 56 Hình 5.4: Phát hiện ngủ gật vào ban ngày không đeo kính ............................................. 56 Hình 5.5: Phát hiện ngủ gật vào ban ngày có đeo kính .................................................... 56 Hình 5.6: Phát hiện ngủ gật vào ban đêm không đeo kính .............................................. 57 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH vii DANH MỤC BẢNG Bảng 5.1 Kết quả nhận dạng trạng thái mắt với trường hợp góc thẳng .................... 58 Bảng 5.1 Kết quả nhận dạng trạng thái mắt với trường hợp góc nghiêng ................ 59 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH viii TÓM TẮT Ngày nay, cùng với sự phát triển và tiến bộ không ngừng của khoa học kỹ thuật thì xử lý ảnh là một trong những đề tài cần được quan tâm và phát triển. Từ những nghiên cứu ban đầu về ảnh trắng đen, ảnh xám, ảnh màu, xử lý ảnh đã được nghiên cứu chuyên sâu và ứng dụng rất nhiều trong cuộc sống. Bên cạnh đó, sự phổ biến của kit Raspberry Pi với kích thước nhỏ gọn, được xem như máy tính thu nhỏ nên có nhiều đề tài nghiên cứu và ứng dụng kit Raspberry Pi trong thực tiễn. Ứng dụng kit Raspberry Pi vào xử lý ảnh nhằm đưa ra một số giải pháp xử lý ảnh để áp dụng vào đời sống. Trong đồ án này, chúng tôi cố gắng tìm ra các thuật toán đáp ứng trong thời gian thực, những giải pháp tối ưu, đơn giản nhưng mang lại độ chính xác cao, đáp ứng được nhu cầu thực tế. Chúng tôi tiến hành mô phỏng những bài toán xử lý ảnh đơn giản, nhận dạng ảnh tĩnh và nhận dạng trực tiếp qua camera trên chương trình Python và phát triển nhận dạng theo dõi chính xác trạng thái mở hoặc đóng của mắt trong thời gian thực trên kit Raspberry Pi 3. Khuôn mặt được phát hiện bằng phương pháp: phương pháp sử dụng bộ phân loại mạnh AdaBoost dựa trên các đặc trưng Haar-like; mắt được nhận dạng bằng cách đánh dấu các bộ phận trên khuôn mặt bằng thuật toán Facial Landmarks, sau đó tính khoảng cách giữa hai mí mắt bằng khoảng cách Euclide để nhận diện trạng thái mắt và phát hiện trạng thái ngủ gật. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ix CHƯƠNG 1 TỔNG QUAN Chương 1. TỔNG QUAN 1.1. ĐẶT VẤN ĐỀ Cùng với sự phát triển ngày càng mạnh mẽ của khoa học kĩ thuật trong một vài thập kỷ gần đây. Xử lý ảnh tuy là một ngành khoa học còn tương đối mới mẻ so với nhiều ngành khoa học khác nhưng hiện nay nó đang là một trong những lĩnh vực phát triển rất nhanh và thu hút sự quan tâm đặc biệt từ các nhà khoa học, thúc đẩy các trung tâm nghiên cứu, ứng dụng về lĩnh vực hấp dẫn này. Xử lý ảnh đóng vai trò quan trọng trong nhiều ứng dụng thực tế về khoa học kĩ thuật cũng như trong cuộc sống thường ngày như: sản xuất và kiểm tra chất lượng, sự di chuyển của Robot, các phương tiện đi lại tự trị, công cụ hướng dẫn cho người mù, an ninh và giám sát, nhận dạng đối tượng, nhận dạng mặt, các ứng dụng trong y học, sản xuất, hiệu chỉnh video Thời gian gần đây, sự phổ biến và hiện quả sử dụng của kit Raspberry Pi vào các ứng dụng trong khoa học kỹ thuật đã thôi thúc nhóm nghiên cứu ứng dụng kit Raspberry Pi vào xử lý ảnh. Với đặc điểm như một máy tính thu nhỏ có kích thước xấp xỉ chiếc điện thoại cầm tay, chạy hệ điều hành mở, được trang bị bộ vi xử lý mạnh mẽ, mức tiêu thụ điện năng thấp, giá thành rẻ, cho phép ta có thể cấu hình cho kit Raspberry Pi như một máy tính xử lý các bài toán. Nhận thấy điều này, nhóm chúng em quyết định chọn đề tài “Ứng dụng kit Raspberry vào xử lý ảnh” nhằm đưa ra một số giải pháp xử lý ảnh để có thể áp dụng vào đời sống. 1.2. MỤC TIÊU ĐỀ TÀI Đề tài là bước đầu tìm hiểu những ứng dụng của xử lý ảnh trong thực tế, đồng thời cũng là bước triển khai những kiến thức đã được học. Thông qua việc nghiên cứu và làm việc nghiêm túc để rèn luyện tác phong, cũng như hoàn thiện phương pháp, tư duy nghiên cứu, giải quyết một vấn đề. Với những mục tiêu của đề tài hướng đến là:  Tìm hiểu những kiến thức về xử lý ảnh. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 2 CHƯƠNG 1 TỔNG QUAN  Tìm hiểu về kỹ thuật nhận dạng.  Tìm hiểu kit Raspberry Pi 3.  Xây dựng chương trình phát hiện ngủ gật trên kit Raspberry Pi 3. 1.3. NỘI DUNG NGHIÊN CỨU  NỘI DUNG 1: Tìm hiểu những kiến thức cơ bản về xử lý ảnh, kit Raspberry Pi 3, ngôn ngữ lập trình Python  NỘI DUNG 2: Tìm hiểu về các kỹ thuật, thuật toán nhận dạng.  NỘI DUNG 3: Cài đặt hệ điều hành, thư viện cần thiết cho kit Raspberry Pi 3.  NỘI DUNG 4: Viết chương trình phát hiện ngủ gật.  NỘI DUNG 5: Đánh giá kết quả thực hiện.  NỘI DUNG 6: Viết luận văn. 1.4. GIỚI HẠN Đặc tính của hệ thống xử lý ảnh thông thường bị ảnh hưởng bởi nhiều yếu tố. Trong điều kiện thực tế cho phép nhóm thực hiện đề tài trong một số điều kiện giới hạn sau:  Điều kiện thu nhận hình ảnh vào ban ngày và ban đêm khác nhau, cho nên nhóm chỉ tìm hiểu trong điều kiện ánh sáng ổn định đạt kết quả tốt hơn.  Đối với việc nhận dạng, thì khoảng cách từ camera đến đối tượng dưới 1.2 mét, trên khoảng cách này thì việc nhận dạng có thể không được chính xác.  Do hạn chế về thời gian do đó nhóm chỉ tập trung vào xử lý các bài toán xử lý ảnh đơn giản và một vài ứng dụng phổ biến trên kit Raspberry Pi. 1.5. BỐ CỤC Như vậy, với các yêu cầu về nhiệm vụ và mục tiêu đề ra, luận văn được xây dựng bao gồm các chương sau:  Chương 1: Tổng quan Chương này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nội dung nghiên cứu, các giới hạn đề tài và bố cục đồ án. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 3 CHƯƠNG 1 TỔNG QUAN  Chương 2: Cơ sở lý thuyết. Chương này trình bày giới thiệu tổng quan về tổng quan về xử lý ảnh, các thư viện sử dụng; tìm hiểu lý thuyết các thuật toán nhận dạng: giải thuật Adaboost, đặc trưng Haar-like, giải thuật Facial Landmarks, khoảng cách Euclide  Chương 3: Tính toán thiết kế. Chương này trình bày tổng quan về kit Raspberry Pi 3, cách cài đặt hệ điều hành và thư viện cho kit.  Chương 4: Thi công hệ thống Chương này trình bày về các chương trình và xây dụng bài toán phát hiện ngủ gật trên kit Raspberry Pi 3.  Chương 5: Kết quả, nhận xét và đánh giá Trình bày kết quả đạt được sau khi thực hiện, đánh giá, nhận xét những gì đã đạt và chưa đạt những gì so với mục tiêu đề ra.  Chương 6: Kết luận và hướng phát triển Đưa ra kết luận về việc thực hiện đồ án, đồng thời đưa ra hướng phát triển để có được một đề tài hoàn thiện và đáp ứng được nhu cầu cho cuộc sống hiện đại như ngày nay. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 4 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Chương 2. CƠ SỞ LÝ THUYẾT 2.1. TỔNG QUAN VỀ XỬ LÝ ẢNH 2.1.1. Giới thiệu về xử lý ảnh [1] Trong những năm gần đây, xử lý ảnh là một nghành khoa học mới mẻ nhưng tốc độ phát triển nhanh chóng và được nghiên cứu, phát triển bởi các trung tâm nghiên cứu, các trường đại học.v.v. Và với rất nhiều ứng dụng khác nhau. Các phương pháp xử lý ảnh bắt đầu từ những ứng dụng chính như: nâng cao chất lượng độ sáng và độ phân giải của ảnh, phân tích ảnh. Ứng dụng đầu tiên được biết đến đó chính là nâng cao chất lượng hình ảnh báo được truyền qua cáp từ Luân Đôn đến New York từ những năm 1920. Càng về sau, nhờ sự xuất hiện và phát hiện mạnh mẽ của máy tính đã tạo điều kiện cho các quá trình thực hiện các thuật toán xử lý ảnh được nâng cao và phát triển hơn. Các ứng dụng của xử lý ảnh càng được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau như: khôi phục hình ảnh, chỉnh sửa, điều chỉnh độ phân giải; trong lĩnh vực y tế; trong do thám, thám hiểm; truyền và mã hóa; thị giác máy tính, robot; xử lý màu; lĩnh vực nhận dạng.v.v. Các bước cần thiết trong xử lý ảnh. Trước đây, hình ảnh được thu từ camera là các ảnh tương tự. Gần đây, với sự phát triển không ngừng của công nghệ, ảnh màu hoặc ảnh đen trắng được lấy từ camera, sau đó được chuyển trực tiếp qua ảnh số để dễ dàng cho các bước xử lý tiếp theo. Dưới đây sẽ mô tả về các bước trong xử lý ảnh. Hình 2.1: Các bước cơ bản trong xử lý ảnh. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 4 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Thu nhận ảnh: Ảnh được nhận qua camera màu hoặc trắng đen. Thông thường ảnh được nhận qua camera, video, máy scan.v.v. Tiền xử lý: Sau bộ thu nhận ảnh, hình ảnh có thể có độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng hình ảnh. Bộ tiền xử lý có chức năng lọc nhiễu, nâng độ tương phản để làm cho ảnh rõ hơn và sắc nét hơn. Phân đoạn ảnh: Còn gọi là phân vùng ảnh. Là tách một ảnh đầu vào thành các vùng thành phần nhỏ hơn để biểu diễn phân tích và nhận dạng ảnh. Biểu diễn ảnh và mô tả ảnh: Ảnh đã được phân loại chứa nhiều điểm ảnh của vùng ảnh. Việc biến đổi các số liệu này thành dạng thích hợp cho việc xử lý tiếp theo của máy tính. Chúng ta phải tìm các vùng đặc trưng của ảnh, tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc để làm cơ sở cho sự phân biệt giữa lớp đối tượng này với lớp đối tượng khác trong phạm vi của ảnh mà chúng ta nhận được. Nhận dạng và nội suy ảnh: Nhận dạng ảnh là quá trình xác định ảnh. Bằng cách so sánh mẫu với mẫu chuẩn đã được lưu trữ từ trước. Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng. Các mô hình toán học về ảnh được phân loại với hai dạng cơ bản:  Nhận dạng theo tham số.  Nhận dạng theo cấu trúc. Cơ sở tri thức: Như đã biết, ảnh là một đối tượng phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh. Trong nhiều quá trình xử lý và phân tích ảnh. Ngoài việc đơn giản hóa các phương pháp toán học để đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo phương pháp trí tuệ con người. Cho nên, cơ sở tri thức được phát huy và được xử lý theo pháp trí tuệ con người ở nhiều khâu khác nhau. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 5 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT 2.1.2. Các thành phần cơ bản của hệ thống ảnh Hình 2.2: Các thành phần cơ bản của hệ thống xử lý ảnh. Bộ phận thu nhận ảnh: Máy quay (Camera), máy quét (scaners) chuyên dụng, các bộ cảm biến ảnh. Phần cứng xử lý ảnh chuyên dụng: Bộ số hóa (chuyển đổi ảnh truyền thống từ bên ngoài thành dạng dữ liệu số mà máy tính có thể hiểu được). Phần cứng thực hiện các thao tác cơ bản để nâng cao tốc độ xử lý ảnh. Máy tính: Thiết bị thông thường hoặc chuyên dụng. Bộ phận lưu trữ: Bắt buộc phải có. Lưu trữ tạm thời để phục vụ và sử dụng cho quá trình xử lý hiện tại. Lưu trữ vĩnh viễn là lưu trữ dữ diệu, truy cập không thường xuyên. Bộ phận hiện thị: Màn hình máy tính... In ấn: Ghi lại ảnh: máy in, máy chiếu... BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 6 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1.3. Các vấn đề cơ bản trong xử lý ảnh [1] 2.1.3.1. Ảnh và điểm ảnh Ảnh số là một tập hợp nhiều điểm ảnh, mỗi điểm ảnh được gọi là một pixel. Điểm ảnh là một phần tử của ảnh số tại tọa độ (x, y) biểu diễn một màu sắc nhất định (có thể là độ xám với ảnh đen trắng). Mỗi điểm ảnh được xem như là một chấm nhỏ li ti trong một tấm ảnh. Bằng phương pháp đo lường và thống kê một lượng lớn các điểm ảnh, chúng ta có thể tái cấu trúc các điểm ảnh này thành một ảnh mới gần giống với ảnh ban đầu. 2.1.3.2. Độ phân giải của ảnh Độ phân giải của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được hiện thị. Khoảng cách giữa các điểm ảnh sao cho mắt người vẫn thấy được sự liên tục của ảnh. Độ phân giải được phân bố theo trục x và y trong không gian hai chiều. Với cùng một ảnh, độ phân giải càng cao thì ảnh càng chứa nhiều thông tin và sắc nét hơn. Ví dụ như hình bên dưới. Hình 2.3: Độ phân giải của ảnh. Ở hình a có độ phân giải là 960x640 pixels, hình b có độ phân giải là 220x147 pixels. Cho thấy rằng, với độ phân giải càng cao thì độ sắc nét của ảnh càng cao và hình ảnh càng rõ nét. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 7 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1.3.3. Mức xám của ảnh Một điểm ảnh có hai đặc trưng cơ bản đó chính là vị trí (x, y) của điểm ảnh và độ xám của ảnh. Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số tại thời điểm đó. Hình 2.4: Sự khác nhau giữa ảnh màu và ảnh xám. Với hình a là ảnh màu và hình b là ảnh xám. 2.1.3.4. Biến đổi ảnh Trong xử lý ảnh do số điểm ảnh lớn hơn các tính toán nhiều (độ phức tạp tính toán cao) đòi hỏi dung lượng bộ nhớ lớn, thời gian tính toán lâu. Các phương pháp khoa học kinh điển áp dụng cho xử lý ảnh hầu như khó khả thi. Người ta sử dụng các phép toán tương đương hoặc biến đổi sang miền xử lý khác để dể tính toán, sau khi đã xử lý dể dàng, dùng biến đổi ngược để đưa về miền x