Đồ án Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thước

MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH --------------------------------- ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC GVHD: ThS. Ngô Bá Việt SVTH: Lê Văn Thái MSSV: 14141289 Tp. Hồ Chí Minh - 07/2019 TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ----o0o---- Tp. HCM, ngày 05 tháng 06 năm 2019 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Lê Văn Thái MSSV: 14141289 Chuyên ngành: Kỹ thuật Điện - Điện tử Mã ngành: 01 Hệ đào tạo: Đại học chính quy Mã hệ: 1 Khóa: 2014 Lớp: 14141DT1A I. TÊN ĐỀ TÀI: ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC II. NHIỆM VỤ 1. Các số liệu ban đầu: Các tài liệu về Python và thƣ viện OpenCV, Giáo trình Xử lý ảnh. Các ví dụ về nhận dạng hình học cơ bản. 2. Nội dung thực hiện: Tìm hiểu phƣơng pháp nhận dạng và phân loại sản phẩm. Tổng quan về xử lý ảnh. Tìm hiểu Camera 3D và các Module liên quan. Viết chƣơng trình trên Python. Hoàn thành mô hình. Đánh giá kết quả thực hiện. III. NGÀY GIAO NHIỆM VỤ: 26/03/2019 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 05/06/2019 V. HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN: ThS. Ngô Bá Việt CÁN BỘ HƢỚNG DẪN BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ----o0o---- Tp. HCM, ngày 05 tháng 06 năm 2019 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Lê Văn Thái Lớp: 14141DT1A - MSSV: 14141289 Tên đề tài: Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc Xác nhận Tuần/ngày Nội dung GVHD 16-20/3 Chọn đề tài 21-25/3 Viết đề cƣơng chi tiết 26/3-05/4 Tìm hiểu phƣơng pháp nhận dạng hình cơ bản 06/-09/4 Tìm hiểu thuật toán dán nhãn 10-17/4 Tìm hiểu camera 3D 18-21/4 Tìm hiểu thuật toán tính khoảng cách 22-28/4 Tìm hiểu thuật toán tính kích thƣớc 29/5-04/5 Tìm hiểu về python 05-06/5 Thực hiện viết code python trên window 07-08/5 Làm các hình khối (sản phẩm) và chạy thử 13-20/5 Hoàn thành mô hình 21-29/5 Viết báo cáo GV HƢỚNG DẪN ThS. Ngô Bá Việt LỜI CAM ĐOAN Đề tài này là tôi tự thực hiện dựa vào một số tài liệu trƣớc đó và không sao chép từ tài liệu hay công trình đã có trƣớc đó. Ngƣời thực hiện đề tài Lê Văn Thái LỜI CẢM ƠN Đầu tiên tôi xin đƣợc cám ơn chân thành tới Thầy Ngô Bá Việt, Thầy đã tận tình hƣớng dẫn tôi để có thể hoàn thành tốt đề tài. Tôi xin gửi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đã tạo những điều kiện tốt nhất cho tôi hoàn thành đề tài. Những kiến thức bổ ích mà các Thầy Cô dạy, nó đƣợc áp dụng vào đề tài Đồ Án Tốt Nghiệp rất nhiều, từ những kiến thức nhỏ nhặt cho tới những bài học lớn. Một lần nữa tôi xin đƣợc gửi lời cám ơn đến tất cả Thầy Cô, nếu không có Thầy Cô thì chắc giờ này tôi sẽ khó có thể hoàn thành đề tài này. Tiếp theo tôi cũng xin cảm ơn tới các Anh, Chị khóa trên cùng các bạn sinh viên đã tạo điều kiện giúp đỡ, từ những tài liệu liên quan tới đề tài cho tới những kinh nghiệm sống thực tế. Nhờ họ mà tôi mới có thể phát triển đƣợc. Tôi cũng gửi lời đồng cảm ơn đến các bạn lớp 14141DT1A đã chia sẻ trao đổi kiến thức cũng nhƣ những kinh nghiệm quý báu trong thời gian thực hiện đề tài, và cũng là lớp học có nhiều kí ức nhất thời sinh viên của tôi. Cuối cùng là gửi lời cảm ơn đến Cha, Mẹ nếu không có hai đấng sinh thành thì ngày hôm nay cũng không có ai hiện diện ở đây để thực hiện những việc mình muốn, họ đã tạo mọi điều kiện để giúp con của mình hƣớng tới một tƣơng lai tốt đẹp. Một lần cuối xin chân thành cảm ơn! Ngƣời thực hiện đề tài Lê Văn Thái MỤC LỤC Trang bìa .................................................................................................................... i Nhiệm vụ đồ án ......................................................................................................... ii Lịch trình ................................................................................................................ iii Cam đoan ................................................................................................................ iv Lời cảm ơn ................................................................................................................ v Mục lục .................................................................................................................... vi Liệt kê hình vẽ ......................................................................................................... ix Liệt kê bảng vẽ ......................................................................................................... xi Tóm tắt ................................................................................................................... xii CHƢƠNG 1: TỔNG QUAN ........................................................................................1 1.1 ĐẶT VẤN ĐỀ ................................................................................................1 1.2 MỤC TIÊU .....................................................................................................1 1.3 NỘI DUNG NGHIÊN CỨU ............................................................................1 1.4 GIỚI HẠN ......................................................................................................2 1.5 BỐ CỤC..........................................................................................................2 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT .............................................................................4 2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƢ VIỆN LIÊN QUAN ............4 2.1.1 Giới thiệu xử lý ảnh. .................................................................................4 2.1.2 Những vấn đề trong xử lý ảnh ...................................................................4 2.2 PHƢƠNG PHÁP PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG .............. 11 2.2.1 Các hình dạng cơ bản của sản phẩm........................................................ 11 2.2.2 Phƣơng pháp nhận dạng sản phẩm theo hình dạng .................................. 11 2.2.3 Các bƣớc thực hiện phân loại sản phẩm theo hình dạng .......................... 14 2.3 ÁP DỤNG KỸ THUẬT HIỆU CHỈNH STEREO CAMERA ĐỂ TÍNH KÍCH THƢỚC SẢN PHẨM ............................................................................................. 18 2.3.1 GIỚI THIỆU KỸ THUẬT HIỆU CHỈNH STEREO CAMERA ............. 18 2.3.2 STEREO CAMERA ............................................................................... 19 2.3.3 PHƢƠNG PHÁP HIỆU CHỈNH CHUẨN .............................................. 23 2.4 NGÔN NGỮ PYTHON ................................................................................ 25 2.5 GIỚI THIỆU PHẦN CỨNG ......................................................................... 28 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ ........................................................... 29 3.1 GIỚI THIỆU ................................................................................................. 29 3.2 THIẾT KẾ HỆ THỐNG PHẦN CỨNG ........................................................ 29 3.2.1 Khối xử lý............................................................................................... 30 3.2.2 Khối thu tín hiệu ..................................................................................... 30 3.2.3 Khối hiển thị ........................................................................................... 32 3.2.4 Khối giao tiếp và điều khiển ................................................................... 32 3.2.5 Khối nguồn ............................................................................................. 32 3.3 CÁC TÍNH TOÁN TRONG NHẬN DẠNG ................................................. 33 3.3.1 Giới thiệu đặc điểm của hình dạng .......................................................... 33 3.3.2 Phƣơng pháp tính toán các đặc điểm ....................................................... 33 CHƢƠNG 4: THI CÔNG HỆ THỐNG .................................................................. 36 4.1 GIỚI THIỆU ................................................................................................. 36 4.2 THI CÔNG HỆ THỐNG ............................................................................... 36 4.2.1 Các linh kiện và model cần thiết cho mô hình ......................................... 36 4.2.2 Kết nối, lắp ráp và kiểm tra mô hình ....................................................... 36 4.3 THI CÔNG MÔ HÌNH.................................................................................. 37 4.4 LẬP TRÌNH HỆ THỐNG ............................................................................. 38 4.4.1 Lƣu đồ giải thuật..................................................................................... 38 4.4.2 Lập trình với ngôn ngữ Python cùng thƣ viện OpenCV .......................... 44 4.5 MÔ PHỎNG ................................................................................................. 45 4.5.1 Lƣu đồ .................................................................................................... 45 4.5.2 Xử lý tín hiệu hay hình ảnh ..................................................................... 46 4.6 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC ............................ 48 4.6.1 Viết tài liệu hƣớng dẫn sử dụng .............................................................. 48 4.6.2 Quy trình thao tác ................................................................................... 50 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ ................................................. 52 5.1 CAMERA 3D................................................................................................ 52 5.2 XÁC ĐỊNH MÀU SẮC CỦA SẢN PHẨM................................................... 52 5.3 NHẬN DẠNG VÀ TÍNH KÍCH THƢỚC SẢN PHẨM ................................ 54 5.4 PHÂN LOẠI SẢN PHẨM ............................................................................ 58 CHƢƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ........................................ 60 6.1 KẾT LUẬN................................................................................................... 60 6.1.1 Kết quả đạt đƣợc ..................................................................................... 60 6.1.2 Những mặt hạn chế ................................................................................. 60 6.2 HƢỚNG PHÁT TRIỂN ................................................................................ 60 LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1: Lân cận 4 và lân cận 8...................................................................................6 Hình 2.2: Hình tách biên...............................................................................................8 Hình 2.3: Bộ lọc Gaussian ............................................................................................9 Hình 2.4: Đặc điểm hình chữ nhật .............................................................................. 12 Hình 2.5: Đặc điểm hình vuông .................................................................................. 13 Hình 2.6: Đặc điểm hình tam giác .............................................................................. 13 Hình 2.7: Sơ đồ các bƣớc thực hiện phân loại sản phẩm ............................................. 14 Hình 2.8: Xác định biên .............................................................................................. 16 Hình 2.9: Nhận dạng đƣờng biên ................................................................................ 17 Hình 2.10: Cấu hình chuẩn của hệ thống 2 camera ..................................................... 19 Hình 2.11: Hệ thống tọa độ của một stereo camera ..................................................... 19 Hình 2.12: Thuật toán SAD phân vùng ....................................................................... 22 Hình 2.13: Qui tắc tam giác đồng dạng ....................................................................... 23 Hình 2.14: Mô hình các thông số của camera ............................................................. 24 Hình 2.15: Sơ đồ khối của camera .............................................................................. 28 Hình 3.1: Sơ đồ khối................................................................................................... 30 Hình 3.2: Khối thu tín hiệu ......................................................................................... 31 Hình 3.3: Synchronization USB Stereo Webcam Dual lens camera OV9750 960P MJPEG 2560x960 with No distortion lens 3D usb camera module ............................. 31 Hình 3.4: Laptop ........................................................................................................ 32 Hình 3.5: Đỉnh của hình ............................................................................................. 33 Hình 3.6: Đoạn Ramer-Douglas-Peucker .................................................................... 34 Hình 3.7: Đƣờng xấp xỉ .............................................................................................. 34 Hình 3.8: Độ dài cạnh ................................................................................................. 34 Hình 4.1: Kết nối Camera ........................................................................................... 37 Hình 4.2: Các khối hộp (Hình dạng sản phẩm) ........................................................... 38 Hình 4.3: Lƣu đồ giải thuật chính ............................................................................... 39 Hình 4.4: Ma trận không gian màu BGR .................................................................... 40 Hình 4.5: Sơ đồ khối chƣơng trình con tách biên và lấp đầy biên................................ 41 Hình 4.6: Lƣu đồ con nhận dạng sản phẩm ................................................................. 43 Hình 4.7: Tìm kiếm Python ........................................................................................ 44 Hình 4.8: Tạo project mới........................................................................................... 45 Hình 4.9: Lƣu đồ mô phỏng........................................................................................ 45 Hình 4.10: Kiểm tra các bƣớc thực hiện...................................................................... 46 Hình 4.11: Ảnh xám ................................................................................................... 47 Hình 4.12: Tách biên .................................................................................................. 47 Hình 4.13: Lấp đầy biên ............................................................................................. 48 Hình 4.14: Kết quả nhận dạng phân loại sản phẩm. .................................................... 48 Hình 4.15: Kiểm tra thƣ viện ...................................................................................... 49 Hình 4.16: Kết quả sau khi bấm chạy chƣơng trình .................................................... 49 Hình 4.17: Quy trình vận hành ................................................................................... 50 Hình 5.1: Kết quả ảnh đầu vào từ camera ................................................................... 52 Hình 5.2: Kết quả nhận dạng màu sắc sản phẩm của camera....................................... 53 Hình 5.3: Nhận dạng và tính kích thƣớc sản phẩm hình chữ nhật................................ 54 Hình 5.4: Nhận dạng và tính kích thƣớc sản phẩm hình vuông ................................... 54 Hình 5.5: Nhận dạng và tính kích thƣớc sản phẩm hình tam giác ................................ 55 Hình 5.6: Camera chƣa thể nhận dạng cùng lúc nhiều sản phẩm ................................. 57 Hình 5.7: Phân loại theo kích sản phẩm hình chữ nhật ................................................ 58 Hình 5.8: Phân loại theo kích thƣớc sản phẩm hình tam giác ...................................... 58 Hình 5.9: Phân loại theo kích thƣớc sản phẩm hình tam giác ...................................... 59 LIỆT KÊ BẢNG Bảng Trang Bảng 2.1: Đặc điểm hình dạng sản phẩm .................................................................... 14 Bảng 4.1: Danh sách các model và linh kiện liên quan................................................ 36 Bảng 5.1: Thống kê kết quả nhận dạng màu sắc sản phẩm .......................................... 53 Bảng 5.2: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình vuông............. 55 Bảng 5.3: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình chữ nhật ......... 55 Bảng 5.4: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình tam giác ......... 57 TÓM TẮT Hiện nay, nền Công nghiệp đang hƣớng tới Công nghiệp 4.0, là sự kết hợp các Công nghệ lại với nhau, làm mờ ranh giới giữa Vật lý, Kỹ thuật số và Sinh học. Từ đó, các thiết bị điện tử thông minh đang ngày càng xuất hiện phổ biến. Không những nó giúp ích cho cá nhân hay gia đình, mà còn ứng dụng cả trong Chính trị, Y tế, Giáo dục...Điển hình là trong lĩnh sản xuất, vấn đề phân loại sản phẩm trong sản xuất là không thể thiếu ở khâu đóng gói. Chính vì vậy, nhóm đã chọn đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc” Đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thước” là phân loại sản phẩm theo hình dạng (hình tròn, hình vuông, hình chữ nhật, hình tam giác) và kích thƣớc dựa trên ngôn ngữ Python với thƣ viện chính là OpenCV. Ở đây sử dụng các đặc điểm riêng biệt của từng hình dạng để đi nhận dạng và sau đó phân loại từng sản phẩm. Kết quả thực hiện của đề tài đã nhận dạng đƣợc những sản phẩm có hình dạng (hình tròn, hình vuông, hình chữ nhật, hình tam giác) cùng với việc biết đƣợc kích thƣớc của từng sản phẩm. CHƢƠNG 1: TỔNG QUAN CHƢƠNG 1: TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ Cùng với sự phát triển ngày càng mạnh mẽ của khoa học kĩ thuật trong một vài thập kỷ gần đây, xử lý ảnh tuy là một ngành khoa học còn tƣơng đối mới mẻ so với nhiều ngành khoa học khác nhƣng hiện nay đang là một trong những lĩnh vực phát triển rất nhanh và thu hút sự quan tâm đặc biệt từ các nhà khoa học, thúc đẩy các trung tâm nghiên cứu, ứng dụng về lĩnh vực hấp dẫn này. Xử lý ảnh đóng vai trò quan trọng trong nhiều ứng dụng thực tế về khoa học kĩ thuật cũng nhƣ trong cuộc sống thƣờng ngày nhƣ: sản xuất và kiểm tra chất lƣợng, sự di chuyển của Robot, các phƣơng tiện đi lại tự trị, công cụ hƣớng dẫn cho ngƣời mù, an ninh và giám sát, nhận dạng đối tƣợng, nhận dạng mặt, các ứng dụng trong y học, sản xuất, hiệu chỉnh video. Camera 3D [1-2] hiện đang là loại camera có độ ứng dụng cao trong khoa học kỹ thuật vì camera này có khả năng ghi nhận chiều sâu đối tƣợng, tƣơng tự mắt con ngƣời. Dựa trên các nghiên cứu trƣớc đây nhƣ “Phân loại sản phẩm dùng Kit Raspberry” [3] là một ứng dụng sử dụng các thuật toán xử lý ảnh [4] trên nền tảng Python kết hợp với phần cứng là Raspberry [5] để phân loại sản phẩm dựa trên hình dạng. Đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc” đƣơc lựa chọn thực hiện để có thể phân loại theo hình dạng sản phẩm và phân loại theo kích thƣớc sản phẩm dựa trên các thông tin từ camera 3D. 1.2 MỤC TIÊU - Tìm hiểu về camera 3D và ngôn ngữ lập trình python với thƣ viện OpenCV. - Phân loại sản phẩm theo hình dạng và kích thƣớc. 1.3 NỘI DUNG NGHIÊN CỨU Để tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc” Có những nội dung sau: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 1 CHƢƠNG 1: TỔNG QUAN  NỘI DUNG 1: Tìm hiểu phƣơng pháp nhận dạng và phân loại sản phẩm theo hình dạng và kích thƣớc.  NỘI DUNG 2: Tổng quan về xử lý ảnh.  NỘI DUNG 3: Tìm hiểu camera 3D và các module liên quan.  NỘI DUNG 4: Viết chƣơng trình trên python.  NỘI DUNG 5: Hoàn thành mô hình.  NỘI DUNG 6: Đánh giá kết quả thực hiện 1.4 GIỚI HẠN Với đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc” thì các giới hạn bao gồm: - Thiết kế mô hình sử dụng camera 3D để phân loại sản phẩm theo hình dạng, kích thƣớc. - Sử dụng ngôn ngữ lập trình python. - Mô hình hoạt động trong điều kiện lý tƣởng, đủ độ sáng. 1.5 BỐ CỤC  Chƣơng 1: Tổng quan Chƣơng này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nôi dung nghiên cứu, các giới hạn thông số và bố cục đồ án.  Chƣơng 2: Cơ sở lý thuyết Chƣơng này sẽ trình bày cơ bản về xử lý ảnh, phƣơng pháp cơ bản để nhận dạng và phân loại ảnh, tính kích thƣớc sản phẩm, giới thiệu cơ bản về camera 3D và thƣ viện liên quan.  Chƣơng 3: Thiết kế và tính toán Chƣơng này sẽ đi tìm hiểu kỹ các thuật toán nhận dạng sản phẩm theo hình dạng, thuật toán tính kích thƣớc và thiết kế mô hình sản phẩm.  Chƣơng 4: Thi công hệ thống BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 2 CHƢƠNG 1: TỔNG QUAN Nội dụng chƣơng này là quá trình thi công cùng với việc chạy chƣơng trình về phân loại sản phẩm cũng nhƣ tính kích thƣớc sản phẩm.  Chƣơng 4: Kết quả nhận xét và đánh giá Nội dụng chƣơng này là tổng hợp các kết quả đạt đƣợc sau khi thi công mô hình và kết quả đạt đƣợc khi phân loại sản phẩm.  Chƣơng 5: Kết luận và hƣớng phát triển Kết quả nhận đƣợc khi hoàn thiện đề tài, đƣa ra các hƣớng phát triển hoàn thiện. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 3 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT CHƢƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƢ VIỆN LIÊN QUAN 2.1.1 Giới thiệu xử lý ảnh Xử lý ảnh không còn là đề tài quá mới, nó đƣợc áp dụng từ trong các hoạt động thƣờng ngày cho đến việc nâng cao sản xuất. Nó giúp ích cho cá nhân hay gia đình, mà còn ứng dụng cả trong Chính trị, Y tế, Giáo dục Xử lý tín hiệu là một môn học trong kỹ thuật điện tử, viễn thông và trong toán học. Liên quan đến nghiên cứu và xử lý tín hiệu kỹ thuật số và analog, giải quyết các vấn đề về lƣu trữ, các thành phần bộ lọc, các hoạt động khác trên tín hiệu. Các tín hiệu này bao gồm truyền dẫn tín hiệu, âm thanh hoặc giọng nói, hình ảnh, và các tín hiệu khác Trong số các phƣơng pháp xử lý tín hiệu kể trên, lĩnh vực giải quyết với các loại tín hiệu mà đầu vào là một hình ảnh và đầu ra cũng là một hình ảnh, sản phẩm đầu ra đƣợc thực hiện trong một quá trình xử lý. Đó chính là quá trình xử lý ảnh. Nó có thể đƣợc chia thành xử lý hình ảnh tƣơng tự và xử lý hình ảnh kỹ thuật số. Để có 1 bức ảnh số ta có quá trình thực hiện nhƣ sau: Chụp ảnh từ một máy ảnh là một quá trình vật lý. Ánh sáng mặt trời sử dụng nhƣ một nguồn năng lƣợng. Một dãy cảm biến đƣợc sử dụng cho việc thu lại của hình ảnh. Vì vậy, khi ánh sáng mặt trời rơi trên ngƣời đối tƣợng, sau đó số lƣợng ánh sáng phản xạ của đối tƣợng đƣợc cảm nhận từ các cảm biến, và một tín hiệu điện áp liên tục đƣợc tạo ra bởi số lƣợng dữ liệu cảm biến đó. Để tạo ra một hình ảnh kỹ thuật số, chúng ta cần phải chuyển đổi dữ liệu này thành một dạng kỹ thuật số. Điều này liên quan đến việc lấy mẫu và lƣợng tử hóa. Kết quả của việc lấy mẫu và lƣợng tử hóa sau một quá trình xử lý là một hình ảnh kỹ thuật số. 2.1.2 Những vấn đề trong xử lý ảnh Điểm ảnh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 4 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Là đơn vị cơ bản nhất để tạo nên một bức ảnh kỹ thuật số, địa chỉ của điểm ảnh đƣợc xem nhƣ là một tọa độ (x,y) nào đó. Một bức ảnh kỹ thuật số - có thể đƣợc tạo ra bằng cách chụp hoặc bằng một phƣơng pháp đồ họa nào khác - đƣợc tạo nên từ hàng ngàn hoặc hàng triệu pixel riêng lẻ. Bức ảnh càng chứa nhiều pixel thì càng chi tiết. Một triệu pixel thì tƣơng đƣơng với 1 megapixel. Ảnh số Ảnh số là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật. Số điểm ảnh xác định độ phân giải của ảnh. Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét các đặt điểm của tấm hình càng làm cho tấm ảnh trở nên thực và sắc nét hơn. Một hình ảnh là một tín hiệu hai chiều. Nó đƣợc xác định bởi hàm toán học f(x, y) trong đó x và y là hai tọa độ theo chiều ngang và chiều dọc. Các giá trị của f(x, y) tại bất kỳ điểm nào là cung cấp các giá trị điểm ảnh (pixel ) tại điểm đó của một hình ảnh. Phân loại ảnh Mức xám của điểm ảnh là cƣờng độ sáng, gán bằng một giá trị tại điểm đó. Các mức ảnh xám thông thƣờng: 16, 32, 64, 128, 256. Mức đƣợc sử dụng thông dụng nhất là 256, tức là dùng 1byte để biểu diễn mức xám. Ảnh nhị phân: Là ảnh có 2 mức trắng và đen. Chỉ có 2 giá trị 0 và 1 và chỉ sử dụng 1 bit dữ liệu trên 1 điểm ảnh. Ảnh đen trắng: Là ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám ở các điểm ảnh có thể khác nhau. Ảnh màu: Là ảnh kết hợp của 3 màu cơ bản lại với nhau để tạo ra một thế giới màu sinh động. Ngƣời ta thƣờng dùng 3byte để mô tả mức màu, tức là có khoảng 16,7 triệu mức màu. Quan hệ giữa các điểm ảnh Lân cận điểm ảnh: đƣợc nói một cách hài hƣớc nhƣ là hàng xóm của các điểm ảnh. Có 2 loại lân cận cơ bản là lân cận 4 và lân cận 8. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 5 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Điểm Điểm Điểm xét xét xét Lân cận 4 hàng cột Lân cận 4 chéo Lân cận 8 Hình 2.1: Lân cận 4 và lân cận 8 Bốn điểm ảnh lân cận 4 theo cột và hàng với tọa độ lần lƣợt là (x+1, y), (x-1, y), (x,y+1), (x, y-1) ký hiệu là tập N4(p). Bốn điểm ảnh lân cận 4 theo đƣờng chéo có tọa độ lần lƣợt là (x+1, y+1), (x+1, y+1), (x-1, y+1), (x-1, y-1) ký hiệu là tập ND(p). Tập 8 điểm ảnh lân cận 8 là hợp của 2 tập trên: N8(p) = N4(p) + ND(p). Liên kết ảnh [3][4]: Các mối liên kết của ảnh đƣợc xem nhƣ là mối liên kiết của 2 điểm ảnh gần nhau, có 3 loại liên kết: liên kết 4, liên kết 8, lên kết m(liên kết hỗn hợp). Trong ảnh đa mức xám, ta có thể đặt V chứa nhiều giá trị nhƣ V={tập con}. Cho p có tọa độ (x, y). Liên kết 4: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là liên kết 4 của nhau nếu q thuộc về tập N4(p). Liên kết 8: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là liên kết 8 của nhau nếu q thuộc về tập N8(p). Liên kết m: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là Liên kết M của nhau nếu thõa 1 trong 2 điều kiện sau: q thuộc về tập N4(p). q thuộc về tập ND(p) và giao của hai tập N4(p), N4(q) không chứa điểm ảnh nào có giá trị thuộc V. Lọc nhiễu Ảnh thu nhận đƣợc thƣờng sẽ bị nhiễu nên cần phải loại bỏ nhiễu. Các toán tử không gian dùng trong kỹ thuật tăng cƣờng ảnh đƣợc phân nhóm theo công dụng: làm trơn nhiễu, nổi biên. Để làm trơn nhiễu hay tách nhiễu [3-4], ngƣời ta sử dụng các bộ lọc tuyến tính (lọc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 6 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT trung bình, thông thấp) hoặc lọc phi tuyến (trung vị, giả trung vị, lọc đồng hình). Từ bản chất của nhiễu (thƣờng tƣơng ứng với tần số cao) và từ cơ sở lý thuyết lọc là: bộ lọc chỉ cho tín hiệu có tần số nào đó thông qua, để lọc nhiễu ngƣời ta thƣờng dùng lọc thông thấp (theo quan điểm tần số không gian) hay lấy tổ hợp tuyến tính để san bằng (lọc trung bình). Để làm nổi cạnh (ứng với tần số cao), ngƣời ta dùng các bộ lọc thông cao, lọc Laplace. Phƣơng pháp lọc nhiễu. Chia làm 2 loại: lọc tuyến tính, lọc phi tuyến. Làm trơn nhiễu bằng lọc tuyến tính Khi chụp ảnh có thể xuất hiện nhiều loại nhiễu vào quá trình xử lý ảnh, nên ta cần phải lọc nhiễu [4]. Gồm các phƣơng pháp cơ bản lọc trung bình, lọc thông thấp Lọc trung bình: Với lọc trung bình, mỗi điểm ảnh đƣợc thay thế bằng trung bình trọng số của các điểm lân cận. Lọc trung bình có trọng số chính là thực hiện chập ảnh đầu vào với nhân chập H. Nhân chập H có dạng: 1 1 1 1 H  1 1 1 (2.1) 9   1 1 1 Lọc thông thấp: Lọc thông thấp thƣờng đƣợc sử dụng để làm trơn nhiễu. Về nguyên lý của bộ lọc thông thấp giống nhƣ đã trình bày trên. 0 1 0 1 H  1 2 1 (2.2) 8   0 1 0 Làm trơn nhiễu bằng lọc phi tuyến Các bộ lọc phi tuyến cũng hay đƣợc dùng trong kỹ thuật tăng cƣờng ảnh. Một số phƣơng pháp lọc cơ bản bộ lọc trung vị, lọc ngoài Với lọc trung vị, điểm ảnh đầu vào sẽ đƣợc thay thế bởi trung vị các điểm ảnh còn lọc giả trung vị sẽ dùng trung bình cộng của hai giá trị “trung vị” (trung bình cộng của max và min). Lọc trung vị: Kỹ thuật này đòi hỏi giá trị các điểm ảnh trong cửa sổ phải xếp theo thứ tự tăng hay giảm dần so với giá trị trung vị. Kích thƣớc cửa số thƣờng đƣợc chọn sao cho số điểm ảnh trong cửa sổ là lẻ. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 7 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Phƣơng pháp phát hiện biên Biên là một trong những vấn đền ta cần quan tâm trong xử lý ảnh. Vì ở giai đoạn phân đoạn ảnh chủ yếu dựa vào biên [4]. Hình 2.2: Hình tách biên Điểm biên: Một điểm ảnh đƣợc coi là điểm biên nếu có sự thay đổi nhanh hoặc đột ngột về mức xám. Ví dụ trong ảnh nhị phân, điểm đen gọi là điểm biên nếu lân cận nó có ít nhất một điểm trắng. Đƣờng biên: tập hợp các điểm biên liên tiếp tạo thành một đƣờng biên. Ý nghĩa của đƣờng biên trong xử lý: ý nghĩa đầu tiên của đƣờng biên là một loại đặc trƣng cục bộ tiêu biểu trong phân tích, nhận dạng ảnh. Thứ hai, ngƣời ta sử dụng biên làm phân cách các vùng xám cách biệt. Ngƣợc lại, ngƣời ta cũng sử dụng các vùng ảnh để tìm đƣờng phân cách. Tầm quan trọng của biên: để thấy rõ ...h.  Thực hiện nhận dạng đặc điểm của hình dạng trong ảnh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 27 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT  Phát hiện các đối tƣợng xác định đƣợc xác định trƣớc nhƣ khuôn mặt, mắt, xe trong video hoặc hình ảnh.  Phân tích video, ... ƣớc lƣợng chuyển động của nó, trừ nền ra và theo dõi các đối tƣợng trong video. 2.5 GIỚI THIỆU PHẦN CỨNG Sử dụng Synchronization USB Stereo Webcam Dual lens camera OV9750 960P MJPEG 2560x960 with No distortion lens 3D USB camera module với cảm biến OV9750 thế hệ mới của OmniVision. Cảm biến sử dụng công nghệ mới nhất OmniPixel3-HS™ Hình 2.15: Sơ đồ khối của camera Ảnh đầu vào là mảng hai chiều. Sau đó qua bộ khuếch đại tín hiệu và chuyển đổi từ tín hiệu tƣơng tự sang tín hiệu số. Tiếp tục đến quá trình xử lý ảnh số. Kết quả cuối cùng là ảnh số 8-bit RGB (Red – Green – Blue) có 4096 mức màu khác nhau. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 28 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ 3.1 GIỚI THIỆU Ngày nay, phần lớn các thiết bị điện tử đều phát triển theo xu hƣớng tự động hóa, thông minh, càng hiểu ý con ngƣời, chúng giao tiếp đƣợc với con ngƣời và hoạt động theo ý muốn con ngƣời, để làm đƣợc điều đó thì các thiết bị cảm biến, thuật toán hỗ trợ ra đời. Trong số đó có bài toán “phân loại sản phẩm theo hình dạng và kích thƣớc” là một đề tài đáng để cho ta tìm hiểu. Để tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc”. Phân loại sản phẩm theo hình dạng (hình vuông, hình chữ nhật, hình tam giác), có thể biết đƣợc kích thƣớc của sản phẩm. Mô hình gồm bộ điều khiển trung tâm là laptop, khối thu tín hiệu hình ảnh từ bên ngoài là camera 3D. Thiết kế mô hình phân loại sản phẩm theo hình dạng (hình vuông, hình chữ nhật, hình tam giác) và kích thƣớc có thời gian và tốc độ xử lý nhanh, tuy nhiên không chụp ảnh theo mong muốn ở điều kiện thiếu ánh sáng mà phải có màu sắc riêng biệt để tăng cƣờng độ chính xác của ảnh tránh nhiễu. Đề tải chỉ xây dựng với mô hình nhỏ và gọn không làm thành dây chuyền sản xuất. 3.2 THIẾT KẾ HỆ THỐNG PHẦN CỨNG Sơ đồ gồm : bộ điều khiển trung tâm là laptop, khối thu tín hiệu hình ảnh từ bên ngoài là stereo camera, sau đó đƣợc hiển thị kết quả trên màn hình máy tính, cùng với bộ phận để ngƣời giao tiếp và điều khiển. Chức năng các khối:  Khối xử lý trung tâm: là bộ xử lý chính, nhận dữ liệu từ khối thu tín hiệu camera, sau đó xử lý và phân tích nhận dạng, phân loại sản phẩm để đƣa kết quả ra hiển thị.  Khối thu tin hiệu hình ảnh: thu thập tín hiệu hình ảnh từ thực tế chuyển về tín hiệu điện và gửi dữ liệu cho khối xử lý trung tâm. Ở đây dùng stereo camera làm khối thu tín hiệu hình ảnh. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 29 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ  Khối hiển thị: hiển thị kết quả đƣợc nhận từ khối xử lý trung tâm. Sử dụng màn hình của máy tính để hiển thị kết quả.  Khối giao tiếp và điều khiển: sử dụng bàn phím và chuột để giao tiếp với CPU.  Khối nguồn: cung cấp nguồn cho toàn bộ hệ thống. Khối thu tín hiệu hình ảnh Gửi hình ảnh về trung tâm Khối giao Tín hiệu Khối xử lý Đưa kết quả Khối hiển tiếp và điều trung tâm thị khiển điều khiển hiển thị Cung cấp điện áp Khối nguồn Hình 3.1: Sơ đồ khối 3.2.1 Khối xử lý Vì vấn đề xử lý ảnh cần nhiều tài nguyên và tốc độ xử lý cao, nên ta không sử dụng vi điều khiển thông thƣờng để xử lý. Chính vì vậy, nhóm đã sử dụng laptop làm khối xử lý trung tâm. Máy tính của nhóm có CPU core i5 tộc độ xử lý lên tới 3.4 GHz chính vì vậy việc sử dụng vào mô hình là hợp lý. Máy tính hỗ trợ rất tốt việc giao tiếp các thiết bị ngoại vi và model từ bên ngoài. 3.2.2 Khối thu tín hiệu BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 30 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ Khối thu tín hiệu là thành phần quan trọng của mô hình. Có chức năng thu thập dữ liệu từ thực tế rồi gửi dữ liệu cho khối xử lý trung tâm. Hình 3.2: Khối thu tín hiệu Ở đây để có chất lƣợng hình ảnh tốt để xử lý ảnh dễ dàng ta dùng camera có độ phân giải cao, có khả năng ghi nhận chiều sâu đối tƣợng, tƣơng tự mắt con ngƣời nên chọn stereo camera làm khối thu tín hiệu hình ảnh. Là thiết bị có ảnh hƣởng lớn đến chất lƣợng ảnh cùng với việc nhận dạng và phân loại sản phẩm. Nên “Synchronization USB Stereo Webcam Dual lens camera OV9750 960P MJPEG 2560X960 with No distortion lens 3D usb camera module” đƣợc chọn. Camera có độ phân giải cao, cùng với kích thƣớc nhỏ gọn phù hợp cho các hƣớng phát triển sau này. Hình 3.3: Synchronization USB Stereo Webcam Dual lens camera OV9750 960P MJPEG 2560x960 with No distortion lens 3D usb camera module Các tính năng và đặc điểm của camera:  Module Camera USB2.0 1.3MP HD 960P đƣợc đồng bộ hóa.  Công nghệ đồng bộ hóa, phù hợp với ứng dụng Stereo 3D VR. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 31 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ  Giao diện USB 2.0 tốc độ cao.  Tốc độ khung hình cao, có thể nhận MJPEG: 2560X960 @ 60fps / 2560X720 @ 60fps / 1280X480 @ 60fps / 640X240 @ 60fps.  Tiêu thụ điện năng thấp.  Sử dụng trong HĐH Windows, Linux, Android, Mac 3.2.3 Khối hiển thị Có chức năng hiển thị kết quả đƣợc nhận từ Khối xử lý trung tâm. Sử dụng màn hình máy tính để hiển thị kết quả. Hình 3.4: Laptop 3.2.4 Khối giao tiếp và điều khiển  Bàn phím Về hình dáng, bàn phím là sự sắp đặt các nút, hay phím. Một bàn phím thông thƣờng có các ký tự đƣợc khắc hoặc in trên phím; với đa số bàn phím, mỗi lần nhấn một phím tƣơng ứng với một ký hiệu đƣợc tạo ra.  Chuột máy tính Chuột máy tính là một thiết bị ngoại vi của máy tính dùng để điều khiển và làm việc với máy tính. Để sử dụng chuột máy tính nhất thiết phải sử dụng màn hình máy tính để quan sát toạ độ và thao tác di chuyển của chuột trên màn hình. 3.2.5 Khối nguồn Có chức năng cung cấp điện áp cho toàn hệ thống. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 32 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ Module camera với dòng tiêu thụ 220mA và điện áp 5V có thể sử dụng cổng USB 2.0 của máy tính. Do sử dụng máy tính xách tay nên các thiết bị ngoại vi không đƣợc tính. 3.3 CÁC TÍNH TOÁN TRONG NHẬN DẠNG 3.3.1 Giới thiệu đặc điểm của hình dạng Nhƣ đã tìm hiểu phƣơng pháp nhận dạng ở cơ sở lý thuyết, từ đó rút ra rằng:  Đỉnh cùa hình dạng Đầu tiên ta tìm số đỉnh của các hình. Có 3 hình dạng có đặc điểm liên quan tới đỉnh là hình chữ nhật, hình vuông và hình tam giác. Đặc điểm: - Có 4 đỉnh là hình vuông hoặc hình chữ nhật. - Có 3 đỉnh là hình tam giác.  Cạnh của hình dạng Vấn đề về cạnh chỉ có 2 hình là liên quan tới chúng là: hình chữ nhật và hình vuông. Đặc điểm: - Hai cạnh kề bằng nhau là hình vuông. - Hai cạnh kề không bằng nhau là hình chữ nhật. 3.3.2 Phƣơng pháp tính toán các đặc điểm  Cách tìm đỉnh Hình 3.5: Đỉnh của hình Sử dụng thuật toán Ramer-Douglas-Peucker để tìm đƣờng bao xấp xỉ, từ đƣờng bao ta có cạnh xấp xỉ và nhờ đó suy ra đƣợc đỉnh. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 33 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ Hình 3.6: Đoạn Ramer-Douglas-Peucker Giả xử trên đƣờng viền của cạnh một đối tƣợng có các điểm lồi ra và lõm vào, chính vì thế ta cần phải đi tìm đƣờng xấp xỉ cho nó. Ở đây, sử dụng thuật toán Ramer-Douglas-Peucker, tức là tìm đƣờng đi ngắn nhất từ điểm đầu đến điểm cuối. Hình trên ta thấy đƣờng ngắn nhất đi từ A đến E chính là đoạn AE. Tƣơng tự nhƣ thế ta áp dụng lên hình dạng sản phẩm ta tìm đƣợc cạnh xấp xỉ là AH. Hình 3.7: Đƣờng xấp xỉ Từ đó ta có đƣờng bao xấp xỉ cho hình chữ nhật. Đỉnh ở đây là điểm đầu và điểm cuối trên một đoạn thẳng. Ví dụ trên cạnh AB thì đỉnh của nó là A và B. Giả xử nó có tọa độ A(m,n) và B(x,y). Tƣơng tự làm với các cạnh còn lại, nếu có các đỉnh giống nhau về tọa độ thì ở đây nó là 1 đỉnh.  Cách tìm độ dài cạnh Hình 3.8: Độ dài cạnh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 34 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ Giả sử ta có tọa độ của 2 đỉnh tìm đƣợc ở bƣớc tìm đỉnh là A(m,n) và B(x,y) Ta tìm cạnh với công thức: AB  x  m2  y  n2  (3.1) Tƣơng tự cạnh BC ta cũng tìm tƣơng tự Nếu AB = BC thì đó là hình vuông AB khác BC thì đó là hình chữ nhật  Xác định kích thƣớc của đối tƣợng Từ các phƣơng pháp tìm đỉnh và độ dài các cạnh ở phía trên ta có thể tính toán đƣợc chu vi của từng sản phẩm dựa vào hình dạng và độ dài các cạnh của chúng. Ta tìm chu vi của chúng bằng cách xem chúng nhƣ một loại hình học cơ bản: Hình chữ nhật Chu vi bằng tổng hai cạnh kề nhân với 2: P = (C + D) x 2 (3.2) (với P là chu vi, C,D là 2 cạnh kề nhau) Hình vuông Chu vi bằng độ dài một cạnh nhân với 4: P = D x 4 (3.3) (với P là chu vi, D là độ dài cạnh) Hình tam giác Chu vi bằng tổng độ dài 3 cạnh P = A + B + C (3.4) (với P là chu vi; A, B, C lần lƣợt là độ dài 3 cạnh) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 35 CHƢƠNG 4: THI CÔNG HỆ THỐNG CHƢƠNG 4: THI CÔNG HỆ THỐNG 4.1 GIỚI THIỆU Ở phần này thực thi trên laptop quá trình lấy các hình mẫu có sẵn sau đó xử lý phân tích và nhận dạng sản phẩm. Đề tải chỉ xây dựng với mô hình nhỏ và gọn không làm thành dây chuyền sản xuất. Mô hình đƣợc kết nối qua các dây tín hiệu nên sẽ không có phần thiết kế và thi công bo mạch 4.2 THI CÔNG HỆ THỐNG 4.2.1 Các linh kiện và model cần thiết cho mô hình Vì mô hình có linh kiện và model do nhà sản xuất sẵn nên sẽ không có sơ đồ mạch in, nên có sơ đồ kết nối của mô hình. Bảng 4.1: Danh sách các model và linh kiện liên quan. STT Tên Giá trị Chú thích 1 Laptop corei5 Tốc độ 3.4GHz Có vỏ bảo vệ 2 Stereo Camera Độ phân giải và Có dây kết nối với cổng khung hình: USB 2560X960 @ 60fps 3 Led 1W Màu trắng 4 Pin tiểu 3V Có vỏ bảo vể 4.2.2 Kết nối, lắp ráp và kiểm tra mô hình Mô hình gồm bộ điều khiển trung tâm là bộ vi xử lý (CPU) của chiếc laptop, khối thu tín hiệu hình ảnh từ bên ngoài là Camera 3D đƣợc kết nối vào cổng usb của BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 36 CHƢƠNG 4: THI CÔNG HỆ THỐNG laptop, sau đó kết quả hiển thị trên mà hình laptop, cùng với bộ phận để ngƣời giao tiếp và điều khiển là chuột máy tính. Kết nối Camera với Laptop Camera đƣợc kết nối với cổng USB của laptop. Sau khi kết nối thì xem cổng USB laptop đã nhận tín hiệu của camera chƣa, sau đó ta chọn mở IDLE và chạy chƣơng trình kiểm tra đầu vào của camera xem kết quả xem có xuất đầu vào của camera hay không. Để chiếu sáng cho mô hình ta nối trực tiếp đèn led 1w, điện áp 3-3,7V màu trắng với pin tiểu 3V . Hình 4.1: Kết nối Camera 4.3 THI CÔNG MÔ HÌNH Mô hình các khối hình hộp đƣợc gấp từ những tấm bìa cứng thành những hình hộp chữ nhật, hình vuông, hình tam giác và đƣợc dán ở bên ngoài bằng những lớp giấy màu (đỏ) để dễ dàng hơn trong việc nhận dạng, tránh việc nhiễu màu. Mô hình phải đƣợc thực hiện trong điều kiện có ánh sang đầy đủ để tránh những sai số, giúp cho ảnh có chất lƣợng tốt hơn cũng nhƣ tang cƣờng quá trình nhận dạng ổn định hơn và nhanh hơn. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 37 CHƢƠNG 4: THI CÔNG HỆ THỐNG Hình 4.2: Các khối hộp (Hình dạng sản phẩm) 4.4 LẬP TRÌNH HỆ THỐNG 4.4.1 Lƣu đồ giải thuật BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 38 CHƢƠNG 4: THI CÔNG HỆ THỐNG Hình 4.3: Lƣu đồ giải thuật chính BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 39 CHƢƠNG 4: THI CÔNG HỆ THỐNG Lƣu đồ giải thuật chính gồm: Thu thập ảnh RGB từ camera 3D, tiền xử lý ảnh, nhận dạng màu sắc, tách biên, xác định các thông số 3D của môi trƣờng và giai đoạn quan trọng nhất là nhận dạng và tính kích thƣớc sản phẩm, cuối cùng là xuất kết quả. Trong đó: Thu thập ảnh RGB từ camera 3D Khi có một đối tƣợng di chuyển qua camera, đối tƣợng sẽ đƣợc chụp lại dƣới dạng ảnh RGB với khung và độ phân giải là 720x640, 30fps. RGB là từ viết tắt tiếng Anh của cơ chế hệ màu cộng, thƣờng đƣợc sử dụng để hiển thị màu trên các màn hình TV, monitor máy tính và những thiết bị điện tử khác (chẳng hạn nhƣ camera kỹ thuật số). Với ba màu cơ bản gồm: đỏ, xanh lá và xanh dƣơng. OpenCV xử lý ảnh và video ở định dạng 8 bit, số nguyên không dấu, định dạng BGR. Nói cách khác, hình ảnh đƣợc chụp có thể đƣợc coi là 3 ma trận: xanh dƣơng, xanh lá và đỏ (BGR) với các giá trị nguyên nằm trong khoảng từ 0 đến 255. Hình ảnh sau đây cho thấy hình ảnh màu đƣợc biểu diễn bằng 3 ma trận. Hình 4.4: Ma trận không gian màu BGR Tiền xử lý ảnh Bao gồm các bƣớc lọc nhiễu, nâng cao chất lƣợng ảnh để thuận tiện cho quá trình nhận dạng ảnh. Nhận dạng màu sắc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 40 CHƢƠNG 4: THI CÔNG HỆ THỐNG Ở bƣớc này, ảnh RGB đầu vào đƣợc sau khi đƣợc lọc nhiễu ta tiến hành chuyển đổi sang ảnh HSV. Trong không gian màu HSV ta so sánh từng pixel với ngƣỡng trên và ngƣỡng dƣới của màu đỏ. Mục đích là để bộ xử lý sẽ dễ dàng nhận biết hơn đó là đối tƣợng cần nhận dạng, hạn chế nhiễu. Không gian màu HSV gồm ba ma trận: HUE, SATURATION and VALUE. Trong Opencv thì HUE có phạm vi từ 0-179 mang thông tin màu sắc, SATURATION từ 0-255 cho thông tin về độ thuần khiết của màu và VALUE từ 0-255 cho biết độ sang của điểm ảnh. Thƣ viện OpenCV là một thƣ viện chuyên xử lý hình ảnh vì vậy nó hổ trợ rất nhiều hệ màu nhƣ RGB, ARGB, BRGA, YUV, HSV và nó cũng có cung cấp cho chúng ta hàm cv.cvtColor (CV_BGR2HSV) để thực hiển chuyển đổi BGR sang HSV. Tách biên và lấp đầy biên Là quá trình xác định đƣờng biên sau đó loại bỏ những dữ liệu không cần thiết, sau khi có đƣợc đƣờng biên ta lấp đầy biên để có đƣợc hình dạng của sản phẩm để đi nhận dạng. Hình 4.5: Sơ đồ khối chƣơng trình con tách biên và lấp đầy biên Sau khi có đƣợc ảnh ta tiếp tục xử lý chất lƣợng hình ảnh đầu vào để cho quá trình nhận dạng ảnh đƣợc tốt bao gồm việc chuyển đổi ảnh xám cũng nhƣ giãm nhiễu để có chất lƣợng ảnh tốt hơn. Giảm nhiễu: Quá trình giảm nhiễu ở đây ta giải nhiễu thêm một lần nữa giúp ảnh chất lƣợng hơn. Vì phát hiện cạnh, đƣờng biên dễ bị nhiễu trong ảnh, bƣớc đầu tiên là loại bỏ nhiễu trong ảnh bằng bộ lọc Gaussian. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 41 CHƢƠNG 4: THI CÔNG HỆ THỐNG Chuyển đổi ảnh xám là quá trình chuyển đổi hình ảnh dƣới dạng RGB (Red- Green-Blue) sang ảnh xám. Điều này có nghĩa là có ba ma trận xám tƣơng ứng cho màu Red, Green, Blue, vông việc là tìm cách tổng hợp ba ma trận này về thành một ma trận duy nhất đó là ma trận xám. Xác định đƣờng biên: Ảnh đƣợc lọc mịn đƣợc đem đi xác định biên tạo ra các đƣờng biên có giá trị là là một trong giá trị nhị phân của hình. Ở bƣớc này ta xác đinh đƣờng biên bằng các tìm điểm A ở giữa hai điểm lân cận C và B ta xác định đó có phải giái trị cực đại không tức là giá trị rất lớn so với các điểm lân cận. nếu nó đúng thì ta có thể có thể xác định tạm thời đó là một phần của đƣờng biên. Tách biên: Là quá trình lọai bỏ các dữ liệu không phải là biên đƣợc xác định từ trƣớc, chỉ dữ lại những đƣờng biên. Lấp đầy biên: Là quá trình lấp đầy các đƣờng biên kín, không bị gián đoạn hay đứt khúc, để tạo ra đƣợc ảnh nhị phân có giá trị 0 và 1. Mức 1 là giá trị của hình dạng lấp đầy biên, và bên ngoài biên đƣợc coi là giá trị 0. Nhận dạng và tính kích thƣớc sản phẩm Ở đây bao gồm giai đoạn gán nhãn cho từng hình dạng rồi phân tích nhận dạng. Gán nhãn nói một cách tóm tắt là ta đi ghi chú cho từng hình để biết đó là hình gì, chu vi và độ dài các cạnh là bao nhiêu. Muốn phân loại đƣợc thì ta cần đi nhận dạng các đặc điểm của từng hình. Trong đó có 3 đặc điểm chính để ta nhận dạng: Ta tìm đỉnh của hình dạng số đỉnh hình vuông và chữ nhật có 4 đỉnh, hình tam giác có 3 đỉnh. Trong đó 2 cạnh bên của hình vuông bằng nhau và hình chữ nhật không bằng nhau. Nhƣ vậy, ta đã phân loại đƣợc 3 loại sản phẩm. Tính kích thƣớc là quá trình tìm ra độ dài thực tế của các cạnh của sản phẩm để tìm ra chu vi thực tế của sản phẩm. Xuất kết quả là việc hiển thị kết quả từ bƣớc nhận dạng và tính kích thƣớc, độ dài các cạnh. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 42 CHƢƠNG 4: THI CÔNG HỆ THỐNG Hình 4.6: Lƣu đồ con nhận dạng sản phẩm BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 43 CHƢƠNG 4: THI CÔNG HỆ THỐNG 4.4.2 Lập trình với ngôn ngữ Python cùng thƣ viện OpenCV Giới thiệu ngôn ngữ Python Python là một ngôn ngữ lập trình đƣợc sử dụng phổ biến ngày nay từ trong môi trƣờng học đƣờng cho tới các dự án lớn. Ngôn ngữ phát triển nhiều loại ứng dụng, phần mềm khác nhau nhƣ các chƣơng trình chạy trên desktop, server, lập trình các ứng dụng web... Ngoài ra Python cũng là ngôn ngữ ƣa thích trong xây dựng các chƣơng trình trí tuệ nhân tạo trong đó bao gồm machine learning. Nó có thể chạy trên mọi hệ điều hành từ MS-DOS đến Mac OS, OS/2, Windows, Linux và các hệ điều hành khác thuộc họ Unix. Giao diện IDLE Tạo File mới Để tạo tập tin mới và lập trình trên Python ta vào khung tìm kiếm trên Window nhập Python -> chọn IDLE Hình 4.7: Tìm kiếm Python Tiếp theo ta chọn File -> chon tiếp New File để xuất hiện khung bên cạnh là ta đã tạo đƣợc File mới. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 44 CHƢƠNG 4: THI CÔNG HỆ THỐNG Hình 4.8: Tạo project mới Viết chƣơng trình hệ thống  Chƣơng trình hệ thống bao gồm các phần (Đƣợc trình bày ở phụ lục).  Thƣ viện.  Chƣơng trình chính.  Chƣơng trình con nhận dạng và phân loại sản phẩn.  Chƣơng trình con tính khoảng cách. 4.5 MÔ PHỎNG 4.5.1 Lƣu đồ Bắt đầu Ảnh đầu vào Kiểm tra và xuất kết quả Kết thúc Hình 4.9: Lƣu đồ mô phỏng BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 45 CHƢƠNG 4: THI CÔNG HỆ THỐNG Ảnh đầu vào: với phần mềm Paint (phần mềm vẽ) trên Window để tạo ra đƣợc các hình dạng của sản phẩm cơ bản, hoặc lấy hình trên internet. Kiểm tra: là quá trình kiểm tra những giải thuật đƣợc viết ở trên có đúng hay sai đƣợc kiểm tra trên python sau đó xuất kết quả. Các bƣớc kiểm tra bao gồm: - Kiểm tra việc xử lý hình ảnh. - Kiểm tra tách biên và lấp đầy. - Kiểm tra phân loại và nhận dạng sản phẩm. Hình 4.10: Kiểm tra các bƣớc thực hiện 4.5.2 Xử lý tín hiệu hay hình ảnh a. Ảnh đầu vào BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 46 CHƢƠNG 4: THI CÔNG HỆ THỐNG Ở giai đoạn đầu ta mô phỏng trên những hình học cơ bản trƣớc với các hình cơ bản là hình chữ nhật, hình tròn, hình vuông, hình tam giác. b. Kiểm tra tiền xử lý ảnh Hình 4.11: Ảnh xám Tại đây ta xử lý chất lƣợng ảnh cùng với việc chuyển đổi ảnh xám c. Kiểm tra tách biên và lấp đầy Hình 4.12: Tách biên BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 47 CHƢƠNG 4: THI CÔNG HỆ THỐNG Hình 4.13: Lấp đầy biên d. Kiểm tra nhận dạng và phân loại sản phẩm Hình 4.14: Kết quả nhận dạng phân loại sản phẩm. 4.6 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC 4.6.1 Viết tài liệu hƣớng dẫn sử dụng Bƣớc 1: Lắp camera vào hệ thống và kiểm tra hệ thống đã nhận camera chƣa Sau khi cấp nguồn cho hệ thống, đợi hệ thống khởi động xong ta truy cập vào IDLE để thực thi chƣơng trình test camera. Bƣớc 2: Kiểm tra cài đặt python và cài đặt những thƣ viện liên quan cho python. Ta tiến hành mở cửa sổ command line lên, gõ python xem hệ thống đã cài đặt thành công python hay chƣa. Một trong những điểm mạnh của python là có thể dùng lại rất nhiều thƣ viện và package khác mà mình không phải mất công viết lại từ đầu. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 48 CHƢƠNG 4: THI CÔNG HỆ THỐNG Bản thân mỗi module, mỗi package đã chuyên môn hoá một số việc cho mình. Khi muốn cài một package nào đó, ta có thể dùng lệnh pip install . Chúng ta cài đặt các package không cần phải tải về lằng nhằng mà chỉ cần gõ 1 dòng lệnh là đủ. Vì thế dùng pip để cài đặt thƣ viện cho hệ thống một cách dễ dàng, ta mở command line lên và gõ những dòng lệnh theo mẫu trên để cài đặt những thƣ viện: OpenCV, Numpy, Spicy. Kiểm tra xem tất cả thƣ viện ta cần cho chƣơng trình đều đã sẵn sàng chƣa: Hình 4.15: Kiểm tra thƣ viện Bƣớc 3: Mở IDLE và chạy chƣơng trình nhận dạng sản phẩm và tính kích thƣớc. Hình 4.16: Kết quả sau khi bấm chạy chƣơng trình BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 49 CHƢƠNG 4: THI CÔNG HỆ THỐNG Bƣớc 4: Quan sát kết quả thu đƣợc khi đƣa từng sản phẩm (những khối hình) vào khung hình camera ở những vị trí khác nhau. Ta tiến hành di chuyển sản phẩm và đặt đến từng vị trí khác nhau để quan sát xem kích thƣớc thực của sản phẩm có chính xác hay bị thay đổi không đồng thời độ dài các cạnh thực tế của sản phẩm có đúng với kết quả hay không. 4.6.2 Quy trình thao tác Hình 4.17: Quy trình vận hành Khởi động hệ thống và chạy chƣơng trình Là quá trình kết nối các thiết bị ngoại vi bên ngoài với laptop (ở đây là camera 3D ). Sau khi hệ thống nhận thiết bị, ta chọn chạy IDLE và mở file code.py cần chạy. Đặt sản phẩm ở vị trí so với camera cho kết quả kích thƣớc tốt nhất BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 50 CHƢƠNG 4: THI CÔNG HỆ THỐNG Mục đích để ta dễ dàng tìm đƣợc kích thƣớc sản phẩm một cách chính xác nhất. Ngoài ra ta có thể thay đổi khoảng cách đó để quan sát kết quả có đƣợc tính đúng với kích thƣớc thực tế của sản phẩm Quan sát kết quả và so với thực tế Kết quả đƣợc hiển thị ngay trên lap với thời gian ngắn. Sau khi có kết quả sản phẩm này ta vẫn có thể tiếp tục thực hiện với sản phẩm khác. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 51 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 5.1 CAMERA 3D Qua quá trình thực hiện đề tài, nhóm đã biết sử dụng Camera 3D với chức năng cơ bản của camera là lấy đƣợc ảnh đầu vào, độ sâu của sản phẩm ở nhiều vị trí khác nhau và kết nối với laptop để đi thực hiện mô hình. Hình 5.1: Kết quả ảnh đầu vào từ camera Camera 3D có độ phân giải cao nhƣng ngƣợc lại nó có giá thành không quá đắt, cùng với chất lƣợng ảnh và quay ảnh phù hợp với việc xử lý ảnh. Việc thu đƣợc độ dài và kích thƣớc của sản phẩm từ camera vẫn chƣa chính xác tuyệt đối do những yếu tố tác động từ bên ngoài nhƣ tốc độ xử lý của laptop, ánh sáng, 5.2 XÁC ĐỊNH MÀU SẮC CỦA SẢN PHẨM Với mục đích lựa chọn một màu sắc để camera dễ nhận dạng hơn sản phẩm cần nhần dạng cũng nhƣ là tránh nhiễu từ những yếu tố xung quanh sản phẩm, nhóm đã thành công trong việc nhận dàng màu sắc của sản phẩm là màu đỏ, những sản phẩm, yếu tố xung quanh không có màu đỏ sẽ không đƣợc nhận dạng hình dạng và tính toán. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 52 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 5.2: Kết quả xác định màu sắc sản phẩm của camera Dƣới đây là bảng thống kê thực tế kết quả xác định màu sắc của sản phẩm trong điều kiện môi trƣờng ánh sáng đầy đủ khi sản phẩm là màu đỏ và những màu khác nhƣ màu xanh, màu vàng: Bảng 5.1: Thống kê kết quả xác định màu sắc sản phẩm STT Sản phẩm Màu sắc Nhận dạng Không nhận đƣợc dạng đƣợc 1 Hình vuông Đỏ  2 Hình chữ nhật Đỏ  3 Hình tam giác Đỏ  4 Hình vuông Vàng  5 Hình chữ nhật Vàng  6 Hình tam giác Vàng  7 Hình vuông Xanh  8 Hình chữ nhật Xanh  9 Hình tam giác Xanh  Sau khi kiểm tra thực tế, khả năng hoạt động của thiết bị nhƣ sau: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 53 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ . Thời gian đáp ứng rất nhanh trong điều kiện lý tƣởng khi làm khảo sát . Khi hoạt động trong môi trƣờng kém ánh sáng, việc nhận đáp ứng chậm hơn, việc nhận dạng có thể chập chờn không ổn định. . Thiết bị nhận diện đƣợc gần nhƣ 100% sản phẩm màu đỏ và hoàn toàn không nhận diện những sản phẩm có màu sắc khác 5.3 NHẬN DẠNG VÀ TÍNH KÍCH THƢỚC SẢN PHẨM Kết quả thu đƣợc khi sản phẩm đƣợc nhận dạng là hình chữ nhật với chu vi thực tế là 23cm, chiều dài 6,5cm, chiều rộng 5cm: Hình 5.3: Nhận dạng và tính kích thƣớc sản phẩm hình chữ nhật Kết quả thu đƣợc khi sản phẩm đƣợc nhận dạng là hình vuông với chu vi thực tế là 24cm, chiều dài cạnh là 6cm: Hình 5.4: Nhận dạng và tính kích thƣớc sản phẩm hình vuông Kết quả thu đƣợc khi sản phẩm đƣợc nhận dạng là hình tam giác với chu vi thực tế là 13cm, độ dài cạnh là 4cm, 4cm, 5cm: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 54 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 5.5: Nhận dạng và tính kích thƣớc sản phẩm hình tam giác Bảng 5.2: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình vuông Lần Khoảng Độ dài Độ dài Chu vi Chu vi Sai số thực cách cạnh cạnh thu thực tế thu tƣơng hiện camera thực tế đƣợc (cm) đƣợc đối (%) thứ - vật (cm) (cm) (cm) (cm) 1 19 6,1 5,8 24,4 23,2 4,9 2 14 6,1 5,6 24,4 22,4 8,1 3 29 6,1 5,4 24,4 21,6 11,5 4 16 6,1 6,1 24,4 24,4 0 5 17 6,1 6,1 24,4 22,4 0 6 22 6,1 5.7 24,4 22,8 8,1 7 29 6,1 6,3 24,4 25,2 4,5 8 15 6,1 5,8 24,4 23,2 4,9 9 18 6,1 6 24,4 24 1,6 10 20 6,1 6,1 24,4 24,4 0 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 55 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Ba hình dạng cơ bản (vuông, chữ nhật, tam giác) đƣợc nhận dạng với độ chính xác 95% và tính đƣợc chu vi, độ dài cạnh của từng sản phẩm ở nhiều vị trí khác nhau so với camera. Tuy nhiên khi để sản phẩm quá gần hoặc quá xa tầm mắt của camera thì có thể sản phẩm sẽ không nhận dạng và tính kích thƣớc đƣợc hoặc kết quả sẽ chênh lệch với thực tế một ít. Bảng 5.2, bảng 5.3, bảng 5.4 thống kê thực tế kết quả nhận dạng và tính kích thƣớc của 3 sản phẩm: hình vuông, hình chũ nhật, hình tam giác trong điều kiện môi trƣờng ánh sáng đầy đủ, ổn định và khoảng cách từ camera tới vật thay đổi. Bảng 5.3: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình chữ nhật Lần Khoảng Chiều dài; Chiều dài, Chu vi Chu vi Sai số thực cách Chiều rộng Chiều rộng thực tế thu tƣơng hiện camera - thực tế (cm) thu đƣợc (cm) đƣợc đối (%) thứ vật (cm) (cm) (cm) 1 13 6- 4,5 7 - 5,4 21 24,8 18 2 15 6 - 4,5 6,7 - 5,1 21 23,6 12,4 3 19 6 - 4,5 6,2 - 4,6 21 21,6 2,9 4 17 6 - 4,5 6,1 - 4,7 21 21,6 2,9 5 27 6 - 4,5 6,6 - 4,8 21 22,8 8,6 6 20 6 - 4,5 6,1 - 4,4 21 21 0 7 16 6 - 4,5 6 - 4,6 21 21,2 0.9 8 18 6 - 4,5 6,6 - 4,5 21 22,2 5,7 9 21 6 - 4,5 5,9 - 4,3 21 20,4 2,8 10 15 6 - 4,5 5,8 - 4,6 21 20,8 0,9 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 56 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Bảng 5.4: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình tam giác Lần Khoảng Độ dài 3 Độ dài 3 Chu vi Chu vi Sai số thực cách cạnh thực tế cạnh thu thực tế thu tuyệt hiện camera - (cm) đƣợc (cm) (cm) đƣợc(c đối (%) thứ vật (cm) m) 1 21 5 - 4,7 - 6 4,9 - 4,2 - 5,5 15,7 14,6 7 2 20 5 - 4,7 - 6 5,1 - 4,4 - 5,7 15,7 15,2 3,2 3 17 5 - 4,7 - 6 5 - 4,6 - 5,4 15,7 15 4,5 4 28 5 - 4,7 - 6 4,7 - 4,3 -5,3 15,7 14,3 8,9 5 26 5 - 4,7 - 6 4,6 - 4,3 - 5,5 15,7 14,4 8,3 6 30 5 - 4,7 - 6 5,5 - 4,9 - 5,9 15,7 16,3 5 7 16 5 - 4,7 - 6 5,1 - 4,7 - 5,9 15,7 16,1 2,5 8 25 5 - 4,7 - 6 5,7 - 4,7 - 6,1 15,7 16,5 5 9 18 5 - 4,7 - 6 5,1 - 5,2 - 5,6 15,7 15,9 1,3 10 21 5 - 4-7 - 6 4,1 - 4,9 - 5,9 15,7 15,9 1,3 Vẫn còn một số lỗi xảy ra mà nhóm chƣa khắc phục đƣợc, nhƣ các sản phẩm bị dính vào nhau hoặc chồng lên nhau thì không phát hiện đƣợc. Để cả ba sản phẩm vào một lúc có thể sẽ chỉ nhận dạng và tính kích thƣớc một sản phẩm hoặc không nhận dạng đối với sản phẩm nào nhƣ hình dƣới: Hình 5.6: Camera chƣa thể nhận dạng cùng lúc nhiều sản phẩm BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 57 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Nhóm chƣa nhận diện đƣợc hình tròn cũng nhƣ tính kích thƣớc của sản phẩm hình tròn. Thuật toán này nhóm tìm hiểu và đƣa ra phƣơng pháp phải mất nhiều thời gian mới hoàn thành. Thuật toán này có thể áp dụng vào việc phân loại, nhận diện và tìm kích thƣớc của những sản phẩm có hình dạng mà nhóm tìm hiểu. 5.4 PHÂN LOẠI SẢN PHẨM Kết quả thu đƣợc khi sản phẩm hình chữ nhật đạt kích thƣớc yêu cầu và sản phẩm hình chữ nhật không đạt kích thƣớc yêu cầu: Hình 5.7: Phân loại theo kích sản phẩm hình chữ nhật Kết quả thu đƣợc khi sản phẩm hình tam giác đạt kích thƣớc yêu cầu và sản phẩm hình tam giác không đạt kích thƣớc yêu cầu: Hình 5.8: Phân loại theo kích thƣớc sản phẩm hình tam giác Kết quả thu đƣợc khi sản phẩm hình vuông đạt kích thƣớc yêu cầu và sản phẩm hình vuông không đạt kích thƣớc yêu cầu: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 58 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 5.9: Phân loại theo kích thƣớc sản phẩm hình tam giác Chƣơng trình đã phân loại đƣợc hầu hết tất cả các sản phẩm theo kích thƣớc của chúng với thời gian đáp ứng nhanh trong điều kiện lý tƣởng khi làm khảo sát. Tuy nhiên vấn còn một số ít trƣờng hợp phân loại chƣa chính xác do nhiễu. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 59 CHƢƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CHƢƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 6.1 KẾT LUẬN 6.1.1 Kết quả đạt đƣợc Hệ thống đáp ứng tƣơng đối đầy đủ mục tiêu đề tài đặt ra với độ chính xác trong phân loại và tính toán cao, tốc độ xử lý nhanh. Mô hình phần cứng hoạt động tốt, thiết bị nhỏ gọn, lắp đặt dễ dàng, có tính kinh tế, thuận tiện cho việc học tập nhƣng cũng có thể phát triển thành dây chuyền sản xuất. Chƣơng trình xử lý ảnh hoạt động ổn định, nhận dạng đƣợc màu sắc, hình dạng hầu hết các sản phẩm. Đo đƣợc chính xác khoảng cách thực tế cũng nhƣ chu vi, và độ dài các cạnh và phân loại đƣợc hầu hết sản phẩm. 6.1.2 Những mặt hạn chế Ngoài những kết quả đạt đƣợc thì hệ thống vẫn còn những hạn chế nhƣ khả năng nhận dạng bị ảnh hƣởng bới các yếu tố môi trƣờng nhƣ ánh sáng, nhiễu; chỉ nhận dạng biết đƣợc là sản phẩm hình vuông, chữ nhật, tam giác, kích thƣớc của sản phẩm cũng nhƣ khoảng cách của sản phẩm tới camera mà chƣa nhận dạng đƣợc sản phẩm hình tròn, những sản phẩm bị lỗi nhƣ móp, méo; chƣa nhận dạng tất cả sản phẩm có cùng lúc trong khung hình. Chƣa xây dựng đƣợc mô hình phân loại hoàn chỉnh, chỉ mang tính nghiên cứu và phân loại trên máy tính. 6.2 HƢỚNG PHÁT TRIỂN Từ những mặt hạn chế của đề tài, để đề tài hoạt động tốt hơn và có thể áp dụng vào thực tế sau này n