Nghiên cứu ứng dụng mạng nơron truyền thẳng nhiều lớp nhận dạng vị trí rôbốt hai khâu

phương pháp điều khiển đảm bảo được tốt chất lượng điều khiển. Trong điều khiển tự động, để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối tượng đó. Đặc biệt đối với các đối tượng phi tuyến ta cần dạng được đặc tính vào-ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. Những bộ điều khiển hiện đại thường được sử dụng như lôgic mờ, mạng nơron, mạng nơron mờ để nhận dạng và điều khiển thích nghi hệ thống phi tuyến. Trong thời gian của khoá học cao học, chuyên ngành Tự động hoá tại trường Đại Học Kỹ Thuật Công Nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của nhà trường và Tiến Sĩ Phạm Hữu Đức Dục em đã lựa chọn đề tài của mình là: “Nghiên cứu ứng dụng mạng nơron truyền thẳng nhiều lớp nhận dạng vị trí rôbốt hai khâu”. Trong khoảng 6 tháng thực hiện đề tài, được sự hướng dẫn nhiệt tình của Tiến Sĩ Phạm Hữu Đức Dục, sự giúp đỡ của bạn bè cùng với sự nỗ lực, cố gắng của mình bản luận văn đến nay đã hoàn thành. Dù đã có nhiều cố gắng, xong bản luận văn vẫn không tránh khỏi những thiếu sót và hạn chế, em rất mong nhận được sự góp ý của các thầy để bản luận văn được tốt hơn. Em xin trân trọng cảm ơn! Học viên Nguyễn Đắc Nam Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 7 MỤC LỤC Trang Lời cam đoan. Danh mục các ký hiệu, bảng, các chữ viết tắt. Danh mục các hình vẽ. PHẦN MỞ ĐÀU. 1 Chƣơng I- TÔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO. 5 1.1. Lịch sử phát triển của mạng nơ ron nhân tạo. 5 1.2. Các tính chất của mạng nơ ron nhân tạo. 5 1.3. Mô hình nơ ron. 6 1.3.1.Mô hình nơ ron sinh học. 6 1.3.1.1. chức năng, tổ chức và hoạt động của bộ não con người. 6 1.3.1.2. Mạng nơ ron sinh học. 9 1.3.2. Mạng nơ ron nhân tạo. 10 1.3.2.1. Khái niệm. 10 1.3.2.2. Phân loại mạng nơ ron. 13 1.3.2.3. Các luật học. 15 1.3.3. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron hồi quy. 19 1.3.3.1. Mạng nơ ron truyền thẳng. 19 1.3.3.2. Mạng nơ ron hồi quy. 22 1.4. Quá trình huấn luyện mạng nơ ron nhiều lớp. 24 1.4.1. Quá trình thực hiện. 24 1.4.2. Quy tắc chuỗi. 25 1.4.3. Độ chính xác của lan truyền ngược. 27 1.4.4. Biến thể của lan tryền ngược. 27 1.4.5. Tổng quát.(phép nội suy và phép ngoại suy). 28 1.5. Công nghệ phân cứng sử dụng mạng nơ ron. 31 1.6. So sánh khả năng của mạng nơ ron với mạch logic 32 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 8 KẾT LUẬN CHƢƠNG 1. 33 Chƣơng II- Các phƣơng pháp ứng dụng mạng nơ ron trong nhận dạng và điều khiển. 34 2.1. Các vấn đề chung. 34 2.2. Các phƣơng pháp ứng dụng mạng nơ ron trong nhận dạng. 34 2.2.1. Cơ sở lý luận. 34 2.2.2. Mô tả toán học của đối tượng ở miền rời rạc. 36 2.2.3. Mô hình dùng mạng nơ ron. 39 2.2.3.1. Mô hình song song. 39 2.2.3.2. Mô hình nối tiếp song song. 39 2.2.3.3. Mô hình ngược trực tiếp. 40 2.2.3.4. Mô hình tổ hợp. 41 2.3. Các phƣơng pháp ứng dụng mạng nơ ron trong điều khiển. 42 2.3.1. Bộ điều khiển đảm bảo tính ổn định vững chắc. 42 2.3.2. Bộ điều khiển thích nghi ngược trực tiếp. 42 2.3.3. Điều khiển phi tuyến mô hình trong. 44 2.3.4. Điều khiển dự báo. 44 2.3.5. Điều khiển thích nghi theo mô hình mẫu (MRAC) 45 2.3.6. Điều khiển thích nghi tự chỉnh. 46 2.3.7. Điều khiển thích nghi bằng mạng nơ ron hồi quy tuyến tính. 46 2.3.8. Điều khiển thích nghi ổn định trực tiếp. 48 2.3.9. Điều khiển tối ưu. 49 2.3.10. Phương pháp bảng tra. 50 2.3.11. Điều khiển lọc. 50 2.4. Những hạn chế và chú ý. 51 KẾT LUẬN CHƢƠNG 2 52 Chƣơng III - Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. 53 3.1. Mạng nơ ron truyền thẳng nhiều lớp 53 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 9 3.1.1. Sơ đồ khối mạng nơ ron truyền thẳng nhiều lớp. 53 3.1.2. Thuật toán học lan truyền ngược của sai lệch. 53 3.2. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. 57 3.2.1. Phân tích sơ đồ ứng dụng. 57 3.2.2. Mô tả động học của rô bốt hai khâu. 59 3.2.3. Thiết lập mạng nơ ron nhận dạng. 60 3.2.3.1. Thiết lập sơ đồ nhận dạng 60 3.2.4.2. Quá trình nhận dạng. 63 3.2.4.3. Kết quả mô phỏng và nhận dạng. 65 3.2.4.4. Kết luận chương III 74 KẾT LUẬN CHUNG 75 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 10 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ. STT Ký hiệu Diễn giải tên hình vẽ. 1 Hình 1 Sơ đồ khối điều khiển thích nghi rô bốt hai khâu. 2 Hình 2 Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu. 3 Hình 1.1 Mô hình hai nơ ron sinh học. 4 Hình 1.2 Mô hình nơ ron nhân tạo. 5 Hình 1.3a Biểu diễn hình học của hàm Rump 6 Hình 1.3b Biểu diễn hình học của hàm bước nhảy. 7 Hình 1.3c Biểu diễn hình học của hàm giới hạn cứng. 8 Hình 1.3d Biểu diễn hình học của hàm Sigmoid hai cực. 9 Hình 1.4a Mạng một lớp truyền thẳng. 10 Hình 1.4b Mạng nhiều lớp truyền thẳng. 11 Hình 1.4c Mạng nơ ron có phản hồi. 12 Hình 1.4d Mạng nơ ron hồi quy. 13 Hình 1.5 Cấu trúc huấn luyện mạng nơ ron. 14 Hình 1.6 Mô hình học có giám sát và học củng cố. 15 Hình 1.7 Mô hình học không có giám sát. 16 Hình 1.8 Sơ đồ cấu trúc chung của quá trình học. 17 Hình 1.9 Cấu trúc mạng nơ ron một lớp. 18 Hình 1.10 Ký hiệu mạng R đầu vào và S nơ ron. 19 Hình 1.11 Ký hiệu mạng một lớp. 20 Hình 1.12 Cấu trúc mạng nơ ron 3 lớp. 21 Hình 1.13 Ký hiệu mạng nơ ron 3 lớp. 22 Hình 1.14 Ký hiệu mạng một l lớp hồi quy. 23 Hình 1.15 Ký hiệu mạng nơ ron 3 lớp hồi quy. 24 Hình 1.16a Mạng được huấn luyện theo phương pháp bình phương sai lệch cực tiểu. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 11 PHẦN MỞ ĐẦU 1.Lý do lựa chọn đề tài. Để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối tượng đó. Đối với đối tượng là phi tuyến như rô bốt, ta cần thực hiện nhận dạng đặc tính vào ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. Hiện nay thường sử dụng logic mờ (Fuzzy Logic), mạng nơ ron ( Neural Networks), và mạng no ron mờ (Fuzzy Neural Networks) để nhận dạng và điều khiển thích nghi hệ thống phi tuyến.Trong khuôn khổ của khoá học Cao học, chuyên ngành Tự động hoá tại trường Đại học Kỹ thuật Công nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của nhà trường và Tiến sĩ Phạm Hữu Đức Dục, em đã lựa chọn đề tài của mình là “Nghiên cứu ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu”. 2.Mục đích của đề tài. Nghiên cứu việc ứng dụng mạng nơ ron trong quá trình nhận dạng và điều khiển hệ thống phi tuyến nói chung. Đặc biệt đi sâu nghiên cứu mạng nơ ron truyền thẳng nhiều lớp nhận dạng đặc tính vào – ra của rô bốt hai khâu, làm cơ sở cho việc tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. 3. Đối tƣợng và phạm vi nghiên cứu. a/ Đối tượng nghiên cứu. Đối tượng nghiên cứu của đề tài là sử dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí hai khâu rô bốt. Sơ đồ hình 1 mô tả một mô hình điều chỉnh thích nghi rô bốt hai khâu theo mô hình mẫu. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 12 Sơ đồ điều khiển được thực hiện theo hai giai đoạn sau đây: Giai đoạn 1: Sử dụng mạng nơ ron nhận dạng vị trí của rô bốt hai khâu, khi đó các khoá K mở. Căn cứ vào sai lệch e1 giữa tín hiệu ra của rô bốt (y) và tín hiệu ra của mạng nơ ron nhận dạng(ymh), mạng nơ ron tiến hành học để nhận dạng đặc tính vào ra y của rô bốt hai khâu, sao cho tín hiệu mạng nơ ron nhận dạng ymh bám theo được tín hiệu ra y của rô bốt hai khâu. Với e1= y- ymh Giai đoạn 2: Căn cứ vào kết quả nhận dạng ta có được mạng nơ ron có thể thay thế gần đúng cho rô bốt hai khâu từ đó tiến hành điều khiển thích nghi rô bôt hai khâu theo mô hình mẫu. Các khoá K đóng, dựa vào bộ thông số sai lệch (e2, 2e ) giữa tín hiệu đầu ra của mô hình mẫu ym và tín hiệu đầu ra của mạng nơ ron nhận dạng ymh, bộ điều khiển thực hiện các luật học thích nghi tạo ra tín hiệu điều khiển u với mục đích tạo ra được tín hiệu đầu ra của mạng nhận dạng bám theo được tín hiệu đầu ra của mô hình. Với e2 = ym – ymh và ė2 là đạo hàm cấp một của sai lệch e2 Với thời gian nghiên cứu có hạn, luận văn này chỉ đi sâu nghiên cứu ứng dụng mạng nơ ron nhiều lớp truyền thẳng nhận dạng vị trí rô bốt hai khâu. b/ Phạm vi nghiên cứu của đề tài. - ymh - e2 e1 y ymh ym u K Bộ điều khiển Mô hình mẫu Rôbốt hai khâu Mạng nơron nhận dạng K xd e2 ė2 Hình 1. Sơ đồ khối điều khiển thích nghi rô bốt hai khâu Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 13 Chương I. Tổng quan về mạng nơ ron nhân tạo: Phân tích tổng quan nề mạng nơ ron bao gồm : Lịch sử phát triển, kết cấu của các mạng nơ ron, vai trò của các mạng nơ ron trong điều khiển. Chương II. Các phương pháp ứng dụng mạng nơ ron trong nhận dạng và điều khiển: Trình bày các phương pháp ứng dụng mô hình mạng nơ ron trong nhận dạng và điều khiển. Chương III. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. Đưa ra mô hình nhận dạng vị trí rô bốt hai khâu, từ đó phân tích, lựa chọn mạng nơ ron truyền thẳng nhiều lớp với luật học lan truyền ngược tiến hành nhận dạng đặc tính vào ra của rô bốt hai khâu với sơ đồ tổng quát như hình 2: 4. Ý nghĩa khoa học và thực tiễn của đề tài. Với ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng quỹ đạo chuyển động trong miền thời gian thực của rô bốt hai khâu. Sau khi nhận dạng được vị trí của rô bốt hai khâu, ta có thể thay thế gần đúng mô hình vị trí rô bốt hai khâu bằng một mạng nơ ron truyền thẳng, từ đó căn cứ vào các thông số mô phỏng của ymh y e1 xd Robot hai khâu (Mô hình tính toán vị trí) Mạng nơ ron nhận dạng Hình2. Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 14 mạng nơ ron ta tính toán được tín hiệu điều chỉnh nhằm điều khiển thích nghi vị trí của rô bốt hai khâu phù hợp với những yêu cầu cần thiết của điều chỉnh thích nghi vị trí rô bốt hai khâu. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 15 CHƢƠNG I TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO Mạng nơ ron nhân tạo (Artificial Neural Networks) là hệ thống được xây dựng dựa trên nguyên tắc cấu tạo của bộ não người. Nó cho chúng ta một hướng mới trong nghiên cứu hệ thống thông tin. Mạng nơ ron nhân tạo có thể thực hiện các bài toán: Tính toán gần đúng các hàm số, thực hiện các bài toán tối ưu, nhận mẫu, nhận dạng và điều khiển đối tượng hiệu quả hơn so với các phương pháp truyền thống. Mạng nơ ron nhân tạo có một số lượng lớn mối liên kết của các phần tử biến đổi có liên kết song song. Nó có hành vi tương tự như bộ não người với khả năng học ( Learning ), gọi lại (Recall) và tổng hợp thông tin từ sự luyện tập của các tập mẫu dữ liệu. Các phần tử biến đổi của mạng nơ ron nhân tạo được gọi là các nơ ron nhân tạo hoặc gọi tắt là nơ ron 1.1 LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠ RON NHÂN TẠO. Mạng nơ ron nhân tạo đã có một lịch sử phát triển lâu dài. Năm 1943, McCulloch và Pitts đã đưa ra khả năng liên kết và một số liên kết cơ bản của mạng nơ ron. Năm1949, Hebb đã đưa ra các luật thích nghi trong mạng nơ ron. Năm 1958, Rosenbatt đưa ra cấu trúc Perception. Năm 1969, Minsky và Papert phân tích sự đúng đắn của Perception, họ đã chứng minh các tính chất và chỉ rõ các giới hạn của một số mô hình. Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một số cấu trúc của hệ động học phi tuyến với các tính chất mới. Năm 1982, Rumelhart đưa ra mô hình song song một số thuật toán và kết quả. Thuật toán học lan truyền ngược được Rumelhart, Hinton, Williams (1986) đề xuất luyện mạng nơ ron nhiều lớp. Những năm gần đây, nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơ ron mới. Mạng nơ ron được ứng dụng trong nhiều lĩnh vực kinh tế kỹ thuật khoa học vũ trụ (Hecht – Nielsen, 1988) 1.2 CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠO. Là hệ phi tuyến: Mạng nơ ron có khả năng to lớn trong lĩnh vực nhận dạng và điều khiển các đối tượng phi tuyến. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 16 Là hệ xử lý song song: Mạng nơ ron có cấu trúc song song, do đó có độ tính toán rất cao rất phù hợp với lĩnh vực nhận dạng và điều khiển. Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ và có khả năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on- line. Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MIMO), rất tiện dùng khi đối tượng điều khiển có nhiều biến số. 1.3 MÔ HÌNH NƠ RON 1.3.1.Mô hình nơ ron sinh học. 1.3.1.1 Chức năng, tổ chức và hoạt động của bộ não con người. Bộ não người có chức năng hết sức quan trọng trong đời sống của con người. Nó gần như kiểm soát hầu hết mọi hành vi của con người từ các hoạt động cơ bắp đơn giản đến những hoạt động phức tạp như học tập, nhớ, suy luận, tư duy, sáng tạo, ... Bộ não người được hình thành từ sự liên kết của khoảng 1011 phần tử (tế bào), trong đó có khoảng 1010 phần tử là nơ ron, số còn lại khoảng 9*1010 phần tử là các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ cũng như hỗ trợ cho các nơ ron. Thông thường một bộ não trung bình cân nặng khoảng 1,5 kg và có thể tích là 235 cm 3 . Cho đến nay người ta vẫn chưa thực sự biết rõ cấu tạo chi tiết của bộ não. Tuy vậy về đại thể thì cấu tạo não bộ được phân chia ra thành nhiều vùng khác nhau. Mỗi vùng có thể kiểm soát một hay nhiều hoạt động của con người. Các đặc tính của não người: - Tính phân lớp: Các vùng trong bộ não được phân thành các lớp, thông tin được xử lý theo các tầng. - Tính môđun: Các vùng của bộ nhớ được phân thành các môđun được mã hoá bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua các giác quan và các tín hiệu ra. - Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem như các liên hệ phản hồi khi truyền tín hiệu. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 17 - Sử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua nhiều kênh thông tin khác nhau, được xử lý bằng các phương pháp đặc biệt. Bộ não có cấu trúc nhiều lớp. Lớp bên ngoài thường thấy như là các nếp nhăn, là lớp có cấu tạo phức tạp nhất. Đây là nơi kiểm soát và phát sinh các hành động phức tạp như nghe, nhìn, tư duy, ... Tín hiệu thu, nhận ở các dạng xung điện – Màng (Membrane): Mỗi tế bào thần kinh có một màng, có nhiệm vụ giữ cho các chất nuôi tế bào không tràn ra ngoài. Do đó, các phần tử nội bào và ngoại bào không bằng nhau, giữa chúng có dung dịch muối lỏng làm cho chúng bị phân rã thành các nguyên tử âm và dương. Các nguyên tử dương trong màng tạo ra điện thế màng, nó tồn tại trong trạng thái cân bằng lực: lực đẩy các nguyên tử dương ra khỏi tế bào bằng với lực hút chúng vào trong tế bào. Điện thế màng là phần tử quan trọng trong quá trình truyền tin của hệ thần kinh. Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng của tế bào bị thay đổi và tiến tới một ngưỡng nào đó, đồng thời sinh ra dòng điện, dòng điện này gây ra phản ứng kích thích làm thay đổi khả năng thẩm thấu ion của tế bào tiếp theo. Xử lý thông tin trong bộ não: Thông tin được tiếp nhận từ các giác quanvà chuyển vào các tế bào thần kinh vận động vào các tế bào cơ. Mỗi tế bào thần kinh tiếp nhận thông tin, điện thế sẽ tăng trong thần kinh cảm giác, nếu điện thế này vượt ngưỡng nó tạo ra dòng điện trong tế bào thần kinh cảm giác, ý nghĩa dòng điện đó được giải mã và lưu ở thần kinh trung ương, kết quả xử lý thông tin được gửi đến các tế bào cơ. Các tế bào thần kinh đưa các tín hiệu giống nhau, do đó không thể phân biệt được đó là của loài động vật nguyên thuỷ hay của một giáo sư. Các khớp thần kinh chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị cản lại. Lượng tín hiệu được biến đổi được gọi là cường độ khớp thần kinh đó chính là trọng số của nơ ron trong mạng nơ ron nhân tạo. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 18 Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn lao. Có thể trả lời ngắn gọn là sư giống nhau của các tín hiệu của các tế bào thần kinh đơn lẻ, do đó chức năng thực sự của bộ não không phụ thuộc vào vai trò của một tế bào thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào thần kinh hay các tế bào thần kinh liên kết với nhau thành một mạng thần kinh hay một mạng nơ ron (Neural Networks) Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã được con người quan tâm nghiên cứu từ lâu nhưng cho đến nay người ta vẫn chưa hiểu rõ thực sự về hoạt động của bộ não và hệ thần kinh. Đặc biệt là trong các hoạt động liên quan đến trí óc như suy nghĩ, nhớ, sáng tạo, ... Tuy thế cho đến nay, người ta cũng có những hiểu biết căn bản về hoạt động cấp thấp của não. Mỗi nơ ron liên kết với khoảng 104 nơ ron khác, cho nên khi hoạt động thì bộ não hoạt động một cách tổng lực và đạt hiệu quả cao. Nói một cách khác là các phần tử của não hoạt động một cách song song và tương tác hết sức tinh vi phức tạp, hiệu quả hoạt động thường rất cao, nhất là trong các vấn đề phức tạp. Về tốc độ xử lý của bộ não người rất nhanh mặc dù tốc độ xử lý của mỗi nơ ron (có thể xem như phần tử xử lý hay phần tử tính) là rất chậm so với xử lý của các cổng logic silicon trong các chip vi xử lý (10-3 giây so với 10-10 giây). Hoạt động của cả hệ thống thần kinh bao gồm não bộ và các giác quan như sau: Trước hết con người bị kích thích bởi giác quan từ bên ngoài hoặc trong cơ thể. Sự kích thích đó được biến thành các xung điện bởi chính các giác quan tiếp nhận kích thích. Những tín hiệu này được chuyển về trung ương thần kinh là não bộ để xử lý. Trong thực tế não bộ liên tục nhận thông tin xử lý, đánh giá và so sánh với thông tin lưu trữ để đưa ra các quyết định thích đáng. Những mệnh lệnh cần thiết được phát sinh và gửi đến những bộ phận thi hành thích hợp như các cơ tay, chân, ... Những bộ phận thi hành biến những xung điện thành dữ liệu xuất của hệ thống. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 19 Tóm lại: Bộ não người có chức năng hết sức quan trọng đối với đời sống của con người. Cấu tạo của nó rất phức tạp, tinh vi bởi được tạo thành từ mạng nơ ron có hàng chục tỉ tế bào với mức độ liên kết giữa các nơ ron là rất cao. Hơn nữa, nó còn được chia thành các vùng và các lớp khác nhau. Bộ não hoạt động dựa trên cơ chế hoạt động song song của các nơ ron tạo nên nó. 1.3.1.2. Mạng nơron sinh học. a/ Cấu tạo. Nơ ron là phần tử cơ bản tạo nên bộ não con người. Sơ đồ cấu tạo của một nơ ron sinh học được chỉ ra như trong hình 1.1. Một nơ ron điển hình có 3 phần chính: - Thân nơ ron (soma): Nhân của nơ ron được đặt ở đây. - Các nhánh (dendrite): Đây chính là các mạng dạng cây của các dây thần kinh để nối các soma với nhau. - Sợi trục (Axon): Đây là một nối kết, hình trụ dài và mang các tín hiệu từ đó ra ngoài. Phần cuối của axon được chia thành nhiều nhánh nhỏ. Mỗi nhánh nhỏ (cả của dendrite và axon) kết thúc trong một cơ quan nhỏ hình củ hành được gọi là synapte mà tại đây các nơ ron đưa các tín hiệu của nó vào các nơr on khác. Những điểm tiếp nhận với các synapte trên các nơ ron khác có thể ở các dendrite hay chính soma. Nhánh Khớp nối Sợi trục Hình1.1. Mô hình 2 nơ ron sinh học Thân Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 20 b/ Hoạt động. Các tín hiệu đưa ra bởi một synapte và được nhận bởi các dendrite là các kích thích điện tử. Việc truyền tín hiệu như trên liên quan đến một quá trình hóa học phức tạp mà trong đó các chất truyền đặc trưng được giải phóng từ phía gửi của nơi tiếp nối. Điều này làm tăng hay giảm điện thế bên trong thân của nơ ron nhận. Nơ ron nhận tín hiệu sẽ kích hoạt (fire) nếu điện thế vượt khỏi một ngưỡng nào đó và một xung (hoặc điện thế hoạt động) với độ mạnh (cường độ) và thời gian tồn tại cố định được gửi ra ngoài thông qua axon tới phần nhánh của nó rồi tới các chỗ nối synapte với các nơ ron khác. Sau khi kích hoạt, nơ ron sẽ chờ trong một khoảng thời gian được gọi là chu kỳ, trước khi nó có thể được kích hoạt lại. Synapses là hưng phấn (excitatory) nếu chúng cho phép các kích thích truyền qua gây ra tình trạng kích hoạt (fire) đối với nơ ron nhận. Ngược lại, chúng là ức chế (inhibitory) nếu các kích thích truyền qua làm ngăn trở trạng thái kích hoạt (fire) của nơ ron nhận. 1.3.2. Mạng nơ ron nhân tạo. 1.3.2.1. Khái niệm. Nơ ron nhân tạo là sự sao chép nơ ron sinh học của não người, nó có những đặc tính sau: - Mỗi nơ ron có một số đầu vào, những kết nối (Synaptic) và một đầu ra (axon) - Một nơ ron có thể hoạt động (+35mV) hoặc không hoạt động (-0,75mV) - Chỉ có một đầu ra duy nhất của một nơ ron được nối với các đầu vào khác nhau của nơ ron khác. Điều kiện để nơ ron được kích hoạt hay không kích hoạt chỉ phụ thuộc những đầu vào hiện thời của chính nó.Thông thường một nơ ron có 3 phần như hình 1.2: Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 21 Trên mỗi đầu vào của nơ ron có gắn một trọng số để liên kết giữa nơ ron thứ i và nơ ron thứ j. Các trọng số này tương tự như các tế bào cảm giác của mạng nơ ron sinh học. Tổng trọng: Vi(t) = neti(t) = ik N j M k j tuty     )(.W)(.W 1 1 ik * ij (1.1) Với Vi(t) là tổng trọng của nơ ron thứ i; yj(t) là các đầu ra của nơ ron thứ jvà uk(t) là các đầu vào từ bên ngoài tương ứng với các trọng số Wij và W * ik;  là hằng số gọi là ngưỡng của nơ ron thứ i. Hệ động học tuyến tính SISO: Đầu vào là vi đầu ra là xi. Ở dạng toán tử Laplace ta có: Xi(s)= H(s).Vi(s) (1.2) Dạng thời gian của (1.2) có dạng (1.3)    t ii dvthtx  )()()( (1.3) vi xi yi Wij Wi1 WiN  W * i1 W * ik W * iM  Hệ động học tuyến tính Hàm động học phi tuyến a(.) y1 yj ym u1 uk uM 1 Hình 1.2. Mô hình nơ ron nhân tạo Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 22 Quan hệ của H(s) và h(t) và quan hệ vào – ra tương ứng của nơ ron được cho trong bảng 1.1 H(s) 1 s 1 1 1 sT sTe h(t) )(t 1(t) T t e T 1 )( Tt  xi(t) = wi(t) xi(t) = vi(t) Txi(t) +xi(t) = vi(t) xi(t) = vi(t-T) Bảng 1.1 Hàm động học phi tuyến: Mô tả mối quan hệ của đầu ra yi với đầu vào xi: yi=a(xi) với a(.) là hàm chuyển đổi. Hàm chuyển đổi: Để tìm được đầu ra của nơ ron ta phải tiến hành qua hai bước như sau: - Tìm các giá trị tổng trọng lượng đầu vào neti(t) - Căn cứ vào neti(t) để tìm ra yi bằng các hàm chuyển đổi vào ra. Hàm chuyển đổi a(.) thực hiện coi nơ ron như một hộp đen, chuyển đổi một tín hiệu vào thành tín hiệu ra.Các dạng hàm chuyển đổi thường được sử dụng có dạng như sau: + Hàm Rump (Rump Function) là hàm có biểu diễn toán học như (1.4): (1.4) Biểu diễn hình học của hàm Rump như hình vẽ 1.3.a + Hàm bước nhảy (Step Function) là hàm có biểu diễn toán học như (1.5): (1.5) 1 nếu f > 1 a(f) = f nếu 0 f  1 0 nếu f < 0 1 nếu f  0 a(f) = 0 nếu f < 0 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 23 Biểu diễn hình học của hàm như hình vẽ 1.3.b + Hàm giới hạn cứng (Threshold Function) là hàm có biểu diễn toán học như (1.6): (1.6) Biểu diễn hình học của hàm như hình vẽ 1.3.c + Hàm sigmoid hai cực (Bipolar Sigmoid Function) là hàm có biểu diễn toán học như (1.7): a(f) = 1 1 2    fe  (1.7) Biểu diễn hình học của hàm như hình vẽ 1.3d 1.3.2.2. Phân loại mạng nơ ron. Nelson và IIlingworth (1991) đã đưa ra mộy số loại cấu trúc của mạng nơ ron như hình 1.4. Nơron được vẽ là các vòng tròn xem như một tế bào thần kinh, chúng có các mối liên hệ đến các nơ ron khác nhờ các trọng số, lập thành các ma trận trọng số tương ứng. 1 nếu f  0 a(f) = -1 nếu f < 0 Hình 1.3.d Hàm Sigmoid hai cực 0 a f 1 1 0 a f 1 0 a f -1 1 Hình 1.3a. Hàm Rump Hình 1.3b. Hàm bước nhảy Hình 1.3b. Hàm giới hạn cứng Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 24 Mỗi một nơ ron có thể phối hợp với các nơ ron khác tạo thành một lớp các trọng số. Mạng một lớp truyền thẳng (Single- Layer Feedforward Network) như hình 1.4 a Có thể nối vài lớp nơ ron với nhau tạo thành mạng nhiều lớp truyền thẳng (Multi- Layer Feedforward Network) như hình 1.4.b Hai loại mạng nơ ron một lớp và nhiều lớp được gọi là truyền thẳng nếu đầu ra của mỗi nơ ron được nối với các đầu vào của các nơ ron của lớp trước đó. Mạng nơ ron phản hồi là mạng mà đầu ra của mỗi nơ ron được quay trở lại nối với đầu vào của các nơ ron cùng lớp được gọi là mạng Laeral như hình 1.4.c Mạng nơ ron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơ ron hồi quy (Recurrent Network) như hình 1.4.d Các nơ ron lớp vào trực tiếp nhận tín hiệu ở đầu vào, ở đó mỗi nơ ron chỉ có một tín hiệu vào. Mỗi nơ ron ở lớp ẩn được nối với tất cả các nơ ron lớp vào và lớp ra. Các nơ ron ở lớp ra có đầu vào được nối với tất cả các nơ ron ở lớp ẩn, chúng là đầu ra của mạng. Cần chú ý rằng một mạng nơ ron cũng có thể có nhiều lớp ẩn. Các mạng nơ ron trong mỗi nơ ron chỉ được liên hệ với tất cả các nơ ron ở lớp kế tiếp và w11 wmm y1 y2 ym x1 x2 xm Hình 1.4.a y1 y2 ym x1 x2 xm Hình 1.4.b Hình 1.4.c y1 y2 ym x1 x2 xm w11 wmm y1 y2 ym x1 x2 xm Hình 1.4.d Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 25 tất cả các mối liên kết chỉ được xây dựng từ trái sang phải được gọi là mạng nhiều lớp truyền thẳng (perceptrons). 1.3.2.3. Các luật học. Thông thường mạng nơ ron được điều chỉnh hoặc được huấn luyện để hướng các đầu vào riêng biệt đến đích ở đầu ra. Cấu trúc huấn luyện mạng được chỉ ra trên hình 1.5 Ở đây, hàm trọng của mạng được điều chỉnh trên cơ sở so sánh đầu ra với đích mong muốn (taget) cho tới khi đầu ra mạng phù hợp với đích. Những cặp vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng. Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đến mạng và giá trị ra tương ứng được thực hiện bằng mạng là sự xem xét và so sánh với giá trị mong muốn. Bình thường tồn tại một sai số bởi lẽ giá trị mong muốn không hoàn toàn phù hợp với giá trị thực. Sau mỗi lần chạy, ta có tổng bình phương của tất cả các sai số. Sai số này được sử dụng để xác định các hàm trọng mới. Sau mỗi lần chạy, hàm trọng của mạng được sửa đổi với đặc tính tốt hơn tương ứng với đặc tính mong muốn. Từng cặp giá trị vào/ra phải được kiểm tra và trọng lượng được điều chỉnh một vài lần. Sự thay đổi các hàm trọng của mạng được dừng lại nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt trước hoặc đã chạy đủ một số lần chạy xác định (trong trường hợp này mạng có thể không thoả mãn yêu cầu đặt ra do sai lệch còn cao). Có hai kiểu học: - Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số về trọng số, cập nhật kết nối giữa các nơ ron. Đích So sánh Hàm trọng (weights) giữa các nơ ron Vào Điều chỉnh Hình 1.5. Cấu trúc huấn luyện mạng nơ ron Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 26 - Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của mạng nơ ron gồm số lượng nút (node) và các mẫu liên kết Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơ ron có sẵn. Để làm được việc đó, mạng nơ ron sử dụng các trọng số điều chỉnh, với nhiều phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng.Có ba phương pháp học: - Học có giám sát ( Supervised Learning). Là quá trình học ở mỗi thời điểm thứ i khi đưa tín hiệu xi vào mạng nơ ron, tương ứng sẽ có các đáp ứng mong muốn di của đầu ra cho trước ở thời điểm đó. Hay nói cách khác, trong quá trình học có giám sát, mạng nơ ron được cung cấp liên tục các cặp số liệu mong muốn vào –ra ở từng thời điểm (x1 ,d1), (x2, d2),… (xk, d k),…khi cho tín hiệu vào thực là xk sẽ tương ứng có tín hiệu đầu ra cũng được lặp lại là dk giống như mong muốn. Kết quả của quá trình học có giám sát là tạo được một hộp đen có đầu vào là véc tơ tín hiệu vào X sẽ đưa ra được câu trả lời đúng d. Để đạt được kết quả mong muốn trên, khi đưa vào tín hiệu xk, thông thường sẽ có sai lệch ek giữa tín hiệu đầu ra thực yk với tín hiệu đầu ra mong muốn dk. Sai lệch đó sẽ được truyền ngược tới đầu vào để điều chỉnh thông số mạng nơ ron là ma trận trọng số W…Quá trình cứ thế tiếp diễn sao cho sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi cho phép, kết quả nhận được ma trận trọng số với các phần tử wij đã được điều chỉnh phù hợp với đặc điểm của đối tượng hay hàm số mạng nơ ron cần học. Mô hình học có giám sát được minh hoạ nh._.ư hình 1.6 Mạng nơron Máy tính phát hiện sai x y d e Hình 1.6.Mô hình học có giám sát và học củng cố Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 27 - Học củng cố:(Reinforcement Learning). Là phương pháp học trong đó tín hiệu d được đưa từ bên ngoài nhưng không được đầy đủ mà có thể chỉ đưa đại diện 1 bít để có tính chất kiểm tra quá trình đúng hay sai. Tín hiệu đó được gọi là tín hiệu củng cố (Reinforcement Signal). Phương pháp học củng cố chỉ là một phương pháp học riêng của phương pháp học có giám sát, bởi vì nó cũng nhận tín hiệu chỉ đạo từ bên ngoài. Chỉ khác là tín hiệu củng cố có tính ước lượng hơn là để dạy. Tín hiệu giám sát bên ngoài d thường được tiến hành bởi các tín hiệu ước lượng để tạo thông tin ước lượng cho mạng nơ ron điều chỉnh trọng số với hy vọng sự ước lượng đó mang lại sự chính xác trong quá trình tính toán. Mô hình học củng cố được minh hoạ như hình 1.6 - Học không có giám sát (Unsupervied Learning). Trong trường hợp này, hoàn toàn không có tín hiệu ở bên ngoài. Giá trị mục tiêu điều khiển không được cung cấp và không được tăng cường. Mạng phải khám phá các mẫu, các nét đặc trưng, tính cân đối, tính tương quan… Trong khi khám phá các đặc trưng khác, mạng nơ ron đã chải qua việc tự thay đổi thông số, vấn đề đó được gọi tự tổ chức (Self- Organizing). Mô hình học không có giám sát được minh hoạ như hình 1.17 Cấu trúc chung của quá trình học được mô tả như hình 1.20. wij wim-1=  wi1 x(t) r y Máy phát tín hiệu học Nơ ron thứ i x1 x1 xj xm-1 xm= -1 d  wi Hình 1.8. Sơ đồ cấu trúc chung của quá trình học x y Hình1.7.Mô hình học không có giám sát Mạng nơron Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 28 Trong đó tín hiệu vào xj, j=1,2,3…,m, có thể được lấy từ đầu ra của các nơ ron khác hoặc có thể được lấy từ bên ngoài. Tín hiệu mong muốn di có sẵn chỉ có trong phương pháp học có giám sát hoặc củng cố. Từ hai phương pháp học trên, trọng số của nơ ron thứ i được thay đổi tuỳ theo tín hiệu ở đầu vào mà nó thu nhận và giá trị đầu ra của nó. Trong phương pháp học không có giám sát sự thay đổi của trọng số chỉ dựa trên cơ sở các giá trị đầu vào và đầu ra. Dạng tổng quát của luật học trọng số của mạng nơ ron là cho biết gia số của véc tơ wi là wi tỷ lệ với tín hiệu học r và tín hiệu đầu vào x(t): wi(t) = .r.x(t) (1.8) : Là hằng số học, xác định tốc độ học và là một số dương r: Là tín hiệu học r = fr(wi,x,d i ) (1.9) Biểu thức (1.8) là biểu thức chung để tính số gia của trọng số, ta thấy trọng số wi = (wi1, wi2, …, wim) T có gia số tỷ lệ với tín hiệu vào x và tín hiệu học r. Từ các biểu thức trên ta có véc tơ trọng số ở thời điểm (t+1) được tính là: w i(t+1) = wi(t) + .fr{wi (t), x(t), d i (t)}.x(t) (1.10) Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám sát hay không có giám sát là tín hiệu học r như thế nào để thay đổi hoặc cập nhật trọng số có trong mạng nơ ron. Có 2 phương pháp cơ bản để huấn luyện mạng nơ ron: Huấn luyện gia tăng (tiến dần) và huấn luyện theo gói. Sự huấn luyện theo gói của mạng nhận được bằng việc thay đổi hàm trọng và độ dốc trong một tập (batch) của véc tơ đầu vào. Huấn luyện tiến dần là thay đổi hàm trọng và độ dốc của mạng sau mỗi lần xuất hiện của một phần tử véc tơ đầu vào. Huấn luyện tiến dần đôi khi được xem như huấn luyện trực tuyến hay huấn luyện thích nghi. Mạng nơ ron đã được huấn luyện để thực hiện những hàm phức tạp trong nhiều lĩnh vực ứng dụng khác nhau như trong nhận dạng, phân loại sản phẩm, xử lý tiếng nói, chữ viết và điều khiển hệ thống. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 29 Thông thường để huấn luyện mạng nơron, người ta sử dụng phương pháp huấn luyện có giám sát, nhưng cũng có mạng thu được từ sự huấn luyện không có giám sát. Mạng huấn luỵện không giám sát có thể được sử dụng trong trường hợp riêng để xác định nhóm dữ liệu. 1.3.3. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron hồi quy. 1.3.3.1.Mạng nơ ron truyền thẳng. a/ Mạng nơ ron một lớp. Một cấu trúc toán học mạng 1 lớp với R đầu vào và S nơ ron được chỉ ra trên hình 1.9. Trong đó: -Véc tơ vào P có R phần tử PT = [p1 p2 … pR] -Véc tơ vào n có S phần tử nT = [n1 n2 … nS] -Véc tơ ra a có S phần tử aT = [a1 a2 … aS] Trong mạng này mỗi phần tử của véc tơ vào P liên hệ với đầu vào mỗi nơ ron thông qua ma trận trọng lượng liên kết W. Bộ cộng của nơ ron thứ i thu thập các trọng liên kết đầu vào và độ dốc để tạo thành một đầu ra vô hướng ni. Các ni tập hợp với nhau tạo thành s phần tử của véc tơ vào n. Cuối cùng ở lớp ra nơ ron ta thu được véc tơ a gồm s phần tử. Ta có thể thiết lập lớp đơn của các nơ ron có các hàm chuyển khác nhau một cách dễ dàng bởi lẽ hai mạng được đặt song song. Tất cả các mạng có thể có chung đầu vào và mỗi mạng có thể thiết lập một vài đầu ra. Các phần tử của véc tơ đầu vào được đưa vào mạng thông qua ma trận trọng W, với: . . . a = f(WP+b) (1.11) Hình1.9.Cấu trúc mạng nơ ron 1 lớp p1 w1,1 1 f n1 a1  b1 p2 p3 pR wS,R 1 f n2 a2  b2 1 f nS aS  bS Vào Các nơron . . . . . . Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 30 W              SR2S1S R22221 R11211 www www www     (1.12) Trong đó: Chỉ số hàng trong các phần tử của ma trận W cho biết nơ ron nơi đến còn chỉ số cột cho biết nơi xuất phát của trọng liên kết. Ví dụ: w12 nói lên sự có mặt của tín hiệu vào từ phần tử thứ hai đến nơ ron thứ nhất với trong liên kết là w12. Để đơn giản ta ký hiệu mạng một lớp gồm S nơ ron, R đầu vào như hình vẽ 1.10. Trong đó: véc tơ vào P có kích thước R, ma trận trọng liên kết W có kích thước S x R còn a và b là các véc tơ có kích thước S. Như chúng ta đã biết, một lớp mạng bao gồm ma trận trọng liên kết, toán tử nhân, véc tơ độ dốc b, bộ tổng và hàm truyền. b/. Mạng nơron nhiều lớp. Để khảo sát mạng nhiều lớp trước hết chúng ta cần đưa ra các ký hiệu qui ước cho một lớp mạng. Đặc biệt ta cần phải phân biệt sự khác nhau giữa ma trận trọng lượng liên kết ở đầu vào và các ma trận trọng liên kết giữa các lớp. Ta gọi ma trận trọng lượng liên kết nối với đầu vào là các trọng vào (input weights) và các ma trận đến từ lớp ra là trọng liên kết lớp (layer weights). Ta sẽ dùng các chỉ số viết bên trên để phân biệt nguồn (chỉ số thứ hai) và đích (chỉ số thứ nhất) cho các trọng liên kết và các phần tử khác của mạng. Để minh hoạ, ta xét một lớp mạng có nhiều đầu vào như hình 1.11. Trong đó R là số phần tử lớp vào và S1 là số nơron của lớp 1. Ta thấy ma trận trọng liên kết với véc tơ vào P là ma trận trọng vào (IW1,1) có nguồn là 1 (chỉ số thứ 2) và đích là P Hình 1.10. Ký hiệu mạng một lớp R đầu vào và S nơ ron a = f(WP+b) (1.13) f n W 1 R b + Sx1 a Sx1 Sx1 SxR Vào Nơ ron Rx1 S Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 31 1 (chỉ số thứ nhất). Đồng thời các phần tử của 1 lớp như độ dốc, tín hiệu vào hàm chuyển, đầu ra có chỉ số viết trên là 1 để nói rằng chúng được liên kết với lớp thứ nhất (b1, n1, a1). Một mạng nơ ron có thể có một vài lớp. Mỗi lớp có ma trận trọng liên kết W, véc tơ độ dốc b và đầu ra a. Để phân biệt các ma trận trọng liên kết véc tơ vào cho mỗi lớp mạng trong sơ đồ, ta thêm con số chỉ lớp viết ở phía trên cho biến số quan tâm. Hình 1.12 là ký hiệu sơ đồ mạng 3 lớp. Trong đó có R1 đầu vào, S1 nơ ron ở lớp 1, S2 nơron ở lớp 2 … Thông thường, các lớp khác nhau có số nơ ron khác nhau. Chú ý rằng đầu ra của mỗi lớp trung gian là đầu vào của lớp tiếp theo. Như vậy lớp 2 có thể được xem như mạng 1 lớp với S1 đầu vào, S2 nơ ron và S2 x S1 trọng liên kết của ma trận W2. Đầu vào của lớp 2 là véc tơ a1, đầu ra là véc tơ a2. Các lớp của mạng nhiều lớp đóng vai trò khác nhau. Lớp cuối cùng là kết quả ở đầu ra của mạng, được gọi là lớp ra. Lớp đầu tiên thu thập tín hiệu vào được gọi là lớp vào, các lớp khác được gọi là lớp ẩn. Mạng 3 lớp ở trên có 1lớp ra (lớp3) có 1lớp vào (lớp1) và 1lớp ẩn (lớp 2). Đối với mạng 3 lớp ta cũng có thể sử dụng ký hiệu tắt để biểu diễn (hình 1.13). Mạng nhiều lớp rất mạnh, ví dụ có mạng 2 lớp, trong đó lớp 1 có hàm chuyển sigmoid, lớp 2 có hàm chuyển linear có thể được huấn luyện để làm xấp xỉ một hàm bất kỳ (với số điểm gián đoạn có hạn chế). Trong đó a3 là đầu ra của mạng, ta ký hiệu đầu ra này là y. Ta sẽ sử dụng ký hiệu này để định rõ đầu ra của mạng nhiều lớp. P a 1 = f 1 (W 1,1 P+b 1 ) (1.14) f 1 n 1 1 R + S 1 x1 a 1 S 1 x1 S 1 x1 S 1 xR Vào Lớp 1 Rx1 S 1 W 1,1 Hình 1.11: Ký hiệu một lớp mạng b 1 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 32 1.3.3.2.Mạng nơ ron hồi quy. Mạng hồi quy còn được gọi là mạng phản hồi là loại mạng tự liên kết thành các vòng và liên kết hồi quy giữa các nơ ron. Mạng nơ ron hồi quy có trọng số liên kết đối xứng như mạng Hopfield luôn hội tụ về trạng thái ổn định. Mạng liên kết hai chiều (BAM) là mạng thuộc nhóm mạng nơ ron hồi quy hai lớp nơ ron liên kết tay đôi, trong đó đảm bảo nơ ron của cùng một lớp không liên kết với nhau, cũng hội tụ về trạng thái ổn định. Nghiên cứu mạng nơ ron hồi quy có trọng số liên kết không ………………………………………………………………………………………. b 2 S 1 2,3 1,1lw Hình 1.12. Cấu trúc mạng nơ ron 3 lớp a 1 = f 1 (W 1,1 P+b 1 ) f 1 n 1 1  b 1 1 1 f 1 n 1 2  b 1 2 1 f 1 n 1 S  b 1 S p1 1 p2 p3 pR Vào Lớp 1(lớp vào) a 2 = f 2 (W 2,1 a 1 +b 2 ) f 2 n 2 1 a 2 1 b 2 1 1 f 2 n 2 2 a 2 2 b 2 2 1 f 2 n 2 S a 2 S Lớp 2 (lớp ẩn) a 3 = f 3 (W 3,2 a 2 +b 3 ) (1.15) 1 n 3 1  b 3 1 1 n 3 2  b 3 2 1 n 3 S b 3 S f 3 a 3 1 f 3 a 3 2 f 3 a 3 S Lớp 3 (lớp ra) a 1 1 a 1 2 a 1 S 1,2 S,S 12 lw    2,3 S,S 23 lw 1,1 R,Siw 1,1 1,1iw  S1xR S2x1 Rx1 S 2 x1 a 1 a 2 a 3 = y P Hình 1.13. Ký hiệu tắt của mạng nơ ron 3 lớp 1 R S1 a 1 = f 1 (IW 1,1 P+b 1 ) n1 b1 + S 1 x1 S 1 x1 Vào Lớp 1 S 2 a 2 = f 2 (LW 2,1 a 1 +b 2 ) f2 n2 b2 + S 2 x1 S 2 xS 1 Lớp 2 LW 2,1 1 f1 S 3 a 3 = f 3 (LW 3,2 a 2 +b 3 ) f3 n3 b3 + S3x1 S 3 x1 S 3 xS 2 Lớp 3 LW 3,2 S 3 x1 1 a 3 = f 3 [LW 3,2 f 2 (LW 2,1 f 1 (IW 1,1 P+b 1 )+b 2 ]+b 3 = y (1.16) IW 1,1 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 33 đối xứng sẽ gặp nhiều phức tạp hơn so với mạng truyền thẳng và mạng hồi quy đối xứng. Mạng nơ ron hồi quy có khả năng về nhận mẫu, nhận dạng các hàm phi tuyến, dự báo … Một ưu điểm khác của mạng nơ ron hồi quy là chỉ cần mạng nhỏ hơn về cấu trúc cũng có khả năng như mạng truyền thẳng có cấu trúc lớp hơn. a/ Mạng nơ ron hồi quy không hoàn toàn (Partially Recrrent Networks). Là mạng đó dựa trên cơ sở mạng lan truyền ngược vì cấu trúc hồi quy. Cấu trúc của mạng hồi quy không hoàn toàn phần lớn là cấu trúc truyền thẳng nhưng có cả sự lựa chọn cho một bộ phận có cấu trúc hồi quy.Trong nhiều trường hợp, trọng số của cấu trúc hồi quy được duy trì không đổi, như vậy luật học truyền ngược có thể dễ dàng được sử dụng. Trong các mạng loại này, sự truyền thẳng được xảy ra rất nhanh hoặc không phụ thuộc vào thời gian, trong khi đó tín hiệu hồi quy được thực hiện có tính thời gian. Mạng có thể nhận mẫu dãy dựa vào tình trạng cuối cùng của dãy và có thể dự báo tiếp theo cho tín hiệu của dãy theo thời gian. Như vậy, mạng hồi quy không hoàn toàn về cơ bản là mạng tryền thẳng , liên kết hồi quy có thể đi từ các nút ở các lớp ra hoặc lớp ẩn. b/ Mạng nơ ron hồi quy hoàn toàn (Fully Recrrent Networks). Là một trong những loại mạng nơ ron hồi quy đầu tiên được Gossberg xây dựng để học và biểu diễn các mẫu bất kỳ loại mạng này được xây dựng theo mẫu Instar- Outstar. Loại mạng hồi quy hoàn toàn có tác dụng nhận số lượng mẫu nhiều nhơn. Với mạng hồi quy hoàn toàn đã hình thành quan điểm thực hiện và luyện mạng hồi quy từ mạng truyền thẳng nhiều lớp được xây dựng từ một lớp cho mỗi bước tính. Khái niệm này được gọi là lan truyền ngược theo thời gian phù hợp khi quan tâm đến các dãy với độ lớn T là nhỏ. Nó đã được sử dụng học P f 1 n 1 1 R + S 1 x1 a 1 S 1 x1 S 1 x1 S 1 xR Vào Lớp 1 Rx1 S 1 W 1,1 Hình 1.14. Ký hiệu một lớp mạng hồi quy b 1 Wph Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 34 cho máy ghi cho nhiệm vụ thực hiện các dãy. Nó có khả năng áp dụng cho điều khiển thích nghi. Hình 1.14 là mạng nơ ron một lớp hồi quy. Hình 1.15 là mạng nơ ron nhiều lớp hồi quy 1.4.QUÁ TRÌNH HUẤN LUYỆN MẠNG NHIỀU LỚP. Chúng ta đã biết, mạng nơ ron nhiều lớp có thể xấp xỉ gần đúng một hàm bất kỳ, tiếp đó là thủ tục tính chọn các thông số của mạng (các hàm trọng lượng và độ dốc) cho một đối tượng cụ thể được gọi là quá trình huấn luyện mạng. Trong phần này chúng ta sẽ chỉ ra một phương pháp huấn luyện là phương pháp lan truyền ngược. Kỹ thuật cơ bản của phương pháp lan truyền ngược là cập nhật trọng số theo hướng giảm độ dốc. Như đã nêu, mạng nhiều lớp có đầu ra của lớp trước là đầu vào của lớp tiếp theo. Sơ đồ cấu trúc được cho như hình vẽ 1.13. Biểu thức toán học mô tả sự hoạt động như (1.17): a m+1 = f m+1 (w m+1 .a m + b m+1 ). Với m = 0,1,2,…M-1. (1.17) Trong đó M là số lớp nơ ron trong mạng. Các nơ ron của lớp thứ nhất nhận tín hiệu đầu vào từ bên ngoài: a0 = p (1.18) Đầu ra của các nơ ron ở lớp cuối cùng của mạng được coi là đầu ra của mạng: y = a m (1.19) 1.4.1.Quá trình thực hiện. S1xR S2x1 Rx1 S 2 x1 a 1 a 2 a 3 = y P Hình 1.15. Ký hiệu tắt của mạng nơron 3 lớp hồi quy 1 R S1 n1 b1 + S 1 x1 S 1 x1 Vào Lớp 1 S 2 f2 n2 b2 + S 2 x1 S 2 xS 1 Lớp 2 LW 2,1 1 f1 S 3 f3 n3 b3 + S3x1 S 3 x1 S 3 xS 2 Lớp 3 LW 3,2 S 3 x1 1 IW 1,1 Wph Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 35 Thuật toán lan truyền ngược của mạng nhiều lớp là một phương pháp làm giảm độ dốc. Phương pháp này được dùng để cập nhật những thông số sao cho giảm thiểu sai số của mô hình. Sai số được đo bằng phương pháp trung bình bình phương sai lệch. Tập hợp mẫu vào ra được cho dưới dạng như (1.20): (1.20) Trong đó pq là một đầu vào của mạng, và tq tương ứng là một đầu ra. Mỗi một đầu vào tác động vào mạng sẽ có một đầu ra thực được so sánh với đáp ứng mẫu. Hàm thông số của mạng được xác định theo biểu thức tổng bình phương sai lệch cực tiểu như (1.21): F(x) = 2 11 2 )( q Q q q Q q q ate   (1.21) Trong đó x là véc tơ bao gồm cả trọng số liên kết và độ dốc của mạng. Nếu mạng có nhiều đầu ra thì biểu thức tổng quát được tính như (1.22): F(x) = )()( 11 qq T q Q q q Q q q T q atatee   (1.22) Sử dụng phương pháp xấp xỉ quen thuộc, chúng ta sẽ thay thế tổng bình phương sai lệch bằng sai lệch của đáp ứng hiện tại: )}()({)}()({)( kaktkaktxF T   (1.23) Trong đó bình phương sai lệch mong muốn đã được thay thế bằng bình phương sai lệch tại thời điểm k. Thuật toán giảm độ dốc theo phương pháp xấp xỉ bình phương sai lệch là: m ji m ji m ji w F kwkw , ,, )()1(      (1.24) m i m i m i b F kbkb     )()1( (1.25) Trong đó  là tốc độ học. 1.4.2.Qui tắc chuỗi. p1,t1 p2,t2 pQ,tQ … Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 36 Với mạng một lớp tuyến tính thì các thành phần đạo hàm trong công thức (1.24) và (1.25) được tính dễ dàng và tiện lợi, từ đó sai lệch có thể được viết như một hàm tuyến tính của các trọng số. Với mạng nhiều lớp, sai lệch là hàm ẩn của các hàm trọng lượng ở các lớp ẩn, vì thế các phép đạo hàm sẽ tính khó khăn. Bởi vì sai lệch là hàm ẩn của các trọng số ở các lớp ẩn nên chúng ta sẽ sử dụng qui tắc chuỗi toán học để tính đạo hàm riêng trong các biểu thức (1.24) và (1.25) m ji m i m ji wn F w F , m i , n x         (1.26) m i m i m i bn F b F         m inx (1.27) Số hạng thứ hai trong mỗi công thức có thể được tính dễ dàng vì đầu vào lớp mạng thứ m là hàm hiện của trọng số và độ dốc của lớp ấy: m i m j S j m ji m i bawn m    . 1 , (1.28) Do đó: 1; ,       m i m im jm ji m i b n a w n (1.29) Nếu chúng ta định nghĩa: m i m i n F S     (1.30) thì công thức (1.26) và (1.27) có thể được đơn giản hoá như (1.31), (1.32): 1 , .      m j m im ji as w F (1.31) m im i s b F     (1.32) Đến đây chúng ta có thể biểu diễn thuật toán xấp xỉ để giảm độ dốc như (1.33), (1.34): Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 37  )1(, kw m ji 1 , .)(  mj m i m ji aSkw  (1.33) m i m i m i Skbkb  )()1( (1.34) Khi đó ta có ma trận dạng (1.35), (1.36): W m (k+1) = W m (k) - Sm.( am-1)T (1.35) B m (k+1) = b m (k) - Sm (1.36) Trong đó các phần tử riêng của S được tính theo công thức (1.32) 1.4.3. Độ chính xác của thuật toán lan truyền ngược. Việc còn lại bây giờ là chúng ta tính toán độ chính xác Sm, nó cần đến các ứng dụng khác của qui tắc chuỗi. Đó là quá trình chúng ta cho số hạng lan truyền ngược, bởi vì nó diễn tả mối liên hệ phản hồi và độ chính xác ở lớp m được tính từ độ chính xác của lớp m+1: S m = - 2.Ḟm (nm). (t-a) (1.37) S m = Ḟm (nm). (wm+1)T.Sm+1 . m = M-1… 2,1 (1.38) Trong đó mF (n m ) có dạng như (1.39).                        )(....................00 0)........(0 0..................0)( )( 2 1 m s m m m m m m m nf nf nf nF (1.39) 1.4.4.Biến thể của thuật toán lan truyền ngược. Trong một số trường hợp sẽ là không thích hợp với thuật toán mà chúng ta thường quy vào như lan truyền ngược cho bởi biểu thức (1.35) và (1.36). Trên thực tế, thường là thuật toán giảm độ dốc nhất. Ở đây có nhiều thuật toán khả quan sử dụng các biến thể của giải thuật lan truyền ngược, trong đó các đạo hàm được xử lý từ lớp cối cùng đến lớp đầu tiên của mạng được tính theo công thức (1.37),(1.38). Ví dụ: Kết hợp giữa độ dốc và thuật toán Newton ([Shan 90], [Scanl 185], [Char 92]) thông thường cho độ chính xác hơn giải thuật giảm độ dốc nhất. Ngày Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 38 nay, khi cần thiết người ta có thể sử dụng giải thuật tương tự như lan truyền ngược để tính toán các đạo hàm riêng. Thuật toán Levenberg- Marqanrdt rất chính xác cho việc huấn luyện mạng cỡ nhỏ và trung bình và nó được sử dụng một thuật toán tương tự với thuật toán lan truyền ngược được cho bởi biểu thức (1.38). Để hiểu rõ các thuật toán trên, chúng ta sẽ phân tích trong phần sử dụng thuật toán lan truyền ngược, đó là các phép tính đạo hàm được xử lý từ lớp cuối cùng đến lớp đầu tiên. Đó chính là lý do để người ta gọi là thuật toán lan truyền ngược. Một sự khác biệt của thuật toán là kết quả của các phép đạo hàm được sử dụng để cập nhật các trọng số. 1.4.5.Tổng quát (Phép nội suy và ngoại suy). Chúng ta đã biết mạng nhiều lớp có khả năng làm xấp xỉ gần đúng các hàm bất kỳ, nhưng chúng ta chưa đề cập đến vấn đề tính chọn số nơ ron và số lớp cần thiết để đạt được một độ chính xác nhất định nào đó, chúng ta chưa đề cập đến vấn đề huấn luyện theo dữ liệu mẫu phải được chọn như thế nào. Môt bí quyết xác định đủ số lượng nơ ron để đạt được mức độ phức tạp của hàm biên mà không cần quan tâm đến quá trình huấn luyện dữ liệu đó là trong trường hợp không cập nhật trạng thái mới. Nếu không, chúng ta cần phải có đủ quá trình huấn luyện dữ liệu để mô tả tương xứng hàm biên. Để minh hoạ cho việc chúng ta có thể huấn luyện mạng, ta xét ví dụ tổng quát dưới đây.Quá trình huấn luyện mạng được khái quát hoá theo biểu thức (1.40): tq = g(pq) + eq (1.40) Trong đó pq là tập hợp các đầu vào; g( ) là hàm biên mà chúng ta muốn xấp xỉ gần đúng; eq là sai số đo của nhiễu và tq là tập hợp các đầu ra (đáp ứng của mạng). Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 39 Trên hình vẽ cho biết : Hàm biên g( ) (có nét đậm), Giá trị đích của quá trình học là tq (các vòng tròn ), đáp ứng đầu ra thực tương ứng vớp các đầu vào là aq (vòng tròn nhỏ có gạch chéo bên trong) và đáp ứng toàn bộ của quá trình huấn luyện là đường nét mảnh. Trong ví dụ trên hình vẽ 1.16a, đó là quá trình huấn luyện cho một mạng cỡ lớn sử dụng phương pháp bình phương sai lệch cực tiểu. Quá trình học dựa trên 15 mẫu cho trước, chúng ta có thể thấy được độ chính xác với giá trị đích tại mỗi điểm trong quá trình học. Tuy nhiên, đáp ứng toàn bộ của mạng lại không có khả năng đạt được tới đường biên. Điều đó có 2 nguyên nhân chủ yếu là: Thứ nhất do mạng có lượng quá điều chỉnh trong quá trình huấn luyện, đáp ứng của mạng quá phức tạp vì mạng có nhiều thông số độc lập. Vấn đề thứ hai ở đây là trong quá trình huấn luyện không nhận giá trị p< 0, nên các nơ ron( bao gồm cả dữ lệu cơ sở và các phương pháp xấp xỉ ) không thể đáp ứng được yêu cầu ngoại suy chính xác. Nếu một đầu vào mạng mà nằm ngoài phạm vi bao phủ của dữ liệu huấn luyện thì đáp ứng của mạng sẽ luôn bị sai. Rất ít khi chúng ta làm cho mạng biển diễn ra ngoài phạm vi của dữ liệu học, chúng ta có thể làm cho mạng có khả năng nội suy giữa các điểm dữ liệu. Quá trình Hình 1.16a. Đáp ứng của mạng khi sử dụng thuật toán bình phương sai lệch cực tiểu Hình 1.16b. Đáp ứng của mạng khi sử dụng thuật toán Bayesian Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 40 khái quát hoá có thể đạt được sự đa dạng của các phương pháp kỹ thuật. Một phương pháp được gọi là sự dừng sớm, nhiệm vụ của chúng ta là phân chia dữ liệu huấn luyện theo biến dữ liệu đặt. Sự biểu diễn mạng dựa trên biến đặt sẽ được chỉ đạo trong suốt quá trình học. Trong giai đoạn đầu của quá trình huấn luyện thì biến sai lệch giảm, khi bắt đầu có lượng quá điều chỉnh thì biến sai lệch cũng bắt đầu tăng và tại các điểm quá trình huấn luyện được dừng lại. Thêm một phương pháp kỹ thuật nữa làm cho mạng tổng quát hoá được gọi là sự làm đúng theo quy tắc. Với phương pháp biểu diễn chỉ số so sánh làm thay đổi đến số hạng đem đến sự phức tạp cho mạng, số hạng bất lợi đó là tổng bình phương của các hàm trọng lượng: F(x)= 2 , 1 )( k ji Q q q T q wee     (1.41) Một bí quyết của phương pháp trên là sự lựa chọn đúng thông số ρ. Nếu giá trị của nó lớn thì đáp ứng của mạng sẽ bằng phẳng và sẽ xấp xỉ không chính xác được hàm biên. Nếu giá trị của ρ quá nhỏ thì mạng có sự quá điều chỉnh. Một trong các phương pháp thành công nhất trong việc lựa chọn ρ tốt nhất là quy tắc Bayesian ([Mack 92] và [FoHa 97]). Trên hình 1.16b. cho thấy đáp ứng của mạng khi mạng được huấn luyện theo quy tắc Bayesian. Chú ý rằng đáp ứng của mạng có độ chính xác phù hợp không dài hơn các điểm dữ liệu huấn luyện. Nhưng nhìn chung đặc tính đầu ra của mạng lại sát vào nhau hơn so với hàm biên trong phạm vi của dữ liệu huấn luyện. Tuy nhiên, với quy tắc Bayesian đáp ứng của mạng không tính toán được ngoài phạm vi dữ liệu huấn luyện. Như chúng ta đã đề cập trước đây là chúng ta không thể đòi hỏi mạng tính toán ngoại suy. Nếu chúng ta muốn đáp ứng của mạng chính xác từ đầu đến cuối thì ta cần phải cung cấp dữ liệu huấn luyện trong suốt phạm vi đó. Điều đó sẽ khó khăn hơn đối với trường hợp mạng có nhiều đầu vào. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 41 1.5. CÔNG NGHỆ PHẦN CỨNG SỬ DỤNG MẠNG NƠ RON. Mạng nơ ron nhân tạo được dùng để xây dựng các chip mang lại nhiều lợi ích với bản chất cấu trúc phân bố song song của sự gia công thông tin như các nơ ron sinh học. Chíp nơ ron có thể được sử dụng làm các bộ đồng xử lý trong các máy tính thông thường và trong việc tính toán. Trong phần cứng, mạng nơ ron có thể sử dụng vào nhiều lĩnh vực. Mạng nơ ron có thể sử dụng với các chức năng như các phần tử analog hoặc digital thay thế cho các phần tử điện tử thông thường. Các chíp analog có một tiềm năng to lớn về sử lý tốc độ cao và kinh tế hơn chip digital cùng loại, các chip digital cũng có ưu điểm là có độ chính xác cao và dễ chế tạo hơn. Ở phần tử analog, các trọng số liên kết mã hoá được với các phần tử điện trở, điện cảm và điện dung. Các mức của các nút hoạt hoá (cường độ của tín hiệu) được đặc trưng bằng các đại lượng dòng và áp.Ví dụ như lưới silic (Silicon Retina) là một mạng chip analog có thể cạnh tranh được với lưới sinh học (Biologcal Retina) Công nghệ digital có thể áp dụng để chế tạo các chip nơ ron. Vấn đề này được Hammestrom và Means (1990) đề cập đến. Khả năng khác là xung học là đặc trưng cho trọng số và cường độ tín hiệu. Xung học phản ánh tương ứng với tần suất hoặc khả năng của nơ ron hoạt hoá, tái tạo điều biến quan sát được như của mạng nơ ron sinh học. Phép nhân của 2 xung học tương ứng với phép AND trong mạch logic, phép cộng của 2 xung học tương ứng với phép OR trong mạch logic. Trong hướng của thuật học, có một vài chọn lọc, các trọng số trong một chip nơ ron cần cố định trước như ROM(Read Only Memory), bộ nhớ có thể chương trình hoá PROM (Programmable ROM), bộ nhớ có thể xoá và lập trình được EPROM(Erasable PROM), hoặc bộ nhớ đọc / ghi RAM (Random Access Memory). Mạng nơ ron mở ra một hướng quan trọng về công nghệ, với ưu thế nổi bật của mạng nơ ron là khả năng truyền tín hiệu song song ở các chip nơ ron do đó tốc độ truyền tín hiệu rất cao, đặc trưng này không có ở các chip điện tử truyền thống. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 42 1.6. SO SÁNH KHẢ NĂNG CỦA MẠNG NƠ RON VỚI MẠCH LOGIC. - Mạng nơ ron dùng ở các dạng mức (0,1), (-1,1) ở dạng liên tục như hàm chuyển đổi sigmoid và dạng phi tuyến. Do đó phần tử logic chỉ là một trường hợp riêng của mạng nơ ron - Khả năng lập trình được của mạng nơ ron là rất tốt, thay vì phương pháp lắp giáp phần cứng không lập trình được của mạch logic. - Ưu điểm nổi bật của mạng nơ ron là khả năng truyền tín hiệu song song làm tăng tốc độ xử lý và tính toán. - Ngay ở một phần tử nơ ron cũng có thể được coi là một hệ điều khiển trong mạch vì nó có đầy đủ các thành phần: ngưỡng, tín hiệu vào- ra, phản hồi, bộ tổng. Trong khi đó mạch logic chỉ là một phần tử hoặc một mạch điện tử. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 43 KẾT LUẬN CHƢƠNG 1 1.Qua phân tích mô hình mạng nơ ron ta thấy mạng nơ ron có các tính chất sau: - Là hệ phi tuyến. - Là hệ xử lý song song. - Là hệ học và thích nghi, mạng được luyện từ số liệu quá khứ, có khả năng tự chỉnh khi số liệu đầu vào bị mất. - Là hệ nhiều biến, có nhiều đầu vào / ra (MIMO) rất tiện dùng khi điều khiển đối tượng có nhiều biến số. - Có khả năng học và làm xấp xỉ các hàm toán học bất kỳ với độ chính xác tùy ý. 2.So sánh mạng nơ ron truyền thẳng nhiều lớp với mạng nơ ron hồi quy nhiều lớp ta thấy mạng nơ ron truyền thẳng nhiều lớp đơn giản hơn vì mạng nơ ron hồi quy nhiều lớp có thêm các liên kết phản hồi. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 44 CHƢƠNG II. CÁC PHƢƠNG PHÁP ỨNG DỤNG MẠNG NƠ RON TRONG NHẬN DẠNG VÀ ĐIỀU KHIỂN 2.1.CÁC VẤN ĐỀ CHUNG. Mạng nơ ron đã được ứng dụng thành công trong nhiều lĩnh vực như: các hệ thống điều khiển, xử lý hình ảnh, tiếng nói , tối ưu, truyền thông, y học… Vì có yêu cầu ngày càng tăng về điều khiển, các hệ thống động học phức tạp với điều kiện thông tin không đầy đủ hoặc không xác định nên việc sử dụng mạng nơ ron rất hấp dẫn bởi khả năng học tập để xấp xỉ hàm và phân loại mẫu của mạng. Ngoài ra còn bởi tính xử lý song song mạnh mẽ của phần cứng thực thi mạng. Thông thường người ta hay dùng mạng nơ ron truyền thẳng nhiều lớp với luật dạy học có giám sát. Ưu điểm lớn nhất của các mạng loại này là khả năng tổng quát hoá ánh xạ đầu vào- đầu ra để có thể xấp xỉ bất cứ hàm nào với độ chính xác tuỳ ý. Chủ yếu mạng nơ ron sử dụng để nhận dạng và điều khiển hệ thống. 2.2 CÁC PHƢƠNG ỨNG DỤNG MẠNG NƠ RON TRONG NHẬN DẠNG. 2.2.1. Cơ sở lý luận. Trong nhận dạng hệ thống, để mô hình hoá quan hệ đầu vào - đầu ra của hệ thống động học, mạng được học tập bằng tập hợp dữ liệu đầu vào đầu ra, còn trọng số được điều chỉnh bằng thuật toán lan truyền ngược. Dễ nhận thấy rằng ánh xạ tĩnh phi tuyến sinh ra có thể thể hiện thoả đáng mọi hành vi động học của hệ thống trong khoảng quan tâm. Để điều đó trở thành hiện thực, cần cung cấp cho mạng nơ ron thông tin về quá khứ của hệ thống, thông thường là các trễ đầu vào và đầu ra. Phụ thuộc vào độ chính xác mong._.ng Hình 3.4. Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu với thuật toán lan truyền ngược Lan truyền ngƣợc Hình 3.5. Sơ đồ động học rôbôt hai khâu 1q 2q 11 I,m 22 I,m 3m 1l 2l 2cl Y X 1cl Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 70 m3 là khối lượng tải của rô bốt. Theo [3] phương trình Lagrangian mô tả động học cho rô bốt hai khâu như (3.14): (3.14) Với: H11 = I1+ I2 + m1 2 1cl + m2 [ )cos(2 221 2 2 2 1 qllll cc  ] + m3 [ )cos(2 221 2 2 2 1 qllll  ]; H12 = H21 = m2 [ )cos(2 221 2 2 qlll  ] + m3 [ )cos(2 221 2 2 qlll  ]; H22 = m2 2 2l + m3 2 2l ; (3.15) h = m2l1lc2sin(q2); g1 = m1lc1gcos(q1) + m2g [ lc2cos(q1+q2) + l1cos(q1) ]; g2 = m2lc2gcos(q1+q2). Phương trình động học mô tả mối quan hệ vào – ra có dạng như (3.16):                                                               2 1 1121 1222 211121 2 11121221 212122 2 11221222 21122211 2 1 . )2( )2( 1   HH HH gHgHqhHqqqhH gHgHqhHqqqhH HHHH q q (3.16) 3.2.3.Thiết lập mạng nơ ron nhận dạng. 3.2.3.1.Thiết lập sơ đồ nhận dạng. Viết lại (3.16) ta được: ),,,,(),,,,( 321211322 . 11 . 11 .. mqqumqqqqfq  (3.17) ),,,,(),,,,( 321212322 . 11 . 22 .. mqqumqqqqfq  (3.18) với: H11 H12  1q -h  2q -hq1- h  2q  1q g1 1 H21 H22  2q + h  1q 0 .  2q + g2 = 2 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 71 )2( (.)f 21122211 212122 . 2 1122 . 1 . 2 . 22 1 HHHH gHgHqhHqqqhH    ; 21122211 122221 1(.)u HHHH HH     21122211 211121 . 2 1112 . 1 . 2 . 21 2 )2( (.)f HHHH gHgHqhHqqqhH    ; 21122211 211121 2 (.)u HHHH HH     . Với chú ý rằng phụ tải 3m thay đổi nhưng thông thường đã biết trước, nên có thể không coi nó là biến số. Biến đổi (3.17), (3.18) ra dạng rời rạc có:     )2(),1(),(),2(),1(),( )2(),1(),2(),1()( 2221111 221111   kkkkkku kqkqkqkqfkq d d  (3.19)     )2(),1(),(),2(),1(),( )2(),1(),2(),1()( 2221112 221122   kkkkkku kqkqkqkqfkq d d  (3.20) Trong đó: ),k(q1 ),1k(q1  ),2k(q1  ),k(q2 ),1k(q2  )2k(q2  tương ứng là vị trí của các khâu thứ nhất, thứ hai tại các thời điểm thứ k, (k-1), (k-2); ),k(1 ),1k(1  ),2k(1  ),k(2 ),1k(2  )2k(2  tương ứng là mômen quay của các khâu thứ nhất, thứ hai tại các thời điểm thứ k, (k-1), (k-2). Tại các phương trình (3.19), (3.20) các thành phần (.)f(.),f d2d1 có mức độ phi tuyến cao hơn so với (.)u(.),u d2d1 . Mặt khác, trong bài toán nhận dạng với 2p bộ cặp mẫu vào-ra  )k(q),k( 11 và  )k(q),k( 22 ( k = 1, 2, ..., p) của rôbôt hai khâu cũng đã biết trước. Vì vậy một giải pháp hợp lý cho mô hình nhận dạng [1] là chỉ tập trung nỗ lực để thực hiện nhận dạng các phần tử có độ phi tuyến cao là (.)f(.),f d2d1 , còn các thành phần đã biết trước trong quan hệ vào-ra là (.)u(.),u d2d1 không cần nhận dạng chúng để mô hình nhận dạng không quá phức tạp mà vẫn nhận được độ chính xác đảm bảo yêu cầu. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 72 Hình 3.6 mô tả sơ đồ ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng rô bôt hai khâu có phụ tải m3 được xây dựng nhận dạng các hàm vị trí rời rạc (3.19) và (3.20) với 2p bộ cặp mẫu vào-ra  )k(q),k( 11 và  )k(q),k( 22 (k=1, 2, ..., p). Hai tín hiệu mô men đầu vào )k(),k( 21  có nhiệm vụ tạo ra các thành phần )k(u d1  , )k(u d2  thông qua các khâu (.).u(.),u 21 Mạng nơ ron sẽ có nhiệm vụ nhận dạng các hàm f1d(.) và f2d(.) với các tín hiệu vào là q1(k-1), q1(k-2), q2(k-1), q2(k-2) theo luật học lan truyền ngược. Tín hiệu ra của mạng tương ứng là )(1 kf d  và )(2 kf d  được cộng tương ứng với )k(u d1  , )k(u d2  để có được )(1 kq  và )(2 kq  . (.)u1 (.)u2 )1k(q1  )2k(q1  )1k(q2  )2k(q2  Rôbt hai khâu Trễ )k(q1 )k(q2 Phụ tải m3 Luật học lan truyền ngược theo sai lệch )k(1 )k(2 )k(q2  )k(q1  + )k(e1 )k(e2 )k(f d1  )k(f d2  )(1 ku d  )(2 ku d  Mạng nơron truyền thẳng (4xn2xn3x2) nhận dạng các hàm f1d(.) và f2d(.) Trễ Trễ Trễ + - - + + + + Hình 3.6 . Sơ đồ ứng dụng mạng nơron truyền thẳng nhiều lớp nhận dạng rôbôt hai khâu Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 73 Theo [1] với đối tượng cần nhận dạng phi tuyến, nên chọn mạng nơ ron truyền thẳng 4 lớp để nhận dạng chúng. Do đó chọn mạng nơ ron truyền thẳng 4 lớp (4 x n2 x n3 x 2) (hình 3.7) có cấu trúc: lớp vào có số nơ ron là n1 = 4, có các tín hiệu vào là vị trí của khâu thứ nhất và thứ hai tại các thời điểm thứ (k-1) và (k-2) đó là: ),1k(q1  ),2k(q1  ),1k(q2  )2k(q2  ; lớp ẩn thứ nhất có số nơ ron là n2; lớp ẩn thứ hai có số nơ ron là n3; lớp ra có số nơ ron là n4 = 2, với các tín hiệu ra tương ứng là )k(f d1  , )k(f d2  3.2.3.2. Quá trình nhận dạng. Vấn đề đặt ra là cho mạng nơ ron (4 x n2 x n3 x 2) thực hiện hai giai đoạn học và kiểm tra để tìm ra được bộ thông số điều chỉnh trong quá trình nhận dạng là các ma trận trọng số ]w[w mj1  ; ]w[w fm2  ; ]w[w if3  và các ma trận bias ]b[b m2  ; ]b[b f3  ; ]b[b i4  (với j = 1,..,4; m = 1,..., n2; f = 1,.., n3; i = 1, 2) sao cho sai lệch E đạt cực tiểu, nói cách khác là hai tín hiệu vị trí tính toán )k(q1  , )k(q 2  bám theo được hai tín hiệu vị trí mẫu là q1(k), q2(k). Giai đoạn học . . . . . . . . . )k(f d1  -1 1x2nm2 ]b[b  1x3nf3 ]b[b  1x2i4 ]b[b  3xn2if3 ]w[w  2xn3nfm2 ]w[w  4x2nmj1 ]w[w  )k(f d2  )1k(q1  )2k(q1  )2k(q2  -1 -1 -1 -1 -1 -1 Hình 3.7. Sơ đồ cấu trúc mạng nơ ron truyền thẳng 4 lớp nhận dạng vị trí Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 74 Từ quá trình mô phỏng tìm được 2p bộ cặp mẫu vào-ra  )k(q),k( 11 ,  )k(q),k( 22 (bảng 3.1) (k=1, 2, ..., 20) khi cho trước các tín hiệu )k(),k( 21  ở dạng ngẫu nhiên (hình 3.9). Luật cập nhật các giá trị điều chỉnh của trọng số, bias của mạng nơ ron truyền thẳng (4 x n2 x n3 x 2) như sau. - Lớp ra: )bv(aw ff1iif  ; iib  ; )qq)(bv('a v E 1iii2 i i         3n 1f ff1ifi )bv(awv . - Lớp ẩn 2: )bv(aw mm1ffm  ; ;w)bv('a v E 2 1i iifff1 f f       ffb  ;    2n 1m mm1fmf )bv(awv . - Lớp ẩn 1: )bv(aw jj1mmj  ; ;w)bv('a v E 3n 1f ffmmm1 m m       mmb  ;    4 1j jmjm xwv ; ;)]2k(q),1k(q),2k(q),1k(q[x T2211  mfi ,,  là tín hiệu sai lệch tương ứng của nơ ron thứ i lớp ra, nơ ron thứ f lớp ẩn thứ hai và nơ ron thứ m lớp ẩn thứ nhất. net/)net(a)net('a 11  ; net/)net(a)net('a 22  ; với a1(.) và a2(.) tương ứng là các hàm chuyển đổi tang hyperbolic và tuyến tính: 1 e1 2 )net(a net21     ; .net)net(a2  Sai lệch trung bình bình phương:       p k i iii kbkvakdE 1 2 1 2 2 )()()( 2 1 (3.21) với );k(u)k(q)k(d idii  Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 75 Sau khi đã tìm được bộ ma trận trọng số, bias của mạng (4 x n2 x n3 x 2) thoả mãn điều kiện cpEE  (3.22), tiến hành giai đoạn kiểm tra như sau. Giai đoạn kiểm tra Dựa vào bộ ma trận trọng số và bias đã tìm được ở giai đoạn học, đưa các tín hiệu )k(1 và )k(2 vào đầu vào sơ đồ nhận dạng sẽ được các tín hiệu vị trí tính toán của rôbôt hai khâu ở đầu ra là )k(q1  , )k(q 2  ; so sánh chúng với các tín hiệu ra )k(q1 , )k(q2 được sai lệch E (3.21). Nếu thoả mãn (3.22) mô hình nhận dạng đã thoả mãn yêu cầu, ghi lại thông số nhận dạng của mạng nơ ron; Nếu không thoả mãn (3.22) tiếp tục điều chỉnh giá trị số lượng nơ ron các lớp ẩn là n2, n3 thực hiện lại giai đoạn học. 3.2.3.3. Kết quả mô phỏng và nhận dạng. Thực hiện mô phỏng với các giá trị của các thông số của rôbôt hai khâu [4]: m1=1kg; m2=1kg; l1=1m; l2=1m; lc1=0.5m; lc2=0.5m; I1=0.2kgm 2 ; I2=0.2kgm 2 ; m3 cho ở đồ thị hình 3.12; 21, ở giai đoạn học có giá trị ngẫu nhiên trong khoảng [- 100,+100]Nm (hình 3.9) và ở giai đoạn kiểm tra (hình 3.13, 3.14) a) Xác định sơ đồ Simulink mô phỏng. Từ (3.16) ta có: ),,,,(),,,,( 321211322 . 11 . 11 .. mqqumqqqqfq  ),,,,(),,,,( 321212322 . 11 . 22 .. mqqumqqqqfq  (3.23) với: )2( (.)f 21122211 212122 . 2 1122 . 1 . 2 . 22 1 HHHH gHgHqhHqqqhH    ; 21122211 122221 1(.)u HHHH HH     21122211 211121 . 2 1112 . 1 . 2 . 21 2 )2( (.)f HHHH gHgHqhHqqqhH    ; 21122211 211121 2 (.)u HHHH HH     . Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 76 Chuyển (3.17) sang dạng toán tử Laplace ta được dạng như (3.24): q1(s) = f1(s) + u1(s) và q2(s) = f2(s) + u2(s) (3.24) 21122211 122221 21122211 212122 2 112 2 21222 2 1 2 )2( HHHH H HHHH gHgHqhHsqqqhHs qs      . 21122211 1112 21122211 211121 2 111 2 21221 2 2 2 21)2( HHHH H HHHH gHgHqhHsqqqhHs qs      . Mô hình SIMULINK mô phỏng rô bốt hai khâu như hình 3.8: Hình 3.8. Mô hình thu gọn mô phỏng rô bốt hai khâu Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 77 b) Kết quả mô phỏng được cho trong bảng 3.1. 1 (N.m) 2 (N.m) u1 (rad) u2 (rad) q1 (rad) q2 (rad) f1 (rad) f2 (rad) 1.1650 0.6268 0.0751 0.3516 -0.6965 1.6961 0.0591 1.7971 0.2641 0.8717 -1.4462 -0.7012 1.2460 -0.6390 0.5774 -0.3600 -0.1356 -1.3493 -1.2704 0.9846 -0.0449 -0.7989 -0.7652 0.8617 -0.0562 0.5135 0.3967 0.7562 0.4005 -1.3414 0.3750 1.1252 0.7286 -2.3775 0.2605 0.1402 0.0168 0.0786 -0.1557 0.3793 0.0132 0.4018 0.0590 0.1949 -0.3234 -0.1568 0.2786 -0.1429 0.1291 -0.0805 -0.0303 -0.3017 -0.2841 0.2202 -0.0100 -0.1786 -0.1711 0.1927 -0.0126 0.1148 0.0887 0.1691 0.0896 -0.2999 0.0839 0.2516 0.1629 -0.5316 0.0000 0.0000 0.0000 0.0000 -0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 -0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 -0.0000 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 -0.0000 0.0000 -0.0000 0.0000 0.0000 0.0000 0.0000 -0.0000 0.0000 0.0000 0.0000 -0.0000 0.0000 0.0000 0.0000 0.0000 -0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 -0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 -0.0000 -0.0000 -0.0000 -0.0000 0.0000 0.0000 0.0000 -0.0000 0.0000 -0.0000 -0.0000 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 -0.0000 -0.0000 0 -0.0000 -0.0000 -0.0000 -0.0003 -0.0079 -0.0751 -0.2121 -0.4192 -0.6941 -1.0279 -1.3057 -1.4865 -1.6280 -1.7070 -1.7523 -1.7865 -1.7983 -1.7924 -1.7778 -1.7716 -1.7627 -1.7474 -1.7344 -1.7305 -1.7261 -1.7190 -1.7114 -1.6997 -1.6760 -1.6150 -1.4491 -1.0784 -0.5827 0 -0.0000 -0.0000 -0.0000 -0.0003 -0.0071 -0.0691 -0.1980 -0.3972 -0.6635 -0.9759 -1.2125 -1.3398 -1.3745 -1.2791 -1.1021 -0.7367 -0.1692 0.4292 0.9992 1.1348 1.2626 1.3946 1.4503 1.4581 1.4620 1.4613 1.4578 1.4510 1.4353 1.3913 1.2618 0.9455 0.4649 0 -0.0000 -0.0000 -0.0000 -0.0003 -0.0078 -0.0767 -0.2178 -0.4324 -0.7190 -1.0687 -1.3556 -1.5348 -1.6809 -1.7703 -1.8246 -1.8738 -1.9036 -1.9138 -1.9139 -1.9114 -1.9062 -1.8956 -1.8857 -1.8824 -1.8785 -1.8717 -1.8642 -1.8526 -1.8289 -1.7682 -1.6038 -1.2344 -0.7393 0 -0.0000 -0.0000 -0.0000 -0.0003 -0.0067 -0.0769 -0.2260 -0.4585 -0.7734 -1.1451 -1.4216 -1.5615 -1.6181 -1.5534 -1.4052 -1.0859 -0.5751 -0.0232 0.5172 0.6470 0.7684 0.8942 0.9481 0.9557 0.9593 0.9582 0.9541 0.9463 0.9286 0.8801 0.7400 0.3930 -0.1431 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 78 -0.2738 -0.3229 0.3180 -0.5112 -0.0020 1.6065 0.8476 0.2681 -0.9235 -0.0705 0.1479 -0.5571 -0.3367 0.4152 1.5578 -2.4443 -1.0982 1.1226 0.5817 -0.2714 0.4142 -0.9778 -1.0215 0.3177 1.5161 0.7494 -0.5077 0.8853 -0.2481 -0.7262 -0.4450 -0.6129 -0.2091 0.5621 -1.0639 0.3516 1.1330 0.1500 -0.0612 -0.0722 0.0711 -0.1143 -0.0005 0.3592 0.1895 0.0599 -0.2065 -0.0158 0.0331 -0.1246 -0.0753 0.0928 0.3483 -0.5466 -0.2456 0.2510 0.1301 -0.0607 0.0926 -0.2186 -0.2284 0.0710 0.3390 0.1676 -0.1135 0.1980 -0.0555 -0.1624 -0.0995 -0.1371 -0.0468 0.1257 -0.2379 0.0786 0.2533 0.0335 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 0.0000 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0010 0.0018 -0.0050 0.0352 -0.0277 -0.2378 -0.3938 -1.3199 -2.1292 -9.1987 4.9504 -0.7590 -1.0984 -0.0584 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 0.0000 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0001 0.0003 -0.0007 0.0052 -0.0040 -0.0348 -0.0577 -0.1933 -0.3118 -1.3469 0.7248 -0.1111 -0.1608 -0.0085 -0.1508 0.2029 0.3207 0.4137 0.4374 0.4415 0.4430 0.4433 0.4432 0.4431 0.4429 0.4429 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 -0.0567 -0.6516 -0.9301 -1.2411 -1.3737 -1.4131 -1.4364 -1.4480 -1.4604 -1.4619 -1.4635 -1.4641 -1.4641 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -0.3062 0.0517 0.1717 0.2669 0.2914 0.2958 0.2974 0.2977 0.2975 0.2974 0.2973 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 -0.7095 -1.3318 -1.6202 -1.9412 -2.0775 -2.1179 -2.1417 -2.1537 -2.1665 -2.1681 -2.1697 -2.1703 -2.1704 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 79 0.7031 -0.0524 2.0185 0.9242 -1.8141 0.0350 -1.8079 1.0282 0.3946 0.6394 0.8742 1.7524 -0.3201 -0.1374 0.6158 0.9779 -1.1153 -0.5500 0.0399 -2.4828 1.1587 -1.0263 1.1535 -0.7865 0.6348 0.8204 -0.1760 0.5625 -0.1274 0.5542 -1.0973 -0.7313 1.4047 -0.6202 0.2371 -1.5868 -0.4015 -0.7707 0.1572 -0.0117 0.4513 0.2066 -0.4056 0.0078 -0.4043 0.2299 0.0882 0.1430 0.1955 0.3918 -0.0716 -0.0307 0.1377 0.2187 -0.2494 -0.1230 0.0089 -0.5552 0.2591 -0.2295 0.2579 -0.1759 0.1419 0.1834 -0.0394 0.1258 -0.0285 0.1239 -0.2454 -0.1635 0.3141 -0.1387 0.0530 -0.3548 -0.0898 -0.1723 -0.1277 0.0037 -0.0647 -0.0119 0.0116 -0.0001 0.0025 -0.0006 -0.0001 -0.0001 -0.0000 -0.0000 0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0000 0.0000 0.0000 -0.0187 0.0005 -0.0095 -0.0017 0.0017 -0.0000 0.0004 -0.0001 -0.0000 -0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0000 0.0000 0.0000 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4428 0.4427 0.4427 0.4426 0.4427 0.4432 0.4450 0.4517 0.4700 0.5130 0.6242 0.8510 1.2003 1.5571 1.9092 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4642 -1.4643 -1.4643 -1.4644 -1.4646 -1.4651 -1.4660 -1.4680 -1.4718 -1.4812 -1.4989 -1.5392 -1.6135 -1.7403 -1.9906 -2.3917 -2.9104 -3.4025 -3.8951 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2972 0.2971 0.2971 0.2971 0.2971 0.2971 0.2970 0.2970 0.2971 0.2978 0.3000 0.3076 0.3276 0.3729 0.4905 0.7301 1.0965 1.4668 1.8274 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1705 -2.1706 -2.1707 -2.1709 -2.1713 -2.1723 -2.1743 -2.1782 -2.1876 -2.2054 -2.2458 -2.3207 -2.4496 -2.7032 -3.1085 -3.6344 -4.1360 -4.6415 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 80 -0.2627 0.9765 0.9778 1.1700 0.1593 0.4995 -1.0554 -0.4507 1.2704 0.8987 0.4387 -1.2473 0.3247 0.3901 -0.4051 0.2923 2.5659 -0.4578 -1.6108 -2.6695 -0.7597 -0.6747 -1.1717 2.0329 0.9685 0.6703 0.4201 -2.8728 -0.0587 0.2183 0.2186 0.2616 0.0356 0.1117 -0.2360 -0.1008 0.2841 0.2010 0.0981 -0.2789 0.0726 0.0872 -0.0906 0.0654 0.5738 -0.1024 -0.3602 -0.5969 -0.1699 -0.1509 -0.2620 0.4546 0.2166 0.1499 0.0939 -0.6424 0.0000 -0.0000 -0.0000 -0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 -0.0000 -0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 -0.0000 -0.0000 -0.0000 -0.0000 0.0000 0.0000 -0.0000 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 -0.0000 -0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 -0.0000 -0.0000 -0.0000 -0.0000 0.0000 2.2478 2.5679 2.8659 3.1412 3.3965 3.6375 3.8710 4.1029 4.3375 4.5758 4.8179 5.0631 5.3108 5.5601 5.8090 6.0560 6.2996 6.5388 6.7746 7.0099 7.2482 7.4918 7.7416 7.9964 8.2537 8.5103 8.7637 8.8391 -4.4105 -4.9625 -5.5621 -6.2158 -6.9244 -7.6800 -8.4672 -9.2705 -10.0810 -10.8986 -11.7223 -12.5468 -13.3630 -14.1608 -14.9345 -15.6869 -16.4309 -17.1831 -17.9510 -18.7274 -19.4948 -20.2338 -20.9342 -21.6007 -22.2538 -22.9203 -23.6231 -23.8435 2.1720 2.4961 2.7993 3.0826 3.3489 3.6024 3.8490 4.0936 4.3397 4.5901 4.8457 5.1052 5.3669 5.6295 5.8921 6.1529 6.4102 6.6643 6.9158 7.1661 7.4177 7.6734 7.9348 8.2007 8.4692 8.7381 9.0042 9.0834 -5.1718 -5.7403 -6.3552 -7.0209 -7.7382 -8.5008 -9.2944 -10.1044 -10.9224 -11.7471 -12.5767 -13.4065 -14.2282 -15.0321 -15.8116 -16.5697 -17.3196 -18.0767 -18.8488 -19.6302 -20.4039 -21.1503 -21.8584 -22.5332 -23.1943 -23.8682 -24.5780 -24.8004 Bảng 3.1. Kết quả các đầu vào- ra Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 81 c) Đồ thị các đầu vào 1, 2 và các đầu ra u1, u2, f1, f2, q1, q2 như các hình 3.9, 3.10, . Hình 3.9. Đồ thị các đầu vào 1, 2 Hình 3.10a. Đồ thị các đầu ra u1, u2 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 82 Sau hai giai đoạn học và kiểm tra, kết quả chọn mạng nơ ron truyền thẳng 4 lớp (4 x 5x 10 x 2) (n2 = 5, n3 = 10) để nhận dạng vị trí rôbôt hai khâu. Đồ thị quan hệ vào-ra khâu 1 và 2 giai đoạn học tương ứng được biểu diễn ở hình 3.15 và 3.16. Đồ thị sai lệch giai đoạn học của mạng (4x5x10x2) biểu diễn ở hình 3.19. Quan hệ vào-ra khâu 1và 2 giai đoạn kiểm tra tương ứng biểu diễn ở hình 3.17 và 3.18. Hình 20 biểu diễn đồ thị của các đại lượng 21 q,q và 21 q,q  của mạng (4x5x10x2) giai đoạn kiểm tra, 321 w,w,w tương ứng là các ma trận trọng số giữa lớp vào với lớp ẩn thứ nhất; giữa lớp ẩn thứ nhất với lớp ẩn thứ hai; giữa lớp ẩn thứ hai với lớp ra, b2, b3, Hình 3.10b. Đồ thị các đầu ra q1, q2 Hình 3.10c. Đồ thị các đầu ra f1, f2 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 83 b4 tương ứng là các ma trận bias của các lớp ẩn thứ nhất, thứ hai và lớp ra. Kết quả các ma trận trọng số và bias có số liệu như sau:                  8403.26625.23387.33738.3 9514.55360.28611.41955.3 5175.46258.10709.67799.2 8759.46060.02767.07287.5 7557.57178.28761.38018.4 w1 ,                                 3347.04787.30588.44348.04369.0 3604.05807.15580.22841.01261.0 5163.01787.12455.27447.64231.6 0038.28790.18072.13380.19051.6 5646.00383.16002.05413.62287.8 0783.04907.50841.11906.04499.1 0843.06111.41118.02176.04002.1 5407.17352.26668.06605.97976.6 1358.20948.16655.330 4.8468.0 4731.117929.72202.127.30123.5 w2 ; T 3w     0.9291 2.7580- 4.5197- 4.6922 2.4450- 7.3328 6.6716 1.6355 1.5767- 0.0423- 0.3886- 1.06 9 2.0068 2 0695- 1.7230 2.1823- 2.2294-2174- 0.9863 0.0165  T2b 2.9391 0.6131- 0.5198 4.3878 1.1860  T3b 3.5739 2.0420 0.6843 2.3568 0.8965- 1.3583 0.4501 1.1884- 2.5967- 16.8477-  T4b 0.8223 1.1098- ; 0 10 20 30 40 50 60 70 80 90 100 0 0.5 1 1.5 2 2.5 3 3.5 0 10 20 30 40 50 60 70 80 90 100 -100 -80 -60 -40 -20 0 20 40 60 80 100 0 100 150 200 250 300 -100 -80 -60 -40 -20 0 20 0 60 80 100 0 100 150 200 250 300 -100 -80 -60 -40 -20 0 20 40 60 80 100 Hình 3.11. Đồ thị phụ tải của rôbôt m3 Hình 3.12. Mômen 21, giai đoạn học Hình 3.13. Mômen 1 giai đoạn kiểm tra Hình 3.14. Mômen 2 giai đoạn kiểm tra Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 84 -100 -50 0 50 100 0 1 2 3 -2.5 -2 -1.5 -1 -0.5 0 -100 -50 0 50 100 0 1 2 3 0 0.5 1 1.5 2 -100 -50 0 50 100 0 1 2 3 -2.5 -2 -1.5 -1 -0.5 0 -100 -50 0 50 100 0 1 2 3 0 0.5 1 1.5 2 0 1000 2000 3000 4000 5000 10 -6 10 -5 10 -4 10 -3 10 -2 10 -1 10 0 10 1 5584 Epochs Tr ain ing -B lue G oa l-B lac k Performance is 2.99983e-006, Goal is 3e-006 0 10 2 30 4 50 60 70 8 90 100 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 Sai lệch trung bình bình phương 610.99983.2E  sau 5584 chu kỳ học. 3.2.3.4. Kết luận chương III. Kết quả mô phỏng cho thấy sai lệch nhận dạng giữa tín hiệu mẫu và tín hiệu tính toán của mô hình nhận dạng là rất nhỏ, điều đó chứng tỏ rằng sử dụng mạng nơ ron truyền thẳng nhiều lớp trong nhận dạng vị trí rôbôt hai khâu là một giải pháp rất hiệu quả và có độ chính xác cao. Giải pháp này có đóng góp mới là chỉ cần sử dụng một mạng nơ ron truyền thẳng nhiều lớp mà có thể nhận dạng được vị trí rôbôt hai khâu là hệ MIMO phi tuyến. Có thể ứng dụng giải pháp này cho việc sử dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng cho các đối tượng phi tuyến MIMO khác có mức độ phi tuyến cao. Hình 3.15. Quan hệ vào-ra khâu 1 giai đoạn học Hình 3.16. Quan hệ vào-ra khâu 2 giai đoạn học Hình 3.17. Quan hệ vào-ra khâu 1 giai đoạn kiểm tra Hình 3.18. Quan hệ vào-ra khâu 2 giai đoạn kiểm tra 2q  1q  1q Hình 3.19. Đồ thị sai lệch giai đoạn học của mạng (4x5x10x2). 2q Hình 3.20. Đồ thị 21 q,q của rôbôt hai khâu và 21 q,q  của mạng(4x5x10x2)giai đọan kiểm tra Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 85 KẾT LUẬN CHUNG 1. Luận văn này đã hoàn thành những uyêu cầu đặt ra là khảo sát về một phương pháp ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí q của rô bốt hai khâu với phụ tải nhỏ với độ chính xác cao. 2. Các đóng góp chính của đề tài nghiên cứu: - Đã tổng hợp các tài liệu về mạng nơ ron và các ứng dụng của nó để có cái nhìn tổng quan về cấu trúc, các luật học và các phương pháp ứng dụng các mạng nơ ron trong nhận dạng và điều khiển, - Bằng phương pháp phân tích, so sánh về cấu trúc, các luật học và khả năng ứng dụng thực tiễn của các loại mạng nơ ron, luận văn này đã chọn mạng nơ ron truyền thẳng nhiều lớp là mạng có nhiều ưu điểm về cấu trúc và luật học để tập trung nghiên cứu ứng dụng nó trong bài toán nhận dạng. - Dựa trên kết quả nghiên cứu của tài liệu [1], sự hướng dẫn trực tiếp của TS Phạm Hữu Đức Dục, luận văn đã đi sâu nghiên cứu, phân tích được sự đúng đắn của việc sử dụng cấu trúc mạng nơ ron truyền thẳng 4 lớp là (4x5x10x2) với luật học lan truyền ngược của sai lệch và các thông số điều chỉnh của các lớp nơ ron để đạt được sai lệch trung bình bình phương trong giới hạn cho phép E  Emax nghĩa là tín hiệu học của mạng nơ ron qmh bám sát theo được tín hiệu vị trí thực q của sơ đồ điều chỉnh vị trí rô bốt hai khâu. - Trong khuôn khổ luận văn này mới chỉ tìm hiểu được giai đoạn 1 của bài toán ứng dụng mạng nơ ron truyền thẳng nhiều lớp để nhận dạng đối tượng. Do thời gian nghiên cứu có hạn, nên giai đoạn 2 của bài toán là phần tính toán hệ số KU để tìm tín hiệu điều chỉnh thích nghi vị trí rô bốt hai khâu chưa được đề cập tới. - Với kết quả rất tốt của giai đoạn 1 (Sai lệch vị trí tổng chỉ là 610.99983.2E  ), tin chắc rằng việc sử dụng các thông số đã tính toán được trong quá trình nhận dạng của giai đoạn 1 cho giai đoạn 2 cũng sẽ đạt được kết quả tốt đẹp. Vì vậy luận văn này là một hướng nghiên cứu mở, có thể phát triển tiếp tục hướng nghiên cứu này ở các công trình khoa học cấp cao hơn. Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 86 TÀI LIỆU THAM KHẢO 1. Phạm Hữu Đức Dục - 1999 - Nghiên cứu ứng dụng mạng nơ ron trong điều khiển thích nghi hệ thống có thông số biến thiên - Luận án tiến sĩ kỹ thuật 2. Phạm Hữu Đức Dục, Nguyễn Công Hiền - 2005- Ứng dụng bộ điều khiển nơ ron mờ trong điều khiển thích nghi vị trí động cơ điện một chiều - Tuyển tập báo cáo khoa học tại hội nghị toàn quốc lần thứ VI về Tự động hoá 101-106 3. Phạm Hữu Đức Dục, Nguyễn Công Hiền - Nghiên cứu ứng dụng mạng nơ ron mờ điều khiển thích nghi rô bốt hai khâu - Tuyển tập các báo cáo khoa học tại hội nghị toàn quốc lần thứ VI về Tự động hoá 107- 112. 4. Phạm Hữu Đức Dục - Nghiên cứu ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí động cơ một chiều có phụ tải thay đổi - Đề tài nghiên cứu khoa học Trường Đại học Kinh tế Kỹ thuật Công nghiệp Hà Nội. 5. Phạm Hữu Đức Dục, Nguyễn Công Hiền - Tuyển tập các báo cáo khoa học tại hội nghị toàn quốc lần VI về Tự động hoá 107-112, 2005 6. Lại Khắc Lãi - Giáo trình mạng nơ ron 7. Somloj, Lantosb, Pham Thương Cat -Advance- Robot control akademiai - Kiado - Pudapest, 1997. ._.