Luận án Một số phương pháp xử lý và phân loại tín hiệu điện não cho các ứng dụng giao diện não – Máy tính

OA HỌC: 1. PGS. TS. Bùi Thế Duy 2. PGS. TS. Lê Thanh Hà Hà Nội – 2020 2 LỜI CAM ĐOAN Tôi xin cam đoan rằng đây là công trình nghiên cứu của riêng tôi. Các kết quả trong luận án là trung thực và chưa từng công bố trong bất kỳ công trình nào khác. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý trước khi đưa vào luận án. Tác giả luận án Nguyễn Thế Hoàng Anh 3 LỜI CẢM ƠN Nghiên cứu khoa học là hành trình dài có nhiều thử thách cần vượt qua và đồng thời là quá trình đào sâu, tìm ra lời giải cho các vấn đề khoa học thú vị. Nghiên cứu về Khoa học máy tính, cụ thể lĩnh vực trí tuệ nhân tạo và khoa học thần kinh chắc chắn là một công việc nhận được nhiều sự quan tâm. Tôi cảm thấy rất may mắn được trở thành một phần của cộng đồng nghiên cứu hàn lâm về lĩnh vực đầy hứng khởi này với những phát kiến khoa học khiêm tốn của mình. Trong quá trình học tập, nghiên cứu và hoàn thiện luận án tiến sĩ, tôi đã nhận được sự giúp đỡ, chỉ bảo tận tình của các thầy, cô giáo, nhà khoa học, Phòng thí nghiệm Tương tác người máy HMI, Bộ môn Khoa học máy tính tại Trường Đại học công nghệ, Đại học Quốc gia Hà Nội. Tôi xin bày tỏ lòng biết ơn sâu sắc đặc biệt tới PGS. TS. Bùi Thế Duy và PGS. TS. Lê Thanh Hà, những người thầy hướng dẫn đã trực tiếp truyền thụ kiến thức và thắp lên ngọn lửa đam mê nghiên cứu khoa học, giúp đỡ, động viên tôi kiên định trong suốt quá trình nghiên cứu và thực hiện luận án. Tôi xin chân thành cám ơn Lãnh đạo và các đồng nghiệp tại Viện Công nghệ thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã luôn tạo điều kiện thuận lợi nhất và cùng tôi thực hiện các đề tài, công trình nghiên cứu trong đó một phần kết quả đã được trực tiếp thể hiện trong luận án. Tôi xin dành tất cả sự yêu thương và cám ơn tới gia đình: bố TS. Nguyễn Song Hoan, mẹ TS. Nguyễn Thị Bạch Yến, vợ Lê Minh Trang và hai con Mật Ong, Cá Mập đã luôn bên cạnh, động viên để tôi vượt qua những khó khăn và hoàn thành mục tiêu. Xin trân trọng cám ơn! Tác giả luận án Nguyễn Thế Hoàng Anh 4 MỤC LỤC LỜI CAM ĐOAN ........................................................................................................................................2 LỜI CẢM ƠN ..............................................................................................................................................3 DANH MỤC BẢNG ....................................................................................................................................7 DANH MỤC HÌNH VẼ ..............................................................................................................................8 DANH MỤC CHỮ VIẾT TẮT.................................................................................................................10 PHẦN MỞ ĐẦU ........................................................................................................................................11 1. Tính cấp thiết ...................................................................................................................... 11 2. Mục tiêu của luận án ........................................................................................................... 13 3. Đóng góp của luận án .......................................................................................................... 14 4. Phạm vi của luận án ............................................................................................................ 16 5. Phương pháp luận ............................................................................................................... 17 6. Cấu trúc luận án ................................................................................................................. 17 CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN NÃO ............................................................................................................................................................19 1. Giới thiệu ............................................................................................................................ 19 2. Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ ..................................................... 21 2.1. Các phương pháp đo tín hiệu từ não bộ ....................................................................... 21 2.1.1. Chụp quang phổ cận hồng ngoại chức năng ............................................................. 21 2.1.2. Chụp Cộng hưởng từ chức năng .................................................................................... 22 2.1.3. Chụp cắt lớp phát xạ positron ....................................................................................... 22 2.1.4. Từ não đồ ...................................................................................................................... 23 2.1.5. Điện não đồ xâm lấn ...................................................................................................... 24 2.2. Tín hiệu điện não và các vấn đề liên quan .................................................................... 25 2.2.1. Điện não đồ .................................................................................................................... 25 2.2.2.Tín hiệu điện não ............................................................................................................ 26 2.2.3. Cơ chế phát sinh tín hiệu điện não ................................................................................. 28 2.2.4. Thu tín hiệu điện não ..................................................................................................... 29 3. Một số phương pháp xử lý, phân tích tín hiệu điện não ....................................................... 30 3.1. Biến đổi wavelet............................................................................................................... 30 3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não ..................................... 33 3.3. Mạng Nơron wavelet ....................................................................................................... 34 3.3.1. Huấn luyện ............................................................................................................... 35 3.3.2. Khử nhiễu ................................................................................................................ 35 3.4. Phương pháp phân ngưỡng wavelet ................................................................................ 36 3.5. Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não ................................... 38 4. Một số ứng dụng hệ giao diện não máy tính ........................................................................ 40 5 4.1. Hệ BCI2000 ..................................................................................................................... 40 4.2. Hệ VR-BCI trong phục hồi chức năng ............................................................................. 41 4.3. Một số hệ BCI trong đánh vần ký tự ............................................................................... 42 4.4. Một số nghiên cứu BCI và tín hiệu điện não khác ............................................................ 43 5. Kết luận Chương 1 .............................................................................................................. 45 CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT ............................................................................46 1. Đặt vấn đề ........................................................................................................................... 46 2. Đề xuất phương pháp học sâu tự mã hóa thưa wavelet ....................................................... 49 2.1. Mạng học sâu tự mã hóa thưa ...................................................................................... 50 2.2. Phương pháp dò đếm EOG dựa trên biến đổi wavelet Haar ........................................ 52 2.2.1. Biến đổi wavelet Haar .............................................................................................. 52 2.2.2. Thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar .......................................... 53 2.3. Mạng học sâu tự mã hóa thưa wavelet trong khử EOG ............................................... 55 2.3.1. Huấn luyện tự động .................................................................................................. 55 2.3.2. Tự động sửa lỗi tín hiệu ............................................................................................ 57 2.4. Độ đo đánh giá kết quả ................................................................................................ 58 3. Kết quả ............................................................................................................................... 59 3.1. Dữ liệu kiểm thử .......................................................................................................... 59 3.2. Thiết kế thí nghiệm ...................................................................................................... 60 3.3. Kết quả thí nghiệm ...................................................................................................... 60 3.3.1. Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát .............................. 60 3.3.2. Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái suy nghĩ ..................................... 65 3.3.3. Kết quả trên tập dữ liệu 3: tín hiệu điện não mô phỏng chứa nhiễu ........................ 68 4. Thảo luận ............................................................................................................................ 69 5. Kết luận Chương 2 .............................................................................................................. 72 CHƯƠNG 3. ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC MÁY .....................................................................................................................................73 1. Đặt vấn đề ........................................................................................................................... 73 2. Cơ sở dữ liệu thử nghiệm .................................................................................................... 75 2.1. Cơ sở dữ liệu đã có ........................................................................................................... 75 2.2. Cơ sở dữ liệu của luận án ................................................................................................. 77 3. Đề xuất một số phương pháp phân loại trạng thái suy nghĩ dựa trên học máy .................... 79 3.1. Phương pháp máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet tương đối ............. 79 3.1.1. Năng lượng wavelet tương đối trong trích chọn đặc trưng tín hiệu điện não ................. 81 3.1.2. Máy vec-tơ hỗ trợ trong phân loại tín hiệu điện não ...................................................... 82 3.2. Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần chính .................. 84 6 3.2.1. Phân tích thành phần chính cho giảm số chiều tín hiệu điện não .............................. 86 3.2.2. Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP ..................................... 87 3.3. Phương pháp học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE ........................ 89 3.3.1. Lựa chọn thành phần chính với phân ngưỡng thích nghi SURE .............................. 91 3.3.2. Mạng học sâu Deep belief net trong phân loại tín hiệu điện não ............................... 92 4. Kết quả và thảo luận ........................................................................................................... 94 4.1. Tiền xử lý dữ liệu ......................................................................................................... 95 4.2. Phân loại trạng thái ..................................................................................................... 98 5. Kết luận chương 3 ............................................................................................................. 100 CHƯƠNG 4. ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT BỊ ĐIỆN TỬ GIA DỤNG THÔNG MINH ...........................................................................................102 1. Hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng thông minh ............. 102 1.1. Khối thu tín hiệu và thiết bị Emotiv Epoc+ ................................................................ 103 1.2. Khối DSP ........................................................................................................................ 104 1.3. Khối WIoT ..................................................................................................................... 104 2. Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín hiệu điện não cho hệ giao diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh ........................... 105 3. Kết quả và thảo luận ......................................................................................................... 108 4. Kết luận Chương 4 ............................................................................................................ 110 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ ....................................................................................................112 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ .............................................................................116 TÀI LIỆU THAM KHẢO ......................................................................................................................118 7 DANH MỤC BẢNG Bảng 1. Kết quả nhận diện EOG ............................... 55 Bảng 2. MSE của ba phương pháp dựa trên wavelet ................... 69 Bảng 3. So sánh đặc tính các phương pháp khử nhiễu tín hiệu điện não ...... 71 Bảng 4. Kết quả phân loại hai trạng thái suy nghĩ .................... 98 Bảng 5. Kết quả phân loại 02 trạng thái suy nghĩ theo các bước với DBN .... 99 Bảng 6. Kết quả phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN ....... 99 Bảng 7. Kết quả phân loại 03 trạng thái suy nghĩ theo các bước với DNN ... 100 Bảng 8. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên mạng nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE ..... 100 Bảng 9. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên mạng nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE ..... 100 Bảng 10. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên máy học cộng đồng so với các phương pháp thành phần .................. 108 Bảng 11. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên máy học cộng đồng so với các phương pháp thành phần .................. 109 8 DANH MỤC HÌNH VẼ Hình 1. Cấu trúc não bộ [64] .................................. 19 Hình 2. Các phương thức thu tín hiệu từ não bộ (a) fNIRS, (b) fMRI, (c) PET, (d) MEG, (e) EcoG và (f) EEG ................................... 20 Hình 3. Một số hệ thống thiết bị dùng để đo điện não EEG [20] ........... 25 Hình 4. Bản ghi tín hiệu điện não EEG ........................... 27 Hình 5. Một số dạng sóng trong tín hiệu điện não EEG ................. 28 Hình 6. (a) Biến đổi wavelet thuận và (b) Biến đổi wavelet ngược ......... 31 Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG ..... 34 Hình 8. Cấu trúc của mạng Wavelet Neural Network [8] ................ 35 Hình 9. Huấn luyện mạng Nơ-ron .............................. 35 Hình 10. Quá trình khử nhiễu ................................. 36 Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG. ......... 39 Hình 12. Thiết kế hệ BCI2000 [17] .............................. 40 Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1] .. 41 Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] ............ 42 Hình 15. Giao diện thí nghiệm Berlin BCI [68] ...................... 43 Hình 16. Tín hiệu bất thường do nháy mắt EOG ..................... 47 Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE .... 49 Hình 18. Mô hình đơn giản một máy tự mã hóa Autoencoder ............ 51 Hình 19. Lưu đồ thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG .... 53 Hình 20: Kết quả nhận diện EOG ............................... 54 Hình 21. Quy trình huấn luyện không giám sát mạng học sâu tự mã hóa thưa wavelet ................................................ 56 Hình 22. Quy trình tự động khử EOG với DWSAE ................... 57 Hình 23. Kết quả khử nhiễu của DWSAE so với (a) SOBI, (b) Infomax, (c) JADE, (d)WNN và (e) Wavelet thresholding ............................ 62 Hình 24. Hình vẽ thể hiện PSD của tín hiệu trước và sau khi khử nhiễu ...... 63 Hình 25. Hệ số tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT .......... 64 Hình 26 So sánh kết quả khử nhiễu giữa DWSAE và (a) SOBI, (b) Infomax, (c) JADE, (d)WNN và (e) Wavelet thresholding ....................... 66 Hình 27. PSD giữa tín hiệu gôc và tín hiệu sau khử nhiễu ............... 67 Hình 28. Tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT .......... 67 Hình 29. Kết quả trên đoạn tín hiệu bán giả lập trước và sau khi khử nhiễu bởi . 68 Hình 30. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên SVM ....... 80 Hình 31. Siêu phẳng phân cách bởi SVM .......................... 82 Hình 32. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên mạng nơ-ron .. 85 Hình 33. Cấu trúc mạng nơ-ron nhân tạo ba lớp ..................... 88 9 Hình 34. Huấn luyện mạng ANN với thuật toán OWO-BP .............. 89 Hình 35. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên học sâu ..... 90 Hình 36. Thiết kế máy học Boltzman ............................ 92 Hình 37. Mạng học sâu Deep belief net với nhiều máy Boltzman .......... 94 Hình 38. Biến đổi ICA trong khử nhiễu tín hiệu điện não ............... 96 Hình 39. Kết quả khử nhiễu với ICA ............................. 96 Hình 40. Kết quả khử nhiễu với WNN ........................... 96 Hình 41. Hiển thị vùng kích hoạt não bộ với phương pháp LORETA trong quá trình đối tượng thực hiện ba thí nghiệm (a) N, (b) L and (c) P ............ 97 Hình 42. Kiến trúc tổng thể của hệ thống giao diện não-máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh. ......................... 102 Hình 43. Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv) ............ 103 Hình 44. Tín hiệu điện não thu bằng chương trình Test Bench ........... 103 Hình 45. Mô hình tương đương module ESP 8266 ................... 105 Hình 46. Mô hình máy học cộng đồng trong phân loại trạng thái suy nghĩ từ tín hiệu điện não ........................................... 107 10 DANH MỤC CHỮ VIẾT TẮT ANN Aritificial neural network (Mạng nơ-ron nhân tạo) BCI Brain computer interface (Giao diện não máy tính) CT Computed Topography (Chụp cắt lớp) DNN Deep neural network (Mạng học sâu) DBN Deep belief network (Mạng học sâu niềm tin) DWSAE Deep wavelet sparse autoencoder (Máy học sâu tự mã hóa thưa wavelet) EEG Electroencephalography (Điện não đồ) EOG Electrooculography (Tín hiệu bất thường sinh ra do nháy mắt) EMG Electromyogram (Tín hiệu bất thường sinh ra do cử động cơ) ECoG Electro-corticography (Điện não đồ xâm lấn) FC Frequency correlation (Tương quan tần số) fMRI functional Magnetic resonance imaging (Chụp cộng hưởng từ chức năng) fNIRS Functional Near-Infrared Spectroscopy (Quang phổ cận hồng ngoại) ICA Independent component analysis (Phân tích thành phần độc lập) Infomax Information Maximization (Tối đa thông tin) JADE Joint Approximation Diagonalization of Eigen-matrices LORETA Low resolution brain electromagnetic tomography (Định vị điện từ não đồ phân giải thấp) MEG Magnetoencephalography (Từ não đồ) MSE Mean square error (Sai số toàn phương trung bình) OWO-BP Output weight optimization – Backpropagation (Lan truyền ngược tối ưu hóa trọng số lớp ra) PCA Principal component analysis (Phân tích thành phần chính) PET Positron emission tomography (Chụp positron phát xạ) PSD Power spectral density (Mật độ phổ năng lượng) RBM Restricted Bolzmann machine (Máy Bolzmann chặt) RWE Relative wavelet energy (Năng lượng wavelet tương đối) SAE Sparse autoencoder (Máy tự mã hóa thưa) SOBI Second-Order Blind Identification (Nhận dạng mù bậc hai) SURE Stein’s unbiased risk estimate SVM Support vector machine (Máy vec-tơ hỗ trợ) WIoT Wireless internet of things (Internet vạn vật vô tuyến) WNN Wavelet neural network (Mạng nơ-ron wavelet) WT Wavelet thresholding (Phân ngưỡng wavelet) 11 PHẦN MỞ ĐẦU 1. Tính cấp thiết Não bộ là một trong những cơ quan quan trọng nhất, về cơ bản chịu trách nhiệm điều phối toàn bộ các cơ quan khác trong cơ thể con người. Cơ chế hoạt động của não bộ là một vấn đề rất phức tạp, đến nay khoa học chưa có lời giải rõ ràng. Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ, tự kỷ/trầm cảm, Parkinson, đột qụy Tín hiệu điện não là một cách tiếp cận phù hợp để có thể đánh giá tình trạng của não bộ trong các trường hợp kể trên do chất lượng tín hiệu tốt, độ phân giải cao, tính linh động của thiết bị, an toàn và giá thành hợp lý trong điều kiện Việt Nam nếu so sánh với các phương pháp thu tín hiệu từ não bộ khác như chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn Tín hiệu điện não hay sóng điện não (Electroencephalogram – EEG) là các giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế bào thần kinh trong não. Tín hiệu EEG thường có biên độ trong khoảng từ 10 µV đến 100 µV và tần số trong dải từ 1 Hz đến 100 Hz. Tín hiệu EEG không tuân theo phân bố Gauss thông thường và cũng không tĩnh (nonstationary). Thông thường, tín hiệu EEG cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz). Phân tích tín hiệu EEG có thể dẫn đến một số phát hiện như: nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong trạng thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ; một lượng lớn tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh... Tín hiệu điện não thường xuyên được sử dụng để phát triển các hệ giao diện não-máy tính (Brain Computer Interface - BCI), phương thức truyền thông cho phép kết nối máy tính để xử lý và hiểu được tín hiệu sinh ra từ bộ não một cách hiệu quả. 12 BCI là một giải pháp hữu ích cho người bị các bệnh như xơ cứng teo cơ một bên (ALS) hay bệnh nhân trong tình trạng nghiêm trọng không cử động và điều khiển được các bộ phận của cơ thể. Giao điện não máy tính cho phép chuyển tải thông điệp người sử dụng muốn chỉ thông qua tín hiệu đã được phân tích, xử lý và “dịch” bởi hệ thống mà không cần bất kỳ can thiệp nào khác. Một số ứng dụng của hệ BCI có thể kể đến trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn thương tủy sống [1], cho phép người sử dụng điều khiển các nhân vật hoạt họa di chuyển trong một trò chơi điện tử dựa trên Xung phản ứng kích thích thị giác trạng thái ổn định [2], điều khiển con chuột máy tính [3]. Để thực hiện việc phân tích thông tin và triển khai các ứng dụng dựa trên tín hiệu EEG kể trên, một số vấn đề còn tồn tại, chưa được giải quyết bởi các nghiên cứu trước đây có thể được kể đến: - Tín hiệu điện não sau khi được biến đổi sang miền thời gian – tần số sẽ chứa các thông tin đặc trưng được khu trú trên từng dải tần cụ thể và theo từng khung thời gian nhất định. Các phương pháp trước đây, ví dụ sử dụng mạng nơ-ron nhân tạo, thường phải trải qua bước huấn luyện off-line, do đó không tự động hóa được quy trình khử nhiễu. - Các thiết kế thí nghiệm của các nghiên cứu khác tập trung vào việc tạo ra các đặc trưng như P300, xung kích thích thị giác trạng thái ổn định SSVEP, nhịp Mu và Beta thường yêu cầu thiết bị phụ trợ như màn hình máy tính hiển thị các hình ảnh, ký tự được nháy sáng. - Các phương pháp phân loại tín hiệu điện não trước đây thường được phát triển cho các thí nghiệm như hình dung ảnh vận động, nhịp vận động cảm giác hay xung kích thích thị giác trạng thái ổn định không phù hợp cho việc phân loại tín hiệu điện não sinh ra trong tác vụ tập trung suy nghĩ vốn không đòi hỏi thiết kế thí nghiệm phải có thiết bị hỗ trợ. Học máy là các phương pháp tính toán thông minh cho phép máy tính tạo ra các mô hình toán học có tham số hình thành bởi quá trình khai phá, huấn luyện với dữ liệu gán nhãn (học có giám sát) hoặc không cần gán nhãn (học không giám sát). 13 Học sâu hay mạng nơ-ron nhân tạo sâu (deep neural network) với các cấu trúc khác nhau như mạng niềm tin (deep belief net), máy tự mã hóa thưa (autoencoder), mạng tích chập (convolutional neural network), mạng sinh đối nghịch (generative adversarial networks)... là các thuật toán học máy được ứng dụng rất thành công trong nhiều lĩnh vực. Các thuật toán học sâu khi có nhiều dữ liệu để huấn luyện sẽ càng trở nên hiệu quả trong việc thực hiện chức năng được “dạy”. Kết quả thực nghiệm trong luận án này mới chỉ tiến hành trên một tập dữ liệu quy mô nhỏ, tuy nhiên việc sử dụng các phương pháp học sâu là bước chuẩn bị sẵn sàng để triển khai công nghệ đề xuất cho các bài toán thực tế, khi có lượng lớn dữ liệu. Dựa trên những phân tích ở trên, việc nghiên cứu và phát triển các phương pháp xử lý và phân loại tín hiệu điện não, hướng đến áp dụng các phương pháp này trong một hoặc một số ứng dụng cụ thể là một vấn đề nghiên cứu có ý nghĩa khoa học và thực tiễn cao, rất cần thiết được tập trung nghiên cứu một cách kỹ lưỡng. 2. Mục tiêu của luận án Luận án đặt ra một số mục tiêu như sau: - Phát triển phương pháp để tăng cường chất lượng điện não dựa trên học máy: Với vai trò là thông tin đầu vào, chất lượng của bản ghi tín hiệu điện não rất quan trọng, ảnh hưởng đến chất lượng xử lý và phân loại tín hiệu của hệ xử lý, phân tích tín hiệu điện não. Do đó, việc tăng cường chất lượng điện não, cụ thể là loại bỏ thành phần tín hiệu điện não không mong muốn trong đó tín hiệu điện não bất thường sinh ra do nháy mắt (Electrooculography – EOG), là một cách tiếp cận phù hợp để tăng hiệu quả hoạt động của hệ BCI cũng như các hệ thống phân tích tính hiệu điện não khác. - Phát triển các phương pháp trong phân tích, xử lý tín hiệu điện não dựa trên các phương pháp học máy trong đó bao gồm việc kiểm thử các phương pháp học có giám sát và không giám sát dựa trên SVM, ANN, DNN, Học cộng đồng: Đối với các phương pháp phân tích tín hiệu điện não dựa trên học có giám sát, kết quả phân loại tín hiệu sẽ cho thấy mô hình đã được huấn luyện có thể học và làm tốt đến đâu với 14 dữ liệu tín hiệu điện não đầu vào đã được gán nhãn. Trong trường hợp xử lý tín hiệu điện não với phương pháp học không giám sát, luận án sẽ kiểm chứng việc một thuật toán học máy trong trường hợp cụ thể có thể làm tốt đến đâu khi đã biết nhiệm vụ nhưng chưa thực sự thực hiện nhiệm vụ này bao giờ. Suy rộng ra là mục tiêu chứng tỏ các hệ thống trí tuệ nhân tạo có khả năng tự học và suy diễn để thực hiện các nhiệm vụ được đặt ra như khả năng suy luận của con người mà không cần phải cho huấn luyện trước (trong chừng mực nào đó) trên một nhiệm vụ như vậy - Phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh: Hiện nay, rất nhiều nghiên cứu về xử lý, phân tích tín hiệu điện não trên thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí và rộng rãi. Tuy nhiên cách tiếp cận này có một nhược điểm là dữ liệu thu trước không phải lúc nào cũng phù hợp với nội dung của nghiên cứu. Một số nghiên cứu khác chủ động tiến hành thu nhận và sử dụng dữ liệu thu được. Những nghiên cứu này sử dụng các qui trình thu nhận dữ liệu khác nhau, tuy nhiên phần lớn trong số đó đều khá phức tạp. Mục tiêu ban đầu của luận án này là phát triển một hệ BCI trong điều khiển các thiết bị điện tử thông minh, có thể hỗ trợ những nhóm người bị tổn thương chức vận động (đột quỵ, xơ cứng teo cơ một bên - ALS, đa xơ cứng, chấn thương tủy sống, loạn dưỡng cơ, ) không có khả năng cử động tương tác được với các thiết bị điện tử. Để thực hiện hệ BCI như vậy, nghiên cứu trong khuôn khổ luận án này đã phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh. 3. Đóng góp của luận án Luận án có những đóng góp khoa học tập trung vào ba nhóm vấn đề (1) xử lý, tăng cường chất lượng tín hiệu điện não, (2) phân tích, phân loại tín hiệu điện não và (3) một hệ thống giao diện não máy tính hoàn chỉnh trong ứng dụng điều khiển thiết bị điện tử gia dụng. Cụ thể các đóng góp như sau: (1) Đề xuất các phương pháp xử lý, tăng cường chất lượng tín hiệu điện não: 15 Thứ nhất, khử tín hiệu điện não bất thường sinh ra do nháy mắt tự độn...n chập với hai bộ lọc thông cao và thấp, là g và h. Tái xây dựng tín hiệu có thể thực hiện với phép lọc nghịch đảo như sau: 𝑦𝑙𝑜𝑤(𝑛) = ∑ 𝑥[𝑘]𝑔[2𝑛 − 𝑘] ∞ 𝑘= −∞ (3a) 𝑦ℎ𝑖𝑔ℎ(𝑛) = ∑ 𝑥[𝑘]ℎ[2𝑛 − 𝑘] ∞ 𝑘= −∞ (3b) Biến đổi wavelet và tái cấu trúc wavelet được minh họa trên Hình 6. Biến đổi wavelet (theo chiều thuận) chính là quá trình tín hiệu ban đầu được phân tích bởi một bộ lọc thông cao (𝐻0) và một bộ lọc thông thấp (𝐺0). Hai bộ lọc này được thiết kế dựa trên đặc tính của hàm wavelet cơ sở. Kết quả là các hệ số wavelet sau đó được giảm mẫu (downsample) xuống một nửa. Sau khi giảm mẫu, kết quả của phép biến đổi DWT là một chuỗi hệ số trên giải tần cao và một chuỗi hệ số ở giải tần thấp, được gọi là chi tiết (detail) và xấp xỉ (approximation). Thành phần xấp xỉ sau đó lại tiếp tục được sử dụng làm đầu vào của phép biến đổi wavelet DWT ở bậc tiếp theo. Kết quả khi kết thúc quá trình phân tích DWT là một chuỗi xấp xỉ (𝑎𝑖) và nhiều chuỗi chi tiết (𝑑𝑘, 𝑘 = 1, , 𝑖) đem đến hiển thị thông tin về tín hiệu phân tích ở các giải tần số khác nhau. Tái cấu trúc tín hiệu trên miền wavelet (quá trình wavelet ngược hay wavelet tổng hợp) chính là quá trình nghịch đảo của biến đổi DWT trong đó chuỗi xấp xỉ và chi tiết tại mỗi bậc được tăng mẫu (upsample) bậc hai và sau đó được cho chạy qua một bộ lọc thông thấp tổng hợp (𝐺1) và bộ lọc thông cao tổng hợp (𝐻1). Sau đó kết 33 quả này được tổng hợp lại và quá trình tiếp tục được thực hiện i lần tiếp theo. Số lần i chính bằng số bậc biến đổi wavelet thuận. Các bộ lọc được sử dụng trong quá trình phân tích và tổng hợp cần phải thỏa mã điều kiện về tái cấu trúc hoàn hảo (perfect reconstruction) hay thỏa mãn phương trình: [𝐺𝑝(𝑧)] 𝑇 𝐻𝑝(𝑧) = 𝑧 −𝑙𝐼 (4) Trong đó 𝐺𝑝(𝑧) và 𝐻𝑝(𝑧) chính là các ma trận trong dải ma trận tổng hợp và phân tích. 3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não Phương pháp phân tích thành phần độc lập (Independent component analysis - ICA) là một kĩ thuật tách nguồn mù thường được sử dụng trong khử nhiễu tín hiệu điện não [20]. Các kĩ thuật tách nguồn mù thường được sử dụng phổ biến với mục đích đánh giá các nguồn tín hiệu ban đầu từ tập hợp các tín hiệu trộn của chúng dù không có hoặc có rất ít thông tin về quá trình trộn cũng như tín hiệu gốc ban đầu. Ý tưởng của phương pháp ICA dựa trên việc coi mỗi kênh tín hiệu thu được là kết quả của việc trộn nhiều nguồn tín hiệu gốc. Trong trường hợp tín hiệu điện não EEG, các tín hiệu thu được ở mỗi điểm đặt điện cực trên vỏ da đầu (kí hiệu là x) được coi là tín hiệu trộn của nhiều nguồn tín hiệu gốc nằm bên trong bộ não (kí hiệu là s). Quá trình trộn sử dụng một ma trận trộn (kí hiệu là W-1) được mô tả bằng công thức x= W-1*s Mô hình ICA cơ bản yêu cầu các giả thiết sau phải được thỏa mãn: - Các nguồn tín hiệu ban đầu phải độc lập thống kê với nhau. - Không có nguồn nào có phân bố Gauss, hoặc tối đa chỉ có 1 nguồn có phân bố Gauss. - Ma trận trộn W-1 là ma trận vuông (số tín hiệu nguồn bằng số tín hiệu trộn). Ở đây, khái niệm độc lập thống kê được định nghĩa theo hàm mật độ xác suất (Probality Density Function - PDF). Những biến ngẫu nhiên 𝑠1, 𝑠2, , 𝑠𝑛 là độc lập nếu hàm phân bố xác suất có thể tìm được thừa số là: 𝑝(𝑠1, 𝑠2, , 𝑠𝑛) = 𝑝1(𝑠1)𝑝2(𝑠2)𝑝𝑛(𝑠𝑛) (5) 34 Với 𝑝(𝑠1, 𝑠2, , 𝑠𝑛) biểu diễn hàm phân bố xác suất của 𝑠1, 𝑠2, , 𝑠𝑛 và 𝑝𝑖(𝑠𝑖) biểu diễn hàm phân bố xác suất của 𝑠𝑖. Có nhiều thuật toán để thực hiện phương pháp ICA như infomax, FastICA, JADE [24]. Về mặt toán học, các giả thiết ban đầu của mô hình ICA tuyến tính có thể đặt vào trường hợp của tín hiệu EEG mà không làm thay đổi bản chất của tín hiệu. Trong phân tích tín hiệu điện não EEG, phương pháp ICA được sử dụng nhiều nhất trong xử lí nhiễu, đặc biệt là tín hiệu bất thường do nháy mắt EOG và nhiễu cơ EMG. Ý tưởng cơ bản là sau khi thực hiện phương pháp ICA với dữ liệu điện não thì sẽ thu được ma trận trộn W-1 và các thành phần độc lập (hay các nguồn tín hiệu gốc). Các thành phần độc lập sẽ được kiểm tra và thay thế các thành phần độc lập có tính chất giống nhiễu, trước khi trộn lại bằng ma trận W-1 để thu được tín hiệu sạch. Quy trình khử nhiễu này được thể hiện tại Hình 7. Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG 3.3. Mạng Nơron wavelet Tín hiệu điện não là loại tín hiệu dễ bị ảnh hưởng bởi nhiễu. Có một số loại nhiễu cơ bản như nhiễu tim, tín hiệu bất thường do nháy mắt và nhiễu cơ. Các loại nhiễu này khi xuất hiện sẽ làm giảm hiệu quả của hệ BCI. Mạng nơron kết hợp wavelet - Wavelet neural network [25], được phát triển để khử tín hiệu bất thường do nháy mắt , gồm có ba phần chính (Hình 8): phân tích wavelet (wavelet decomposition), mạng Nơ-ron nhân tạo và tổng hợp wavelet (wavelet reconstruction). Đầu vào của 35 WNN là tín hiệu có tín hiệu bất thường do nháy mắt và đầu ra là tín hiệu đã được khử nhiễu. Hình 8. Cấu trúc của mạng Wavelet Neural Network [8] Phần tiếp theo sẽ trình bày cách huấn luyện và khử nhiễu tín hiệu điện não bằng mạng Nơ-ron nhân tạo kết hợp wavelet WNN. 3.3.1. Huấn luyện Để huấn luyện được mạng Nơ-ron nhân tạo, trước hết phải tạo ra tín hiệu điện não sạch. Sau đó, tín hiệu sạch này được thêm tín hiệu bất thường do nháy mắt , là nhiễu được lọc tách trực tiếp từ tín hiệu điện não có nhiễu. Việc huấn luyện mạng Nơ-ron nhân tạo được xem như tương đương với việc “dạy” cho mạng Nơ-ron khôi phục lại tín hiệu sạch EEG(true)(t) từ tín hiệu có nhiễu EEG(rec)(t). Cả EEG(true)(t) và EEG(rec)(t) được phân tích wavelet. Sau đó, các hệ số ở một số dải tần thấp được nội suy để có cùng chiều dài. Các chuỗi hệ số được nội suy sau đó được sử dụng để huấn luyện mạng Nơ-ron. Các bước huấn luyện có thể xem tại Hình 9. Hình 9. Huấn luyện mạng Nơ-ron 3.3.2. Khử nhiễu Các bước đầu tiên của quá trình khử nhiễu (Hình 10) là tương tự với quá trình huấn luyện mạng Nơ-ron. Tín hiệu EEGrec(t) được phân tích wavelet sau đó nội suy 36 hệ số của một số dải tần để các chuỗi hệ số này có chiều dài bằng nhau. Sau đó dữ liệu cần được khử nhiễu sau khi được xử lý bởi mạng Nơ-ron đã được huấn luyện được lấy mẫu xuống (downsampling) cho trở về chiều dài ban đầu. Sau đó, dữ liệu trên được cho qua Tổng hợp wavelet để khôi phục lại tín hiệu sạch EEGtrue(t). Hình 10. Quá trình khử nhiễu 3.4. Phương pháp phân ngưỡng wavelet Phương pháp phân ngưỡng wavelet (wavelet thresholding) được phát triển dựa trên biến đổi wavelet vốn cho phép biểu diễn tín hiệu trên với các tỉ lệ khác nhau trên miền thời gian – tần số. Các hệ số thuộc thành phần xấp xỉ (approximation) và chi tiết (details), tương ứng với các băng tần thấp và cao, được đưa qua bộ phân ngưỡng trước khi tái tạo wavelet. Với việc lựa chọn một cách phù hợp hàm wavelet có chung tính chất với nhiễu tín hiệu điện não, những hệ số wavelet có giá trị lớn được tạo ra ở những vùng dải tần số thấp đặc trưng cho tín hiệu bất thường sinh ra do nháy mắt EOG. Khi thay đổi giá trị của các hệ số này bằng các hàm phân ngưỡng phi tuyến sẽ tương ứng với việc giảm sự tác động của nhiễu lên tín hiệu điện não, hay là khử nhiễu tín hiệu. Phương pháp phân ngưỡng wavelet cho mục đích khử nhiễu được sử dụng trong luận án này được thực hiện theo Krishnaveni, V., 2006, cụ thể với các bước như sau: - Sử dụng bộ lọc thông thấp Butterworth loại bỏ các thành phần tín hiệu tần số rất thấp (< 0.5 Hz) của tín hiệu điện não đầu vào - Áp dụng biến đổi wavelet cho tín hiệu điện não chứa nhiễu - Sử dụng một hàm phân ngưỡng để tự động “sửa” những hệ số wavelet có giá trị lớn, trong vùng tần số thấp 37 - Tái tổ hợp wavelet tín hiệu điện não sạch, không chứa nhiễu với các hệ số wavelet đã được sửa đổi Nền tảng của phương pháp phân ngưỡng wavelet là việc sử dụng các hàm phân ngưỡng để thay đổi giá trị các hệ số wavelet; sau đó tái cấu trúc lại tín hiệu dựa trên các hệ số wavelet đã được thay đổi. Các hàm phân ngưỡng như vậy thường được chia thành một trong ba loại là hàm phân ngưỡng mềm, hàm phân ngưỡng cứng và hàm phân ngưỡng thích nghi. Việc chọn lựa các hàm phân ngưỡng này được lựa chọn sao cho nhiễu bị loại bỏ một cách hiệu quả nhất trong khi tín hiệu điện não có ích được giữ lại một cách tối đa. Do đó, việc lựa chọn hàm phân ngưỡng là yếu tố quan trọng nhất quyết định sự thành công của quá trình khử nhiễu tín hiệu trong phương pháp phân ngưỡng wavelet. Trong khuôn khổ của luận án này, hàm phân ngưỡng thích nghi dựa trên ước lượng SURE (Stein’s unbiased risk estimate) [4] được sử dụng. Giá trị phân ngưỡng t có thể được xác định một cách thích nghi, dựa trên dữ liệu bởi phương pháp phân ngưỡng SURE như sau: 𝑡𝑖+1 = 𝑡𝑖 − 𝛻𝑡𝑖, (6) Trong đó giá trị ngưỡng tại bước thứ i được tính bởi công thức: 𝛻𝑡𝑖 = 𝛼 . 𝜕𝑅𝑠(𝑡) 𝜕𝑡 , (7) Trong đó 𝜕𝑅𝑠(𝑡) 𝜕𝑡 = 2 ∑ 𝑔𝑖 𝑁−1 𝑖=0 . 𝜕𝑔𝑖 𝜕𝑡 + 2 ∑ 𝜕2𝑔𝑖 𝜕𝑝𝑖𝜕𝑡 𝑁−1 𝑖=0 , (8) Với 𝑔𝑖 = 𝑄(𝑝𝑖 , 𝑡) − 𝑝𝑖 (9) Với 𝑄(𝑝, 𝑡) = { 𝑝 + 𝑡 − 𝑡 2𝑘+1 , 𝑝 < −𝑡 1 (2𝑘+1)𝑡2𝑘 𝑝2𝑘+1, |𝑝| ≤ 𝑡 𝑝 − 𝑡 + 𝑡 2𝑘+1 , 𝑝 > 𝑡 (10) 38 Trong đó k là số thực dương và p là giá trị phương sai của thành phần chính được xét đến. Giá trị ngưỡng có thể được khởi tạo dựa trên công thức phân ngưỡng Donoho [26] như sau: 𝑡0 = 𝑚𝑒𝑑𝑖𝑎𝑛(|𝑝|) 0.6745 √ 2𝑙𝑜𝑔 (𝑛) 𝑛 . (11) Quá trình này được lập lại tới khi 𝛻𝑡𝑖/𝑡𝑖+1 > ε. 3.5. Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não Kĩ thuật thu tín hiệu EEG đã sớm có khả năng thu đồng thời một số lượng lớn các kênh tín hiệu số hóa, điều này cho phép ra đời một kĩ thuật phân tích tín hiệu mới được gọi là định vị EEG. Về cơ bản, kĩ thuật này cho phép xác định mức độ hoạt động não ở các vùng não khác nhau tại một thời điểm. Thông thường, mức hoạt động não sẽ được mã hóa theo màu sắc để hiển thị lên mô hình não hoặc sơ đồ não (ví dụ, màu tím và xanh có thể mô tả mức độ hoạt động EEG thấp, trong khi vàng và đỏ có thể mô tả mức độ hoạt động lớn hơn). Những điểm trong không gian nằm giữa các điện cực sẽ được tính toán bằng những kĩ thuật tính toán nội suy (tính toán giá trị tức thời trên cơ sở các giá trị liền kề). LORETA (Low resolution brain electromagnetic tomography) [27] là thuật toán điển hình trong kĩ thuật định vị EEG. Thuật toán này biểu diễn hoạt động của não bộ với một mô hình não 3D. Thuật toán LORETA cho phép tính toán phân bố mật độ dòng xuyên suốt toàn bộ phần đầu, sau đó gắn mỗi điểm trong đầu (được gọi là voxel – điểm ảnh trong không gian 3 chiều) với một mức cường độ mô tả độ mạnh của mật độ dòng tại điểm đó. Mỗi điểm ảnh sau đó được mã hóa màu tương ứng với mức cường độ (thông thường là từ đỏ>trắng>xanh tương ứng cường độ giảm dần – xem Hình 11). Loreta định nghĩa dựa trên phương trình: . φ = KJ (12) 39 Với φ là chênh lệch điện thế đo tại N điểm trên da đầu (chính là tín hiệu tại sensor gắn trên da đầu, trong trường hợp của mình N=14 (chính là số điện cực). Tọa độ của N điểm đo này lấy theo hệ tọa độ Descartes {s1 , s2 ,..., sN}. J là ma trận mật độ dòng tại M điểm bên trong não (J: mật độ dòng, kích thước 3Mx1), J = (jT1 , jT2 ,... , jTM )T, tại mỗi điểm ta có jb = (jxb , jyb , jzb)T với β=1..M. T là kí hiệu ma trận chuyển vị. K là ma trận chuyển đổi (transfer matrix, kích thước Nx3M) 𝐾 = ( 𝑘11 𝑘12 . . 𝑘1𝑀 𝑘21 𝑘22 . . 𝑘2𝑀 . . . . . . . . 𝑘𝑁1 𝑘𝑁2 . . 𝑘𝑁𝑀 ) Ma trận K được tính bằng cách sử dụng các đạo trình cho các vị trí điện cực cố định (xác định bằng mô hình đầu) Tại mỗi thành phần kαβ ta có (13) Với σ là độ dẫn, sR là vector vị trí của điện cực tham chiếu. Mục tiêu của thuật toán là tìm giá J tại mỗi điểm trong não dựa theo phương trình định nghĩa LORETA. Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG. 40 4. Một số ứng dụng hệ giao diện não máy tính Giao diện não-máy tính (Brain computer interface – BCI) [7, 11] là một cách thức truyền thông giữa não và các thiết bị bên ngoài (external devices) thông qua một hệ thống thu nhận và xử lý tín hiệu từ não bộ. Nghiên cứu về BCI bắt đầu từ những năm 1970 tại trường Đại học California Los Angeles (UCLA) [12, 28]. LA. Farwell, 1988 [12] phát triển một hệ thống giao diện não-máy tính dựa trên EEG. Đến gần đây, các ứng dụng của hệ BCI khá đa dạng từ việc điều khiển xe lăn, đánh vần ký tự, chơi các trò chơi bằng trí não, tích hợp trong các hệ thống phục hồi chức năng Trong phần dưới đây, luận án sẽ mô tả về một số hệ BCI như vậy. 4.1. Hệ BCI2000 Hình 12. Thiết kế hệ BCI2000 [17] Năm 2000, một nghiên cứu của Jessica Bayliss tại Đại học Rochester cho thấy rằng các tình nguyện viên đội mũ bảo hiểm thực tế ảo có thể kiểm soát các thành phần (elements) trong một thế giới ảo bằng cách sử dụng các bài đọc P300 EEG của họ, bao gồm cả bật/tắt đèn và làm một chiếc xe mô hình dừng lại. Ngoài ra, hệ BCI 2000 còn có cho phép điều khiển con chuột máy tính bằng tín hiệu điện. Hệ BCI2000 có khả năng di chuyển con chuột máy tính đến bất kỳ vị trí nào trên màn hình sử dụng đặc trưng nhịp cảm giác vận động (Sensorimotor rhythm) [13]. Hệ BCI có thể thực hiện được dựa trên việc tìm và phân loại thay đổi của các nhịp tín hiệu điện não khi đối tượng thực hiện các tác vụ tưởng tượng vận động như tưởng tượng di chuyển 41 tay trái/phải. Nhịp alpha thu được trong vùng não phụ trách giác quan vận động được gọi là nhịp Mu. Dải tần số của tín hiệu điện não trong trường hợp này là nhịp Mu hoặc beta. Việc tưởng tượng vận động hoặc thực sự cử động gây ra thay đổi nhịp giác quan vận động và tập trung ở dải tần nhịp Mu và beta. 4.2. Hệ VR-BCI trong phục hồi chức năng Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1] Từ năm 2009 tới nay, đã có 8 giải thưởng BCI-Research Award hàng năm trao cho những nhóm nghiên cứu có kết quả nghiên cứu nổi bật về hệ BCI trên toàn thế giới được đánh giá bởi ban giám khảo, bao gồm những chuyên gia hàng đầu trên thế giới về BCI. Năm 2018, một đề cử giải BCI Award giành cho hệ BCI dùng trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn thương tủy sống [1]. Trong đó, người bệnh đột quỵ trong quá trình phục hồi chức năng được đo và phân tích tín hiệu điện não khi thực hiện tác vụ tưởng tượng vận động Motor Imagery. Trong thí nghiệm, người bệnh được đồng thời đeo kính thực tại ảo và màn hình máy tính sẽ hiển thị ý định của người bệnh (ví dụ nếu người bệnh muốn nâng tay trái hay tay phải thì nhân vật hoạt họa cũng nâng tay trái hay tay phải dựa trên phân tích điện não ý định của người bệnh). Bác sỹ có thể quan sát và so sánh giữa hành động thực sự người bệnh có thể thực hiện được với ý định thể hiện qua nhân 42 vật hoạt họa trên màn hình máy tính để biết được hiệu quả và tình trạng của bệnh nhân. 4.3. Một số hệ BCI trong đánh vần ký tự P300 là một đặc trưng tín hiệu sóng điện não sinh ra khoảng 300ms sau khi xuất hiện kích thích. Hệ BCI dựa trên P300 cũng thường được nghiên cứu, phát triển để giải quyết bài toán hỗ trợ đánh vần cho những người bị liệt tứ chi. Thiết kế thí nghiệm của một hệ BCI P300 này như sau: ma trận 6x5 hiển thị trên màn hình máy tính phục vụ đánh vần trong đó cột và hàng được nháy sáng (flash) theo trật tự ngẫu nhiên (Hình 14). Khoảng cách giữa 2 lần nháy là 175 ms, khoảng thời gian một cột hay hàng được nháy sáng là 100 ms. Một vòng nháy được hoàn thành khi tất cả các cột và hàng đã được nháy 1 lần tương ứng 1, 925. 5 vòng nháy là 1 phiên để xác định 1 chữ cái cần đánh vần (target letter) tương đương khoảng 10 giây. Cứ sau mỗi phiên thì nghỉ 6 giây để bắt đầu phiên tiếp theo. Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] Một cách tiếp cận khác dựa trên việc tưởng tượng giác quan vận động được [68] phát triển thành hệ Berlin BCI. Trong Hình 15, sáu hình lục giác được đặt xung quanh 1 hình tròn. Mỗi hình lục giác chứa 5 ký tự hoặc chức năng cách dòng hoặc xóa. Mũi tên ở trung tâm của vòng tròn cho phép lựa chọn hình lục giác chứa ký tự cần tìm (bước 1) hoặc chính xác ký tự đó (bước 2). Mũi tên sẽ quay theo chiều kim đồng hồ khi tưởng tượng cử động tay phải và dừng lại khi tưởng tượng cử động tay trái. Nếu tiếp tục tưởng tượng cử động tay trái, hình lục giác nơi mũi tên được chọn sẽ dừng lại và các ký tự trong hình lục giác đó sẽ mở rộng lên, các hình lục giác khác sẽ biến mất. Cách làm tương tự để chọn ký tự mong muốn. Nếu chọn ký tự trắng 43 trong hình lục giác tương đương với việc trở lại set up thí nghiệm đầu tiên với tất cả các hình lục giác chứa tập hợp ký tự. Tốc độ di chuyển mũi tên và dừng mũi tên được tùy chỉnh theo người sử dụng. Để tăng hiệu quả của hệ BCI đánh vần, có thể tích hợp thêm một mô hình ngôn ngữ cho phép dự đoán được ký tự sẽ được nhắm tới tiếp theo. Hình 15. Giao diện thí nghiệm Berlin BCI [68] 4.4. Một số nghiên cứu BCI và tín hiệu điện não khác Ở Việt nam, nghiên cứu và ứng dụng tín hiệu điện não để phát triển giao diện não – máy tính là một lĩnh vực còn mới mẻ. Trong lĩnh vực nghiên cứu về tín hiệu điện não, có thể kể đến một số nghiên cứu ứng dụng bước đầu của nhóm nghiên cứu tại Đại học Công nghệ ứng dụng EEG cho dự đoán bệnh động kinh. Dựa vào tín hiệu EEG và đặc trưng của gai động kinh (spike, sharp wave), quá trình phát hiện gai tự động được chia thành nhiều giai đoạn, kết hợp các phương pháp xử lý tín hiệu và học máy, sử dụng tổng hợp các thông tin về hình dạng, thời gian, tần số và không gian giúp hệ thống dự đoán đưa ra các quyết định đáng tin cậy. Trong một nghiên cứu khác, còn có nhóm nghiên cứu tại Đại học Bách khoa ứng dụng phân tích tín hiệu EEG để nhận diện cảm xúc, sử dụng tín hiệu sóng điện não EEG cho mục đích xác thực người dùng và nhóm sinh viên của Đại học FPT sử dụng tín hiệu EEG cho mục đích điều khiển Robot. Hệ thống phát hiện gai động kinh được nhóm nghiên cứu của Đại học Công nghệ phát triển từ năm 2010 trong khuôn khổ Đề tài QG-10.40 “Nghiên cứu xử lý 44 tín hiệu điện não phục vụ phân tích và chẩn đoán bệnh động kinh”. Hệ thống gồm 4 khối chính: tiền xử lý, trích chọn đặc trưng, phân lớp và hệ chuyên gia. Hệ thống sử dụng một số phương pháp xử lý tín hiệu số và học máy như biến đổi Wavelet, Mạng Nơ-ron nhân tạo, So với các hệ thống phát hiện gai động kinh khác trên thế giới, hiệu quả của hệ thống này còn chưa tốt bằng. Nguyên nhân có thể do điều kiện ghi tín hiệu tại Việt Nam còn chưa đạt chuẩn (thời gian ghi tín hiệu chỉ trong khoảng 10 phút so với hơn 20 phút của thế giới) và hệ thống này còn chưa áp dụng các phương pháp khử nhiễu. Nghiên cứu của Đại học Bách khoa về tín hiệu điện não được bắt đầu từ những năm 2008. Nghiên cứu này đã đạt được một số giải thưởng như giải nhất cuộc thi ImagineCup do Microsoft tổ chức, giải nhất Nhân tài đất Việt 2010. Ngoài ra nhóm nghiên cứu này còn chủ trì đề tài nghiên cứu cấp nhà nước KC.01.TN13/11-15 “Nghiên cứu giải mã thông tin trong sóng điện não, ứng dụng xây dựng Hệ thống nhận diện cảm xúc con người”. Một số sản phẩm đạt được như Bộ công cụ MDK (Mimas Development Kit) làm nền tảng cho việc thu nhận và xử lý tín hiệu điện não và phần mềm thu nhận và nhận dạng cảm xúc người sử dụng. Nghiên cứu này sử dụng thiết bị đo EPOC do Emotiv sản xuất. Bài toán sử dụng tín hiệu điện não áp dụng điều khiển Robot được nhóm sinh viên tại Đại học FPT nghiên cứu và phát triển. Tín hiệu điện não được dùng để phân tích bốn loại tín hiệu điều khiển của não bộ: trên, dưới, trái, phải. Thí nghiệm chia làm 2 loại: phân loại 2 loại tín hiệu điều khiển trên và dưới (độ chính xác 66-96%) và phân loại cả 4 loại tín hiệu điều khiển (độ chính xác 28-73%). Thiết bị đo mà nhóm này sử dụng là EEG-SMT gồm 4 đầu đo. Như vậy, nghiên cứu của nhóm này mới chỉ ở mức bắt đầu và để tiến tới mục tiêu điều khiển robot được còn cần đầu tư thêm nhiều thời gian. Gần đây, nghiên cứu về tín hiệu điện não EEG nhận được khá nhiều sự quan tâm. Bộ Khoa học và Công nghệ đã giao cho Ban Quản lý Khu Công nghệ cao Hòa Lạc phối hợp với Công ty Công nghệ Emotiv và SapienLab (một tổ chức phí lợi nhuận chuyên nghiên cứu về thần kinh học) triển khai nhiệm vụ “Khảo sát, điều tra 45 dữ liệu sóng não của người Việt”. Mục tiêu của nhiệm vụ là phân tích các tín dữ liệu sóng điện não thu thập được từ các đối tượng có phân bố về giới tính, việc làm, độ tuổi đa dạng để hiểu sâu hơn về não bộ của người Việt Nam. Trên cơ sở đó lập ra báo cáo so sánh các đặc trưng về não bộ của con người Việt Nam với các quốc gia khác trên thế giới. 5. Kết luận Chương 1 Có nhiều cách tiếp cận để thực hiện hệ BCI trong đó sử dụng tín hiệu điện não EEG một trong những phương thức phổ biến nhất. Các ưu điểm của tín hiệu điện não EEG so với các phương thức thu tín hiệu từ não bộ khác đã được tóm tắt và chỉ rõ trong nội dung Chương này. Nguồn gốc, cơ chế sinh học và cách thức thu tín hiệu cũng đã được trình bày trong Chương này. Đấy chính là cơ sở đề xuất sử dụng tín hiệu điện não trong chủ đề nghiên cứu của luận án này. Một số phương pháp xử lý, phân tích tín hiệu điện não được trình bày ở trong Chương 1 là các phương pháp cơ sở để phát triển các phương pháp đề xuất ở các chương tiếp theo, hỗ trợ đánh giá kết quả thí nghiệm. Các chương nội dung chính của luận án 2, 3, 4 sẽ mô tả chi tiết các phương pháp đề xuất trong xử lý, phân loại tín hiệu điện não và một ứng dụng hệ BCI trong điều khiển các thiết bị điện tử thông minh. 46 CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT 1. Đặt vấn đề Tín hiệu điện não về bản chất là các tín hiệu điện có giá trị điện thế rất nhỏ sinh ra khi các tế bào thần kinh kích hoạt và tạo ra các xung điện [30]. Thông thường, tín hiệu điện não cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz). Tín hiệu điện não được ghi lại bởi các thiết bị thu với các đầu đo đặt tại các vị trí trên da dầu. Tín hiệu điện não hay sóng điện não được đặc trưng bởi ba thành phần là hình dạng, tần số và biên độ. Dựa trên các thành phần này, các đặc trưng của tín hiệu điện não có thể được trích chọn bởi các kỹ thuật khác nhau. Thực tế là sóng điện não thường bị ảnh hưởng bởi các loại nhiễu như tín hiệu bất thường do nháy mắt EOG, nhiễu tim, nhiễu cơ Các loại nhiễu này thường xuất hiện lẫn với tín hiệu điện não và là yếu tố gây cản trở đến việc phân tích tín hiệu điện não, dẫn đến việc giảm độ chính xác phân loại tín hiệu điện não [31]. Khi mắt di chuyển con ngươi (eye movement) hay nháy mắt (eye blinks) gây ra các tín hiệu điện não bất thường có giá trị biên độ lớn (Electroculographic artifacts - EOG) trong bản ghi sóng điện não. Tín hiệu điện não bất thường do nháy mắt (Hình 16) gây ảnh hưởng mạnh nhất trên các dải tần Delta, Theta, Alpha [32]. Nháy mắt gây ra tín hiệu điện não bất thường dạng xung với đỉnh có thể có giá trị lên tới 800 µV và xuất hiện trong một khoảng thời gian khá ngắn khoảng từ 200-400 ms [33]. Khử tín điện não bất thường EOG là một yêu cầu cần thiết trong xử lý, phân tích tín hiệu điện não. Tuy nhiên, việc loại bỏ tín hiệu bất thường EOG không đơn giản bởi tín hiệu EOG xuất hiện và chồng lên tín hiệu điện não “sạch” trên cả miền tần số và thời gian. 47 Hình 16. Tín hiệu bất thường do nháy mắt EOG Gần đây, khử tín hiệu bất thường EOG được nhiều nhóm nghiên cứu về tín hiệu điện não quan tâm [31]. Một số nghiên cứu chỉ ra việc khử tín hiệu bất thường EOG có ảnh hưởng tốt đến việc phân tích, xử lý sóng điện não và làm tăng độ chính xác trong phân loại tín hiệu điện não [34-35]. Một số nhóm nghiên cứu tiếp cận vấn đề khử tín hiệu bất thường EOG dựa trên các phương pháp hồi quy trong đó giả thiết giả tượng mắt là một tổ hợp tuyến tính của tín hiệu điện não sạch và tín hiệu sinh ra do nháy mắt. Theo hướng nghiên cứu này, việc lấy tín hiệu điện não thu được trừ đi phần gây ra bởi tín hiệu bất thường EOG sẽ cho kết quả là tín hiệu điện não sạch. Các phương pháp hồi quy có thể được thực hiện trên miền tần số bằng cách lấy giá trị biến đổi tần số của tín hiệu điện não thu được trừ đi giá trị trên miền tần số gây ra bởi nháy mắt để thu được tín hiệu điện não sạch. Hồi quy trên miền tần số được thực hiện trên nguyên lý phép trừ trên miền tần số tương được với phép lọc (filtering) trên miền thời gian. Cả hai loại phương pháp dựa trên hồi quy nêu trên có hạn chế là phải thực hiện off-line và phải có bộ phận thu tín hiệu nháy mắt riêng biệt [20]. Một số phương pháp dựa trên phân tích thành phần cơ bản (Principal Component Analysis - PCA) hay phân tích thành phần độc lập (Independent Component Analysis - ICA) cũng được sử dụng để khử tín hiệu bất thường EOG [20, 30]. Cả ICA và PCA đều giả thiết tín hiệu điện não là một tổ hợp của các thành phần độc lập với nhau và do đó, khi phân tích tín hiệu điện não thành các thành phần độc lập này ta sẽ thu được các phần tín hiệu điện não sạch và tín hiệu gây ra do tín hiệu bất thường EOG riêng biệt. Thay đổi phần tín hiệu gây ra do tín hiệu bất thường EOG bằng các giá trị thích hợp sẽ cho phép tái cấu trúc lại được phần tín hiệu điện 48 não sạch, không có nhiễu. Các phương pháp dựa trên ICA, PCA thường có kết quả khử nhiễu tốt tuy nhiên lại không thực hiện một cách tự động, theo thời gian thực được. Lý do là phương pháp phân tích thành phần độc lập ICA là một phương pháp tính toán theo lô (batch algorithm) do đó để khai triển ICA cần một tập dữ liệu đa kênh. ICA đồng thời yêu cầu phải thực hiện một bước nhận dạng thủ công, bằng mắt thường để nhận biết các thành phần chính không phù hợp cần loại bỏ. Những yêu cầu này làm cho không thể sử dụng các phương pháp loại bỏ nhiễu tín hiệu điện não dựa trên ICA cho các hệ phân tích tín hiệu điện não theo thời gian thực. Wavelet thresholding thường rất nhạy cảm với sự lựa chọn hàm cơ sở wavelet do đó sản sinh ra những kết quả khử nhiễu có chất lượng không ổn định. Biến đổi wavelet kết hợp mạng nơ-ron cũng được sử dụng trong khử nhiễu EOG. Một trong các công bố được kể đến là [25], nhóm nghiên cứu này đề xuất một phương pháp gọi là Mạng nơ-ron wavelet (Wavelet neural network - WNN) cho phép khử nhiễu trên đơn kênh tín hiệu điện não, theo thời gian thực và tự động. Tuy nhiên, nhược điểm của phương pháp này là việc huấn luyện mạng nơ-ron vẫn phải làm một cách thủ công, do đó cả quy trình không tự động hóa được. Xuất phát từ việc tìm kiếm một phương pháp có thể giải quyết các hạn chế của các phương pháp đã được công bố trước đây như đã trao đổi ở phần trên, luận án này đề xuất một phương pháp mới gọi là Mạng học sâu tự mã hóa thưa wavelet (Deep wavelet sparse autoencoder - DWSAE). DWSAE là một phương pháp khử tín hiệu bất thường EOG có thể thực hiện đơn kênh, tự động theo thời gian thực và có thể tự động huấn luyện, khắc phục được các hạn chế của các phương pháp kể trên trong đó có WNN. Kết quả thực nghiệm cho thấy DWSAE cho kết quả khử nhiễu tốt, đáng tin cậy so với các phương pháp được so sánh. Phần tiếp theo của luận án sẽ trình bày cách thức thực hiện phương pháp Mạng học sâu tự mã thưa wavelet DWSAE trong khử tín hiệu điện não bất thường sinh ra do nháy mắt. 49 2. Đề xuất phương pháp học sâu tự mã hóa thưa wavelet Việc triển khai DWSAE gồm hai pha là huấn luyện không giám sát và tự động sửa tín hiệu sẽ được mô tả chi tiết ở phần bên dưới. Phương pháp mạng học sâu tự mã hóa thưa wavelet DWSAE được đề xuất kế thừa tính chất của SAE và là một phương pháp khử nhiễu tín hiệu điện não không giám sát. Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE SAE được áp dụng thành công trên nhiều lĩnh vực khác nhau trong nhận dạng biểu cảm khuông mặt, dự đoán tương tác của protein, khử nhiễu ảnh SAE cũng được áp dụng trong một số công trình nghiên cứu đã được công bố để khử nhiễu tín hiệu điện não. Ví dụ, trong công bố [35], SAE được sử dụng để khử EOG trên miền thời gian. Phương pháp này sử dụng một hàm phản-chuẩn hóa (anti-standardization) để ánh xạ đầu ra của SAE về một dải giá trị phù hợp với tín hiệu điện não được khử nhiễu. Phương pháp DWSAE được đề xuất trong luận án này được thực hiện dựa trên một cách tiếp cận khác với các phương pháp đã được báo cáo trước đây. DWSAE sử dụng SAE trên miền thời gian tần số và không cần sử dụng hàm ánh xạ hỗ trợ (assistant mapping function). DWSAE gồm 5 thành phần chính là biến đổi wavelet, vector hóa (vectorization), mạng học sâu tự mã hóa thưa, giải vector hóa (de-vectorization) và khôi phục wavelet (Hình 17). Đầu vào của DWSAE là tín hiệu điện não chứa nhiễu EEGcont(t) và đầu ra là tín hiệu điện não đã được “làm sạch” EEGcor(t). Để thực hiện việc khử nhiễu, DWSAE được triển khai theo hai bước là huấn luyện không giám sát và “làm sạch” tự động. Tín hiệu EEGcont(t) được biến đổi wavelet thành một tập các hệ số ở 50 các dải thời gian – tần số khác nhau. Các hệ số ở dải tần số thấp, vốn mang cả thông tin về EOG và tín hiệu điện não sạch được lựa chọn và sắp xếp thành một vec-tơ. Quá trình này được gọi là vector hóa. Vector này được sử dụng làm đầu vào của máy học sâu tự mã hóa thưa. Máy mã hóa thưa này có khả năng sửa lỗi những hệ số này trở thành những hệ số sạch, chỉ chứa thông tin về tín hiệu điện não. Đầu ra của máy SAE sau đó được giải vector hóa và sử dụng để thay thế các hệ số wavelet chứa nhiễu tương ứng ở tín hiệu ban đầu. Các hệ số wavelet đã được sửa lỗi cuối cùng được sử dụng để tái tạo wavelet nhằm khôi phục lại tín hiệu điện não sạch. Phần tiếp theo của Luận án sẽ giới thiệu các cấu phần tạo nên phương pháp DWSAE mạng học sâu tự mã hóa thưa, thuật toán d...i gian. Sau khi tìm ra một số mô hình học máy phù hợp, các mô hình này thể được hiệu chỉnh, tối ưu hóa bộ tham số để thu được độ chính xác cao nhất cho từng mô hình cho vấn đề đang giải quyết. Học cộng đồng (ensemble learning), tức là kết hợp các mô hình học máy đã đề xuất với nhau để tạo ra một mô hình học máy tối ưu hơn mỗi mô hình thành phần, là một phương thức thường được sử dụng để tăng hiệu quả của mô hình học máy đã đạt được trước đó. Hai nguyên tắc cơ bản để học cộng đồng phát huy hiệu quả là: (i) các bộ phân loại yếu (weak learner) có khả năng tốt hơn là phán đoán ngẫu nhiên (random guess) và (ii) các bộ phân loại yếu này có tính chất khác biệt đáng kể và đa dạng [60]. Tăng cường (boosting), đóng bao (bagging) và xếp ngăn (stacking) là các phương thức phổ dụng nhất để thực hiện việc học cộng đồng, trong đó: Boosting được thực hiện bằng cách xây dựng nhiều thuật toán học cùng lúc và kết hợp chúng lại. Mục đích là để có một cụm hoặc một nhóm các máy học yếu sau đó kết hợp chúng lại để tạo ra một mô hình máy học mạnh duy nhất. Bagging được thực hiện bằng cách sử dụng những tập dữ liệu con khác nhau từ tập dữ liệu huấn luyện để xây dựng một số lượng các mô hình (thường là cùng loại). Sử dụng bagging là một cách thức hiệu quả để giảm overfitting trong những mô hình phức tạp [61]. Stacking được thực hiện bằng cách xây dựng một mô hình tổng hợp từ một số mô hình cơ sở (thường là khác loại) nhằm đạt được một mô hình tổng hợp có hiệu quả phân loại tốt hơn [62]. Trong phạm vi nghiên cứu, luận án này đã đề xuất ba mô hình học máy dựa trên máy vec-tơ hỗ trợ, mạng nơ-ron nhân tạo và mạng học sâu để phân loại hiệu quả trạng thái suy nghĩ dựa trên tín hiệu điện não. Để có thể tận dụng và tăng cường hiệu quả phân loại, học cộng đồng (ensemble learning) là cách tiếp cận phù hợp để xây dựng một hệ giao diện não máy tính có khả năng điều khiển các thiết bị điện tử gia dụng thông minh. Phần tiếp theo của luận án sẽ đề xuất mô hình học cộng đồng 107 và báo cáo, thảo luận một số kết quả phân loại ban đầu đạt được với cách tiếp cận này. Hình 46. Mô hình máy học cộng đồng trong phân loại trạng thái suy nghĩ từ tín hiệu điện não Kết hợp các bộ phân loại yếu để tạo nên một bộ phân loại mạnh là nguyên lý cơ bản của các phương thức tiếp cận dựa trên máy học cộng đồng (ensemble learning). Luận án này đề xuất một cách kết hợp mới (Hình 46) dựa trên các phương pháp phân loại trạng thái suy nghĩ từ tín hiệu điện não ở Chương 3 và phương pháp DWSAE trong khử nhiễu tín hiệu điện não bất thường EOG ở Chương 2. Chương 3 đề xuất 03 phương án dựa trên SVM kết hợp năng lượng wavelet tương đối WRE (phương pháp SVM+++), mạng nơron ANN kết hợp chọn đặc trưng dựa trên phân tích thành phần chính PCA (phương pháp ANN++) và mạng học sâu kết hợp lựa chọn thành phần chính với phân ngưỡng thích nghi SURE (phương pháp DNN+). Phương pháp SVM+++ sử dụng ICA trong khử tín nhiễu tín hiệu điện não trong đó có tín hiệu điện não bất thường EOG. Phương pháp ANN++ và DNN+ sử dụng WNN trong khử tín Học cộng đồng 108 hiệu điện EOG. Phương pháp phân loại trạng thái suy nghĩ dựa trên học cộng đồng được đề xuất ở Chương 4 này sẽ thay ICA và WNN bằng phương pháp khử nhiễu tín hiệu điện não bất thường gây ra do nháy mắt Mạng học sâu tự mã hóa thưa wavelet DWSAE đã được đề xuất ở Chương 2. Trong pha huấn luyện, các mô hình học máy được thực hiện tuần tự với tập dữ liệu như đã trình bày tại Chương 3. Ở pha phân loại trạng thái suy nghĩ, thay vì sử dụng một mô hình học máy, luận án đề xuất cách tiếp cận sử dụng hội đồng máy học (commitee machine) [63]. Một hội đồng máy học đơn giản với luật đánh giá được đề xuất như sau: - Trong trường hợp phân loại 2 trạng thái, nếu có ít nhất 2 trong 3 bộ phân loại đưa ra cùng một phương án thì đó là phương án được chọn - Trong trường hợp phân loại 3 trạng thái, nếu ít nhất 2 trong 3 bộ phân loại đưa ra cùng một phương án thì đó là phương án được chọn. Nếu cả 3 bộ phân loại đều đưa ra 3 phương án khác nhau, trọng số lớn hơn và quyền quyết định thuộc về phương án được chọn bởi mô hình học sâu. 3. Kết quả và thảo luận Bảng 10 và Bảng 11 lần lượt báo cáo kết quả phân loại của phương pháp học cộng đồng được đề xuất so với các kết quả phân loại của các mô hình phân loại được đề xuất ở Chương 3 cho phân loại 2 và 3 tác vụ suy nghĩ trên cùng tập dữ liệu đã được báo cáo ở Chương 3. Bảng 10. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên máy học cộng đồng so với các phương pháp thành phần Phương pháp Độ chính xác (%) S1 S2 S3 S4 Trung bình DNN+ 90.87 85.98 96.52 96.83 92.55 ANN++ 88.75 84.20 95.36 94.67 90.745 SVM+++ 90.50 84.80 94.25 93.45 90.75 Máy học cộng đồng 91.35 88.15 96.75 95.90 93.04 109 Bảng 11. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên máy học cộng đồng so với các phương pháp thành phần Phương pháp Độ chính xác (%) S1 S2 S3 S4 Trung bình DNN+ 71.08 75.71 73.19 76.90 74.22 ANN++ 69.65 74.59 71.18 76.84 73.065 SVM+++ 73.80 66.68 75.39 71.47 71.835 Máy học cộng đồng 72.31 77.42 76.19 76.54 75.615 Ghi chú: DNN+ , ANN++ và SVM+++ là các phương pháp học máy dựa trên học sâu kết hợp phân ngưỡng SURE trong lựa chọn thành phần chính thích hợp, mạng nơ-ron kết hợp phân tích thành phần chính và máy vec-tơ hỗ trợ sử dụng đặc trưng năng lượng wavelet tương đối RWE trong phân loại tín hiệu điện não đề xuất ở Chương 3 Kết quả phân loại cho thấy với phân loại 2 trạng thái suy nghĩ, kết quả cao nhất đạt được với phương pháp máy học cộng đồng đề xuất tại Chương 4 là 96.75%, kém hơn so với độ chính xác cao nhất đạt được với phương pháp dựa trên học sâu DNN+. Tuy nhiên, độ chính xác trung bình trên toàn bộ các đối tượng đạt được với phương pháp máy học cộng đồng là 93.04% tăng 0.49% so với kết quả phân loại trung bình cao nhất đạt được với DNN+. Trong khi đó, độ chính xác thấp nhất đạt được của phương pháp dựa trên máy học cộng đồng là 88.15% là cao hơn so với độ chính xác thấp nhất đạt được của phương pháp DNN+. Đối với phân loại 3 trạng thái suy nghĩ, kết quả cao nhất đạt được với phương pháp máy học cộng đồng là 77.42% cao hơn 0.52% so với kết quả phân loại đạt được với phương pháp DNN+. Trong khi đó, kết quả phân loại chính xác trung bình với phương pháp máy học cộng đồng đạt được tăng 1.395% so với độ chính xác trung bình cao nhất đạt được bởi phương pháp DNN+. Đối với hai đối tượng S2 và S3, kết 110 quả phân loại dựa trên phương pháp máy học cộng đồng đều tăng thêm đáng kể so với các phương pháp đã được đề xuất. Các kết quả đã báo cáo từ Bảng 10 - 11 cho thấy phương pháp học cộng đồng tỏ ra hiệu quả trong việc phân loại trạng thái suy nghĩ và thực tế là đã tăng cường khả năng phân loại so với phương án tốt nhất được đề xuất trước đó dựa trên học sâu. Phương án dựa trên học cộng đồng không mang lại kết quả phân loại vượt trội trong trường hợp bộ phân lớp khác đã có kết quả phân loại tốt nhưng cải thiện đáng kể kết quả phân loại đạt được bởi các bộ phân loại đã đề xuất có giá trị không cao (trường hợp các bộ phân loại bị coi là yếu). Nhìn chung, kết quả phân loại trung bình cho 2 và 3 tác vụ với bộ phân loại dựa trên máy học cộng đồng đều khá hơn so với độ trung bình cao nhất đạt được với DNN+, nhất là trong trường hợp phân loại 3 tác vụ suy nghĩ. Đối với việc thực hiện một hệ giao diện não máy tính, cụ thể trong điều khiển thiết bị điện tử gia dụng thông minh, vấn đề quan trọng là cần đảm bảo tính ổn định của hệ thống trong điều kiện người sử dụng đa dạng và có đặc tín tín hiệu sóng điện não khác nhau. Phương pháp học cộng đồng xếp ngăn kết hợp các mô hình phân loại đã được đề xuất là một giải pháp hiệu quả trong việc khắc phục vấn đề này, tạo ra một bộ phân loại có khả năng hoạt động hiệu quả trong nhiều trường hợp người sử dụng với đặc tính khác nhau. 4. Kết luận Chương 4 Chương này đã trình bày chi tiết về hệ giao diện não máy tính, đồng thời đưa ra các phân tích về một số ứng dụng BCI qua đó đề xuất một cách tiếp cận mới dựa trên học cộng đồng với đầu vào là tín hiệu điện não đã được khử tín hiệu điện não mạnh sinh ra do nháy mắt. Kết quả bước đầu cho thấy, mô hình học cộng đồng được đề xuất có khả năng phân loại tốt, trong một số trường hợp cho kết quả phân loại tốt hơn so với các mô hình thành phần đã được đề xuất. Kết quả này khẳng định đây là một cách tiếp cận phù hợp để tăng cường hiệu năng của hệ giao diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh trong điều kiện tín hiệu 111 điện não thường có tính chất rất khác biệt giữa người sử dụng này qua người sử dụng khác và từ phiên thu tín hiệu này sang phiên thu tín hiệu khác. 112 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ Nghiên cứu về tín hiệu sóng điện não và hệ giao diện não máy tính BCI đòi hỏi sự liên kết giữa các vấn đề nghiên cứu khác nhau cả về công nghệ kết hợp với phân tích và tìm hiểu lý thuyết thần kinh học và cấu trúc của não bộ. Luận án này đã trình bày về các cơ sở lý thuyết tín hiệu điện não, hệ giao diện não – máy tính, đề xuất một số phương pháp xử lý, phân tích tín hiệu điện não dựa trên học máy, trình bày và phát triển hệ giao diện não máy tính ứng dụng trong điều khiển các thiết bị điện tử gia dụng thông minh. Các tiếp cận giải quyết bài toán dựa trên các phương pháp học máy cho thấy đây là một hướng đi phù hợp để tiến tới hiện thực hóa và triển khai thực nghiệm hệ giao diện não máy tính này. Để cải tiến chất lượng của hệ giao diện não máy tính, luận án đã đề xuất cách tiếp cận dựa trên việc kết hợp biến đổi wavelet với mạng học sâu tự mã hóa thưa. Kết quả thực nghiệm cho thấy các phương pháp được đề xuất đều cho kết quả tốt và có khả năng ứng dụng trong các hệ BCI thực tế. Những đóng góp khoa học chính của luận án bao gồm đề xuất 06 phương pháp mới trong xử lý, phân tích tín hiệu điện não dựa trên học máy và hệ thống giao diện não máy tính ứng dụng trong điều khiển thiết bị điện tử gia dụng thông minh: Thứ nhất, khử tín hiệu điện não bất thường EOG tự động sử dụng mạng mã hóa thưa – Sparse Autoencoder. Thứ hai, nhận diện, dò đếm tín hiệu bất thường do nháy mắt EOG dựa trên biến đổi wavelet với hàm cơ sở wavelet Haar và Thứ ba, phân loại tín hiệu điện não trong các tác vụ suy nghĩ dựa trên bộ phân lớp SVM kết hợp biến đổi năng lượng wavelet tương đối, Thứ tư, phân loại tín hiệu điện não sử dụng mạng nơ-ron với đặc trưng lựa chọn bởi phân tích thành phần chính, Thứ năm, phân loại tín hiệu điện não sử dụng mạng học sâu (deep neural network), 113 Thứ sáu, đề xuất hệ giao diện não máy tính hoàn chỉnh trong điều khiển thiết bị điện tử gia dụng. Thứ bảy, phân loại tín hiệu điện não sử dụng mô hình dựa trên học cộng đồng, Những kết quả thực nghiệm với các phương pháp đề xuất cho thấy: - Sử dụng các phương pháp học máy là cách tiếp cận phù hợp trong xử lý và phân tích tín hiệu điện não trong điều kiện tín hiệu điện não có tính chất không dừng (non-stationary). - Các phương pháp học có giám sát như mạng học sâu, mạng nơ-ron nhân tạo, máy học vec-tơ hỗ trợ có khả năng phân loại trạng thái suy nghĩ tốt và có khả năng được phát triển để thực hiện hệ BCI trong điều khiển thiết bị điện tử gia dụng thông minh. - Mô hình phân loại gồm các cấu phần tiền xử lý, trích chọn đặc trưng, phân loại có ưu điểm hơn việc sử dụng các bộ phân loại trực tiếp trên tín hiệu EEG thô. - Học máy/trí tuệ nhân tạo có khả năng thực hiện các tác vụ mà không cần học trước nếu được triển khai một cách thích hợp. Đây là cách tiếp cận gần với tư duy con người: không cần được học mọi kiến thức để giải quyết các vấn đề mới phát sinh. - Mô hình phân loại dựa trên học sâu kết hợp phân ngưỡng SURE cho lựa chọn thành phần chính có kết quả phân loại tốt nhất so với các mô hình được đề xuất khác và so với các mô hình phân loại dựa trên học máy được dùng trong đối sánh. Việc áp dụng thành công phương pháp phân ngưỡng thích nghi SURE cho lựa chọn thành phần chính là cơ sở để áp dụng cách tiếp cận này trong các bài toán sử dụng PCA khác. - Khó tồn tại một mô hình phân loại tốt cho mọi trường hợp. Mô hình học cộng đồng là một hướng đi thích hợp để thực hiện hệ BCI trong điều kiện tín hiệu EEG có sự khác biệt từ người này sang người khác, từ thời điểm thu này sang thời điểm thu khác. 114 - Thiết kế thí nghiệm đóng vai trò quan trọng trong việc thực hiện hiệu quả hệ BCI. Những nghiên cứu của luận án này cũng chỉ ra một số hạn chế đối với các phương pháp được đề xuất cũng như cách tiếp cận giải quyết bài toán xử lý, phân loại tín hiệu điện não, phát triển các hệ BCI theo hướng đã trình bày, cụ thể như sau: - Những mô hình phân loại được đề xuất mới chỉ tích hợp phần khử tín hiệu bất thường sinh ra do nháy mắt EOG để làm tăng chất lượng đầu vào cho hệ thống. Trong điều kiện tín hiệu EEG rất dễ bị ảnh hưởng bởi các loại nhiễu, gây ảnh hưởng nghiêm trọng đến thông tin thực sự sinh ra do các hoạt động của não bộ, tín hiệu điện não sử dụng trong luận án này có thể bị tác động bởi nhiều loại nhiễu khác gây ra do chuyển động, nói chuyện, cử động cơ, tim - Cách tiếp cận xây dựng cơ sở dữ liệu và thiết kế thí nghiệm dựa trên phân loại tác vụ suy nghĩ có ưu điểm là không cần thêm thiết bị hỗ rợ như các cách thức tạo ra các đặc trưng P300, N400, hình dung ảnh vận động, xung kích thích thị giác trạng thái ổn định nhưng tín hiệu thu được lại rất phụ thuộc vào việc đối tượng tuân thủ chính xác hướng dẫn thí nghiệm. Việc tuân thủ này thường khá khó xác nhận tính chính xác. - Các mô hình phân loại đều đang sử dụng tín hiệu điện não thu được bởi toàn bộ 14 điện cực của thiết bị EPOC+. Nhiều nghiên cứu khác trên thế giới chỉ ra rằng trong một số tác vụ và thiết kế thí nghiệm nhất định, tín hiệu EEG từ một bộ phận các điện cực, đặt ở các vị trí phù hợp, có thể đem lại kết quả tốt hơn là sử dụng toàn bộ các điện cực. Dựa trên phân tích ở trên, một số hướng nghiên cứu tiếp theo là: - Thực hiện các hệ BCI dựa trên các phương pháp được đề xuất - Phát triển các phương pháp dựa trên học cộng đồng như adaboost để tăng cường khả năng phân loại tín hiệu điện não 115 - Tiếp tục áp dụng các phương pháp học máy để cải tiến DWSAE hướng tới khử các loại nhiễu tín hiệu điện não khác cũng như loại nhiễu trên các loại tín hiệu hình ảnh, âm thanh - Nghiên cứu và phát triển hệ BCI dựa trên đặc trưng P300, nhịp vận động cảm giác và các đặc trưng tín hiệu điện não khác - Tích hợp biến đổi wavelet package để cải tiến phương pháp DWSAE - Phát triển các thuật toán huấn luyện mạng học sâu kết nối từng phần (partly-connected), nút kích hoạt theo nhiệm vụ (activated by task) hướng đến xây dựng máy học đa nhiệm 116 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ 1. Nguyen The Hoang Anh, Thanh Ha Le and The Duy Bui. A deep wavelet sparse autoencoder method for online and automatic EOG artifact removal. Neural Computing and Applications (2020). https://doi.org/10.1007/s00521-020-04953-0 (ISI-indexed) 2. Nguyen The Hoang Anh, T. T. Quyen Bui, Nguyen Truong Thang, Thanh Ha Le, The Duy Bui. A Robust PCA-SURE Thresholding Deep Neural Network Approach for Mental Task Brain Computer Interface. Journal of Informatics and Mathematical Sciences. Journal of Informatics and Mathematical Sciences 11.3-4 (2019): 383- 406. ISSN 0975-5748 (online); 0974-875X (print) 3. Hoang-Anh The Nguyen, Anh Tuan Do, Thanh Ha Le and The Duy Bui. “A deep sparse autoencoder method for automatic EOG artifact removal”, 2019 19th International Conference on Control, Automation and Systems (ICCAS 2019), Oct. 15~18, 2019; ICC Jeju, Jeju, Korea, ISBN: 978-89-93215-18-2. IEEE. 4. Hoang-Anh The Nguyen, Thanh Ha Le, The Duy Bui. “A Stacking Ensemble Learning Model for Mental State Recognition Towards Implementation of Brain Computer Interface”, the 2019 6th NAFOSTED Conference on Information and Computer Science (NICS), Dec. 12-13, 2019; Hanoi, Vietnam, p. 39-43, ISBN: 978- 1-7281-5162-5. IEEE, 5. Huy Hoang Tran, Hoang Anh T. Nguyen, Quoc-Vuong Do and Thanh Ha Le. “EOG Detection using Haar Wavelet Transform toward implementation of an IOT Brain computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018. 6. Nguyễn Thế Hoàng Anh, Huy Hoàng Trần, Anh Tuấn Đỗ, Quốc Vương Đỗ and Thanh Hà Lê. “Phương pháp sử dụng mạng tự mã hóa thưa trong loại nhiễu tín hiệu điện não tự động, theo thời gian thực”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 22, 2019. 7. Nguyen The Hoang Anh, Tran, H.H., Vu, T.T. and Bui, T.Q.2016, October. A combination of independent component analysis, relative wavelet energy, and support vector machine for mental state classification. In Control, Automation and Systems (ICCAS), 2016 16th International Conference on (pp. 733-738). IEEE. 8. Nguyen The Hoang Anh, Hoang, T.H., Thang, V.T. and Bui, T.Q. 2016, November. An Artificial Neural Network approach for electroencephalographic signal classification towards brain-computer interface implementation. In Computing & Communication Technologies, Research, Innovation, and Vision for the Future (RIVF), 2016 IEEE RIVF International Conference on (pp. 205-210). IEEE. 117 9. Nguyễn Thế Hoàng Anh, Trần Huy Hoàng, Bùi Thị Thanh Quyên Phương pháp và hệ thống thu nhận tín hiệu điện não để điều khiển thiết bị điện tử trong ứng dụng nhà thông minh (Đơn sáng chế được Cục Sở hữu trí tuệ, Bộ KHCN chấp nhận đơn hợp lệ). 118 TÀI LIỆU THAM KHẢO 1. Lupu, R. G., Irimia, D. C., Ungureanu, F., Poboroniuc, M. S., & Moldoveanu, A. (2018). BCI and FES based therapy for stroke rehabilitation using VR facilities. Wireless Communications and Mobile Computing, 2018. 2. Saeedi S, Chavarriaga R, Millán JD. Long-term stable control of motor- imagery BCI by a locked-in user through adaptive assistance. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2017 Apr;25(4):380-91. 3. Citi, L., Poli, R., Cinel, C., & Sepulveda, F. (2008). P300-based BCI mouse with genetically-optimized analogue control. IEEE transactions on neural systems and rehabilitation engineering, 16(1), 51-61. 4. Zhang, X.P. and Desai, M.D., 1998. Adaptive denoising based on SURE risk. IEEE signal processing letters, 5(10), pp.265-267. 5. Churchland, P.S., Sejnowski, T.J. and Poggio, T.A., 2016. The computational brain. MIT press. 6. Herculano-Houzel, S. (2009). The human brain in numbers: a linearly scaled- up primate brain. Frontiers in human neuroscience, 3, 31. 7. Kevric, J. and Subasi, A., 2017. Comparison of signal decomposition methods in classification of EEG signals for motor-imagery BCI system. Biomedical Signal Processing and Control, 31, pp.398-406. 8. Ahi, S. T., Kambara, H., & Koike, Y. (2010). A dictionary-driven P300 speller with a modified interface. IEEE transactions on neural systems and rehabilitation engineering, 19(1), 6-14. 9. Wolpaw, J.R. and McFarland, D.J., 2004. Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans. Proceedings of the national academy of sciences, 101(51), pp.17849-17854. 10. Hotson, G., McMullen, D.P., Fifer, M.S., Johannes, M.S., Katyal, K.D., Para, M.P., Armiger, R., Anderson, W.S., Thakor, N.V., Wester, B.A. and Crone, N.E., 2016. Individual finger control of a modular prosthetic limb using high-density 119 electrocorticography in a human subject. Journal of neural engineering, 13(2), p.026017. 11. Hamedi, M., Salleh, S.H. and Noor, A.M., 2016. Electroencephalographic motor imagery brain connectivity analysis for BCI: a review. Neural computation, 28(6), pp.999-1041. 12. Farwell LA., Donchin E., "Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials," Electroencephalography and Clinical Neurophysiology, 70 (6): 510–23, 1988. 13. Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wolpaw J.R., “BCI2000: A general –purpose brain-computer interface system,” IEEE Trans. on Biomedical Engineering, vol.51, no.6, 1034-1043, June 2004. 14. Naseer, N. and Hong, K.S., 2015. fNIRS-based brain-computer interfaces: a review. Frontiers in human neuroscience, 9, p.3. 15. Kundu, P., Voon, V., Balchandani, P., Lombardo, M. V., Poser, B. A., & Bandettini, P. A. (2017). Multi-echo fMRI: a review of applications in fMRI denoising and analysis of BOLD signals. Neuroimage, 154, 59-80. 16. Glover, G. H. (2011). Overview of functional magnetic resonance imaging. Neurosurgery Clinics, 22(2), 133-139. 17. Fleming, I.N., Manavaki, R., Blower, P.J., West, C., Williams, K.J., Harris, A.L., Domarkas, J., Lord, S., Baldry, C. and Gilbert, F.J., 2015. Imaging tumour hypoxia with positron emission tomography. British journal of cancer, 112(2), p.238. 18. Sanei, S. and Chambers, J.A., 2013. EEG signal processing. John Wiley & Sons. 19. Kim, J., Lee, J., Han, C. and Park, K., 2019. An Instant Donning Multi- Channel EEG Headset (with Comb-Shaped Dry Electrodes) and BCI Applications. Sensors, 19(7), p.1537. 120 20. Jung, T.P., Makeig, S., Humphries, C., Lee, T.W., Mckeown, M.J., Iragui, V. and Sejnowski, T.J., 2000. Removing electroencephalographic artifacts by blind source separation. Psychophysiology, 37(2), pp.163-178. 21. Rioul O., Vetterli M., Wavelet and signal processing, IEEE Signal Process Mag.8(4)(2002)14–38. 22. Kalayci T., Ozdamar O., Wavelet preprocessing for automated neural network detetion of EEG spikes, IEEE Eng. Med. Biol. Mag. 14(2) (1995) 160–166. 23. Rosso, O. A., Martin, M. T., Figliola, A., Keller, K., & Plastino, A. (2006). EEG analysis using wavelet-based information tools. Journal of neuroscience methods, 153(2), 163-182. 24. De Clercq, W., Vergult, A., Vanrumste, B., Van Paesschen, W. and Van Huffel, S., 2006. Canonical correlation analysis applied to remove muscle artifacts from the electroencephalogram. IEEE transactions on Biomedical Engineering, 53(12), pp.2583-2587. 25. Nguyen, H.A.T., Musson, J., Li, F., Wang, W., Zhang, G., Xu, R., Richey, C., Schnell, T., McKenzie, F.D. and Li, J., 2012. EOG artifact removal using a wavelet neural network. Neurocomputing, 97, pp.374-389. 26. Donoho DL. De-noising by soft-thresholding. IEEE transactions on information theory. 1995 May;41(3):613-27. 27. Pascual-Marqui, R.D., 2002. Standardized low-resolution brain electromagnetic tomography (sLORETA): technical details. Methods Find Exp Clin Pharmacol, 24(Suppl D), pp.5-12. 28. Vidal J.J., “Real-time detection of brain events in EEG,” Proceedings of IEEE, 65 (5): 633–641, 1977. 29. Blankertz, B., Muller, K.R., Krusienski, D.J., Schalk, G., Wolpaw, J.R., Schlogl, A., Pfurtscheller, G., Millan, J.R., Schroder, M. and Birbaumer, N., 2006. The BCI competition III: Validating alternative approaches to actual BCI problems. IEEE transactions on neural systems and rehabilitation engineering, 14(2), pp.153- 159. 121 30. McFarland, D.J. and Wolpaw, J.R., 2017. EEG-based brain–computer interfaces. current opinion in Biomedical Engineering, 4, pp.194-200. 31. Urigüen, J.A. and Garcia-Zapirain, B., 2015. EEG artifact removal—state-of- the-art and guidelines. Journal of neural engineering, 12(3), p.031001. 32. Pizzagalli, D.A., 2007. Electroencephalography and high-density electrophysiological source localization. Handbook of psychophysiology, 3, pp.56- 84. 33. Hagemann, D. and Naumann, E., 2001. The effects of ocular artifacts on (lateralized) broadband power in the EEG. Clinical Neurophysiology, 112(2), pp.215-231. 34. Li, X., Guan, C., Zhang, H. and Ang, K.K., 2017. Discriminative ocular artifact correction for feature learning in EEG analysis. IEEE Transactions on biomedical engineering, 64(8), pp.1906-1913. 35. Yang, B., Duan, K., Fan, C., Hu, C. and Wang, J., 2018. Automatic ocular artifacts removal in EEG using deep learning. Biomedical Signal Processing and Control, 43, pp.148-158. 36. Bengio, Y., Lamblin, P., Popovici, D. and Larochelle, H., 2007. Greedy layer- wise training of deep networks. In Advances in neural information processing systems (pp. 153-160). 37. Goodfellow I., Le Q., Saxe A., Lee H., and Ng A., “Measuring invariances in deep networks,” in Proc. NIPS, Vancouver, Canada, 2009, pp. 646–654. 38. Zhu, C., Byrd, R.H., Lu, P. and Nocedal, J., 1997. Algorithm 778: L-BFGS- B: Fortran subroutines for large-scale bound-constrained optimization. ACM Transactions on Mathematical Software (TOMS), 23(4), pp.550-560. 39. Turnip, A., 2015. Comparison of ICA-Based JADE and SOBI methods EOG artifacts removal. Journal of Medical and Bioengineering, 4(6). 40. Belouchrani, A., Abed-Meraim, K., Cardoso, J.F. and Moulines, E., 1997. A blind source separation technique using second-order statistics. IEEE Transactions on signal processing, 45(2), pp.434-444. 122 41. Bell, A. J., & Sejnowski, T. J. (1995). An information-maximization approach to blind separation and blind deconvolution. Neural computation, 7(6), 1129-1159. 42. He, T., Clifford, G., & Tarassenko, L. (2006). Application of independent component analysis in removing artefacts from the electrocardiogram. Neural Computing & Applications, 15(2), 105-116. 43. Krishnaveni, V., Jayaraman, S., Anitha, L. and Ramadoss, K., 2006. Removal of ocular artifacts from EEG using adaptive thresholding of wavelet coefficients. Journal of Neural Engineering, 3(4), p.338. 44. Chiappa, S. and Barber, D., 2006. EEG classification using generative independent component analysis. Neurocomputing, 69(7-9), pp.769-777. 45. Anderson, C.W., Stolz, E.A. and Shamsunder, S., 1998. Multivariate autoregressive models for classification of spontaneous electroencephalographic signals during mental tasks. IEEE Transactions on Biomedical Engineering, 45(3), pp.277-286. 46. Zhang, X., Yao, L., Kanhere, S.S., Liu, Y., Gu, T. and Chen, K., 2017. MindID: Person identification from brain waves through attention-based recurrent neural network. ACM J. Comput. Cult. Herit., Vol. 9, No. 4, Article 39. 47. Grandchamp, R., Braboszcz, C. and Delorme, A., 2014. Oculometric variations during mind wandering. Frontiers in psychology, 5, p.31. 48. Nguyen, H.A.T., Tran, H.H., Vu, T.T. and Bui, T.Q., 2016, October. A combination of independent component analysis, relative wavelet energy, and support vector machine for mental state classification. In Control, Automation and Systems (ICCAS), 2016 16th International Conference on (pp. 733-738). IEEE. 49. Guo, L., Rivero, D., Seoane, J.A. and Pazos, A., 2009. Classification of EEG signals using relative wavelet energy and artificial neural networks. In Proceedings of the first ACM/SIGEVO Summit on Genetic and Evolutionary Computation (pp. 177-184). 50. Vapnik, Vladimir Naumovich, and Vlamimir Vapnik, Statistical learning theory. Vol. 1. New York: Wiley, 1998. 123 51. Tong, S., & Koller, D. (2001). Support vector machine active learning with applications to text classification. Journal of machine learning research, 2(Nov), 45- 66. 52. Harris, T. (2015). Credit scoring using the clustered support vector machine. Expert Systems with Applications, 42(2), 741-750. 53. Burges, Christopher JC. "A tutorial on support vector machines for pattern recognition." Data mining and knowledge discovery 2.2 (1998): 121-167. 54. Gavish, M. and Donoho, D.L., 2014. The optimal hard threshold for singular values is 4/√3. IEEE Transactions on Information Theory, 60(8), pp.5040-5053. 55. Yu, C., Manry, M. T., Li, J., Narasimha, P. L., “An efficient hidden layer training method for the multilayer perceptron,” Neurocomputing, Vol. 70, No. 1, pp. 525–535, 2006. 56. Abdi, H. and Williams, L.J., 2010. Principal component analysis. Wiley interdisciplinary reviews: computational statistics, 2(4), pp.433-459. 57. LeCun, Y., Bengio, Y. and Hinton, G., 2015. Deep learning. nature, 521(7553), pp.436-444. 58. Deng L., Yu D., “Deep learning for signal and information processing,” Microsoft Research Monograph, 2013. 59. Hinton, G.E., Osindero, S. and Teh, Y.W., 2006. A fast learning algorithm for deep belief nets. Neural computation, 18(7), pp.1527-1554. 60. Zhang, X. L., & Wang, D. (2016). A deep ensemble learning method for monaural speech separation. IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), 24(5), 967-977. 61. Kulesa A, Krzywinski M, Blainey P, Altman N. Points of significance: Sampling distributions and the bootstrap. Nature Methods. 2015;12(6). 62. Wang, G., Hao, J., Ma, J., & Jiang, H. (2011). A comparative assessment of ensemble learning for credit scoring. Expert systems with applications, 38(1), 223- 230. 124 63. Tresp, V., 2000. A Bayesian committee machine. Neural computation, 12(11), pp.2719-2741. 64. Mai, J. K., Majtanik, M., & Paxinos, G. (2015). Atlas of the human brain. Academic Press. 65. Huy Hoang Tran, Hoang Anh T. Nguyen, Quoc-Vuong Do and Thanh Ha Le, “EOG Detection using Haar Wavelet Transform toward implementation of an IOT Brain computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018. 66. Nguyen The Hoang Anh, T. T. Quyen Bui, Nguyen Truong Thang, Thanh Ha Le, The Duy Bui. A Robust PCA-SURE Thresholding Deep Neural Network Approach for Mental Task Brain Computer Interface. Journal of Informatics and Mathematical Sciences, 11(3-4), pp.383-406. 67. Ng, A., 2011. Sparse autoencoder. CS294A Lecture notes, 72(2011), pp.1-19. 68. Blankertz, B., Losch, F., Krauledat, M., Dornhege, G., Curio, G. and Müller, K.R., 2008. The Berlin Brain-Computer Interface: Accurate performance from first- session in BCI-naive subjects. IEEE transactions on biomedical engineering, 55(10), pp.2452-2462.