Luận văn Nghiên cứu mạng nơ ron và ứng dụng trong bài toán dự báo tuyển sinh trường THPT Lê Quý Đôn

1 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Giáo viên hướng dẫn: TS.Nguyễn Đình Dũng THÁI NGUYÊN - 2020 i LỜI CẢM ƠN Luận văn này được hoàn thành tại Trường Đại học Công nghệ Thông tin và Truyền thông dưới sự hướng dẫn của TS. Nguyễn Đình Dũng. Tác giả xin bày tỏ lòng biết ơn tới các thầy cô giáo thuộc Trường Đại học Công nghệ Thông tin và Truyền thông, các thầy cô giáo thuộc Viện Công nghệ Thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã tạo điều kiện, giúp đỡ tác giả trong quá trình học tập và làm luận văn tại Trường, đặc biệt tác giả xin bày tỏ lòng biết ơn tới TS. Nguyễn Đình Dũng đã tận tình hướng dẫn và cung cấp nhiều tài liệu cần thiết để tác giả có thể hoàn thành luận văn đúng thời hạn. Xin chân thành cảm ơn anh chị em học viên cao học và bạn bè đồng nghiệp đã trao đổi, khích lệ tác giả trong quá trình học tập và làm luận văn tại Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên. Cuối cùng tác giả xin gửi lời cảm ơn đến gia đình, những người đã luôn bên cạnh, động viên và khuyến khích tôi trong quá trình thực hiện đề tài. Thái Nguyên, ngày 10 tháng 04 năm 2020 Học viên cao học Nguyễn Thị Thơ ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn này do chính tôi thực hiện, dưới sự hướng dẫn khoa học của TS. Nguyễn Đình Dũng, các kết quả lý thuyết được trình bày trong luận văn là sự tổng hợp từ các kết quả đã được công bố và có trích dẫn đầy đủ, kết quả của chương trình thực nghiệm trong luận văn này được tác giả thực hiện là hoàn toàn trung thực, nếu sai tôi hoàn toàn chịu trách nhiệm. Thái Nguyên, ngày 10 tháng 04 năm 2020 Học viên Nguyễn Thị Thơ iii MỤC LỤC LỜI CẢM ƠN ............................................................................................................ i LỜI CAM ĐOAN ..................................................................................................... ii MỤC LỤC ................................................................................................................ iii DANH MỤC CÁC TỪ VIẾT TẮT .......................................................................... v DANH MỤC CÁC HÌNH ẢNH ............................................................................. vi DANH MỤC BẢNG BIỂU .................................................................................... vii MỞ ĐẦU .................................................................................................................... 1 1. Tính khoa học và cấp thiết của đề tài ...................................................................... 1 2. Đối tượng và phạm vi nghiên cứu của đề tài .......................................................... 1 3. Phương pháp luận nghiên cứu ................................................................................. 2 4. Nội dung và bố cục của luận văn ............................................................................ 2 CHƯƠNG 1. TỔNG QUAN BÀI TOÁN DỰ BÁO TUYỂN SINH...................... 4 1.1 Tổng quan về dự báo ............................................................................................. 4 1.1.1 Khái niệm về dự báo .......................................................................................... 4 1.1.2 Mục đích của dự báo .......................................................................................... 5 1.1.3 Những thách thức trong phân tích dự báo .......................................................... 5 1.1.4 Phân loại các dự báo........................................................................................... 6 1.1.5 Đánh giá mô hình dự báo ................................................................................... 9 1.2 Dự báo dữ liệu chuỗi thời gian .............................................................................. 9 1.2.1 Giới thiệu ............................................................................................................ 9 1.2.2 Một số phương pháp dự báo chuỗi thời gian ................................................... 10 1.3 Bài toán dự báo tuyển sinh .................................................................................. 17 1.4 Kết luận chương ................................................................................................. 18 CHƯƠNG 2. MẠNG NƠ RON NHÂN TẠO VÀ BÀI TOÁN DỰ BÁO ........... 19 2.1 Các khái niệm chung về mạng nơron .................................................................. 19 2.1.1 Mạng nơron sinh học ........................................................................................ 19 2.1.2 Mạng nơron nhân tạo ....................................................................................... 20 2.1.3 Mô hình toán học và kiến trúc mạng nơron ..................................................... 22 iv 2.1.4 Phân loại mạng nơ ron ..................................................................................... 25 2.1.5 Huấn luyện mạng nơron ................................................................................... 26 2.2 Mạng nơron MLP và ứng dụng trong bài toán dự báo ....................................... 28 2.2.1 Kiến trúc mạng ................................................................................................. 28 2.2.2 Huấn luyện mạng ............................................................................................. 29 2.2.3 Các yếu tố ảnh hưởng đến hoạt động của mạng MLP ..................................... 32 2.2.4 Ưu nhược điểm và một số vấn đề của mạng nơron nhiều lớp ......................... 34 2.3 Một số hướng nghiên cứu về bài toán dự báo tuyển sinh sử dụng mạng nơ ron 34 2.3.1 Các nghiên cứu trên thế giới ............................................................................ 35 2.3.2 Các nghiên cứu trong nước .............................................................................. 36 2.4 Xây dựng mô hình dự báo tuyển sinh sử dụng mạng nơ ron MLP ..................... 37 2.4.1 Mô tả bài toán ................................................................................................... 37 2.4.2 Các bước thực hiện ........................................................................................... 37 2.5 Kết luận chương .................................................................................................. 38 CHƯƠNG 3. XÂY DỰNG CHƯƠNG TRÌNH MÔ PHỎNG DỰ BÁO TUYỂN SINH ỨNG DỤNG MẠNG NƠ RON MLP .................................. 39 3.1 Giới thiệu về Trường THPT Lê Quý Đôn ........................................................... 39 3.2 Phát biểu bài toán ................................................................................................ 40 3.3 Xây dựng phần mềm mô phỏng .......................................................................... 43 3.3.1 Môi trường cài đặt ............................................................................................ 43 3.3.2 Cài đặt các chức năng con ................................................................................ 43 3.3.3 Kết quả hoạt động ............................................................................................ 44 3.4 Một số kết quả kiểm thử ...................................................................................... 46 3.5 Đánh giá hoạt động của mô hình dự báo sử dụng mạng MLP với một số mô hình khác .......................................................................................................... 48 3.6 Kết luận chương .................................................................................................. 50 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ............................................................. 51 TÀI LIỆU THAM KHẢO ...................................................................................... 52 v DANH MỤC CÁC TỪ VIẾT TẮT Từ hoặc Từ tiếng Anh Từ tiếng Việt cụm từ ANN Artificial Neural Network Mạng nơron nhân tạo AR Autoregressive Tự hồi quy BP Back Propagation Lan truyền ngược MA Moving Average Đường trung bình di động MAE Mean Absolute Error Sai số tuyệt đối MSE Mean Square Error Sai số trung bình MLP Multilayer Neural Network Mạng nơron nhiều lớp NƠRON Neural Tế bào thần kinh OUTPUTNODE Output Node Số nơron lớp ra GA Genetic Algorithm Giải thuật di truyền EP Evolutionary Programming Lập trình tiến hóa vi DANH MỤC CÁC HÌNH ẢNH Hình 1.1. Dự báo định tính và định lượng .................................................................. 7 Hình 1.2. Phân loại các phương pháp dự báo chuỗi thời gian .................................. 10 Hình 2.1. Cấu trúc cơ bản của nơron sinh học .......................................................... 19 Hình 2.2. Nơron nhân tạo .......................................................................................... 21 Hình 2.3. Mô hình toán học mạng nơron nhân tạo ................................................... 22 Hình 2.4. Nơron 1 đầu vào với hàm hoạt hoá là hàm hardlimit ............................... 24 Hình 2.5. Phân loại mạng nơ ron [18] ....................................................................... 26 Hình 2.6. Học có giám sát ......................................................................................... 26 Hình 2.7. Học không có giám sát .............................................................................. 27 Hình 2.8. Học tăng cường ......................................................................................... 27 Hình 2.9. Mạng Perceptron đa lớp (MLP) ................................................................ 28 Hình 2.10. Cực trị địa phương và toàn cục ............................................................... 33 Hình 3.1. Giao diện chương trình chính.................................................................... 44 Hình 3.2. Nhập dữ liệu dự báo .................................................................................. 44 Hình 3.3. Nhập tham số dự báo ................................................................................. 45 Hình 3.4. Luyện mạng nơ ron ................................................................................... 45 Hình 3.5. Chạy kết quả dự báo .................................................................................. 46 Hình 3.6. Một số kết quả dự báo với các phương pháp dự báo khác nhau ............... 48 vii DANH MỤC BẢNG BIỂU Bảng 2.1. Một số dạng hàm hoạt hóa trong mạng nơron nhân tạo ........................... 25 Bảng 3.1. Cơ sở vật chất của Trường THPT Lê Quý Đôn ........................................ 39 Bảng 3.2. Dữ liệu tuyển sinh của Trường THPT Lê Quý Đôn ................................. 40 Bảng 3.3. Bảng dữ liệu học (với n=6, s=3) ............................................................... 42 Bảng 3.4. Các module chính của chương trình ......................................................... 43 Bảng 3.5. Kết quả thử nghiệm khi số nơ ron lớp ẩn thay đổi ................................... 47 Bảng 3.6. Kết quả thử nghiệm khi thời gian quan sát trước thay đổi ....................... 47 Bảng 3.7. Kết quả thử nghiệm một số phương pháp dự báo ..................................... 49 1 MỞ ĐẦU 1. Tính khoa học và cấp thiết của đề tài Trong bối cảnh ứng dụng công nghệ thông tin ngày càng tăng, dữ liệu phát sinh từ hoạt động quản lý, kinh doanh, sản xuất của các công ty, tổ chức ngày càng nhiều. Các công ty, tổ chức cần phải nhanh chóng đưa ra các quyết định bằng cách xử lý nhiều yếu tố với quy mô và tính phức tạp ngày càng tăng. Để có quyết định chính xác nhất, người quản lý thường thực hiện việc dự đoán hay phân loại vấn đề cần giải quyết trước khi ra quyết định. Ngoài việc dựa trên các yếu tố liên quan trực tiếp đến vấn đề, người ra quyết định còn dựa trên kinh nghiệm bản thân và thông tin có được từ các hoạt động trước đó. Dẫn đến một nhu cầu thực tế là cần có các phương pháp khai phá dữ liệu thu thập được để làm căn cứ ra quyết định [4] . Trong thực tế cuộc sống, công tác dự báo được ứng dụng rộng rãi ở hầu hết các lĩnh vực như: Dự báo giá xăng dầu, dự báo chứng khoán, dự báo thời tiết Công tác dự báo nhằm mục đích dự báo trước sự thay đổi của đối tượng được dự báo dựa trên cơ sở nghiên cứu các quy luật của đối tượng dự báo [9] . Những năm gần đây ngành giáo dục cũng bắt đầu chú trọng đến công tác dự báo nhằm đưa ra được những chính sách đúng đắn nhất. Có rất nhiều tác giả đã đi vào nghiên cứu dự báo các lĩnh vực khác nhau của giáo dục như: Dự báo nhu cầu giáo viên, dự báo tỉ lệ học sinh đỗ tốt nghiệp, dự báo tỉ lệ học sinh đỗ Đại học Chính vì thấy được lợi ích của việc dự báo trong giáo dục nên em chọn đề tài: “Nghiên cứu mạng nơ ron và ứng dụng trong bài toán dự báo tuyển sinh Trường THPT Lê Quý Đôn” để giúp đưa ra được những chính sách đúng đắn nhất trong thời gian tới cho trường của mình. 2. Mục tiêu, đối tượng và phạm vi nghiên cứu của đề tài Mục tiêu của đề tài là ứng dụng thử nghiệm phương pháp dự báo dùng mạng nơ ron trong bài toán tuyển sinh tại trường THPT Lê Quý Đôn. 2 Đối tượng nghiên cứu là mạng nơ ron nhân tạo, mạng nơ ron lan truyền thẳng và thuật toán lan truyền ngược. Phạm vi nghiên cứu là ứng dụng mạng nơ ron nhân tạo cho bài toán dự báo nói chung và dự báo tuyển sinh trường THPT Lê Quý Đôn nói riêng. 3. Phương pháp luận nghiên cứu - Phương pháp nghiên cứu lý thuyết: Tổng hợp, nghiên cứu các tài liệu về bài toán dự báo, mạng nơ ron nhân tạo; Tìm hiểu các kiến thức liên quan. Ứng dụng mạng nơ ron nhân tạo, mạng nơ ron lan truyền thẳng và thuật toán lan truyền ngược vào bài toán dự báo tuyển sinh trường THPT Lê Quý Đôn - Phương pháp nghiên cứu thực nghiệm: Sau khi nghiên cứu lý thuyết, luận văn sẽ tập trung vào xây dựng phần mềm mô phỏng mạng nơ ron: phân tích, thiết kế phần mềm hướng đối tượng với các tính năng cho phép người sử dụng thực hiện giải bài toán tuyển sinh bằng mạng nơ ron nhân tạo; Đánh giá kết quả sau khi thử nghiệm - Phương pháp trao đổi khoa học: Thảo luận, seminar, lấy ý kiến chuyên gia. 4. Nội dung và bố cục của luận văn Ngoài phần mở đầu, kết luận và hướng phát triển, luận văn được bố cục thành ba chương chính như sau: Chương 1: Tổng quan về bài toán dự báo tuyển sinh - Nghiên cứu về bài toán dự báo, các phương pháp dự báo. Đi sâu vào các phương pháp dự báo chuỗi thời gian và khả năng áp dụng cho bài toán dự báo tuyển sinh Chương 2. Mạng nơ ron nhân tạo và bài toán dự báo - Nghiên cứu về mạng nơron nhân tạo, tập trung vào mạng nơron truyền thẳng nhiều lớp (MLP), chương này cung cấp chi tiết các vấn đề về quá trình huấn luyện và thuật toán học của mạng MLP với trọng tâm là thuật toán lan truyền ngược sai số. Nghiên cứu về việc ứng dụng mạng MLP trong dự báo chuỗi thời gian, xây dựng mô hình mạng nơ ron MLP cho bài toán dự báo tuyển sinh 3 Chương 3. Xây dựng chương trình mô phỏng dự báo tuyển sinh ứng dụng mạng nơ ron MLP - Chương này giới thiệu về số liệu thu thập được, xây dựng chương trình thử nghiệm dự báo số học sinh tuyển sinh vào trường THPT Lê Quý Đôn. Đối sánh kết quả đạt được với một số phương pháp truyền thống. Từ đó chứng minh khả năng ứng dụng phương pháp sử dụng mạng nơ ron MLP vào dự báo chuỗi thời gian. 4 - CHƯƠNG 1 TỔNG QUAN BÀI TOÁN DỰ BÁO TUYỂN SINH 1.1 Tổng quan về dự báo 1.1.1 Khái niệm về dự báo Trong thực tế, nhiều khi chúng ta thường phải đưa ra các quyết định liên quan đến những sự việc sẽ xảy ra trong tương lai. Để cho các quyết định này có độ tin cậy và đạt hiệu quả cao, cần thiết phải tiến hành công tác dự báo. Điều này sẽ càng quan trọng hơn đối với một nền kinh tế thị trường, mang tính chất cạnh tranh cao. Dự báo là khoa học và là nghệ thuật tiên đoán những sự việc sẽ xảy ra trong tương lai [4] Tính khoa học của dự báo thể hiện ở chỗ khi tiến hành dự báo ta căn cứ trên các số liệu phản ảnh tình hình thực tế ở hiện tại, quá khứ, căn cứ vào xu thế phát triển của tình hình, dựa vào các mô hình toán học để dự đoán tình hình cơ bản sẽ xảy ra trong tương lai. Nhưng các dự đoán này thường sai lệch hoặc thay đổi nếu xuất hiện các tình huống kinh tế, tình huống quản trị không hoàn toàn phù hợp với mô hình dự báo. Tính nghệ thuật của dự báo là dựa trên những kinh nghiệm thực tế và khả năng phán đoán của các chuyên gia để đưa ra được những dự đoán với độ chính xác cao nhất. Vì vậy, cần kết hợp chặt chẽ giữa các kết quả dự báo với kinh nghiệm và tài nghệ phán đoán của các chuyên gia, các nhà quản trị mới có thể đạt được các quyết định có độ tin cậy cao hơn. Mặt khác các kỹ thuật dự báo khác nhau thường cho ta các kết quả dự báo có khi khác xa nhau. Chưa có một kỹ thuật nào tổng quát có thể dùng cho mọi trường hợp cần dự báo. Vì vậy đối với một số vấn đề quan trọng và phức tạp, nhất là khi dự báo dài hạn người ta thường dùng một số kỹ thuật dự báo rồi căn cứ vào độ lệch chuẩn để chọn lấy kết quả thích hợp. 5 1.1.2 Mục đích của dự báo Đưa ra được quyết định chính xác, nhất quán: Phân tích dự báo sẽ cung cấp thông tin chi tiết về đối tượng dự báo từ đó sẽ đưa ra được các hành động chiến lược. Phân tích dự báo được thực hiện liên tục và cho kết quả đáng tin cậy nhờ có sự hỗ trợ của kỹ thuật. Các quyết định sẽ được đưa ra một cách nhất quán, công bằng chứ không phải dựa trên tính chủ quan của con người [11] . Giải quyết công việc nhanh hơn: Dự báo sẽ trả lời các câu hỏi phức tạp và xử lý chúng với độ chính xác cao trong khoảng thời gian ngắn. Có những quyết định trước đây phải mất hàng giờ hoặc vài ngày thì nhờ có sự hỗ trợ của khoa học chỉ còn vài phút hoặc vài giây. Giảm chi phí do giảm rủi ro: Với sự hiểu biết về đối tượng giúp các nhà lãnh đạo đánh giá được chính xác những rủi ro và giảm tổn thất. 1.1.3 Những thách thức trong phân tích dự báo Mục đích của dự báo là để giúp cải tiến về hiệu quả, hỗ trợ ra quyết định của các nhà lãnh đạo. Tuy nhiên, không phải lúc nào dự báo cũng chính xác, một số yếu tố ảnh hưởng đế độ chính xác của dự báo là: Trở ngại trong quản lý, dữ liệu, xây dựng mô hình và quá trình triển khai [9] . Những trở ngại trong quản lý: Thông thường để triển khai mô hình dự báo đòi hỏi có sự chuyển đổi về các nguồn lực cho tổ chức nên cần có sự hỗ trợ từ các nhà lãnh đạo để chuyển các mô hình từ nghiên cứu sang vận hành. Những trở ngại về dữ liệu: Các mô hình thường yêu cầu dữ liệu dưới dạng một bảng hoặc bảng có chứa hàng và cột (dữ liệu hai chiều). Nếu dữ liệu được lưu trữ trong các cơ sở dữ liệu thì cần phải kết nối các cơ sở dữ liệu để tạo ra một bảng. Trở ngại trong việc xây dựng mô hình: Trở ngại lớn nhất là quá tải, tức là mô hình quá phức tạp và yêu cầu phải ghi nhớ dữ liệu huấn luyện. Hai trở ngại với mô hình là: Thứ nhất mô hình thực hiện kém với dữ liệu mới và việc giải thích mô hình không đáng tin cậy. Thứ hai, các nhà xây dựng mô hình quá tham vọng vào mô hình 6 được xây dựng trên dữ liệu có sẵn trong khoảng thời gian nhất định. Cách tốt nhất để khắc phục là xây dựng một mô hình đơn giản sau đó có thể được cải tiến sau khi chạy thử nghiệm. Trở ngại trong triển khai mô hình:Thông thường các mô hình không quá phức tạp về mặt tính toán. Tuy nhiên, các mô hình phải được kiểm tra bởi hệ thống hoạt động và đưa ra dự đoán phù hợp với hệ thống đó. 1.1.4 Phân loại các dự báo 1.1.4.1 Căn cứ vào thời đoạn dự báo - Dự báo ngắn hạn thời đoạn dự báo thường không quá 3 tháng, ít khi đến 1 năm. Loại dự báo này cần cho việc mua sắm, điều độ công việc, phân giao nhiệm vụ, cân đối các mặt trong quản trị tác nghiệp. - Dự báo trung hạn thời đoạn dự báo thường từ 3 tháng đến 3 năm, loại dự báo này cần thiết cho việc lập kế hoạch bán hàng, kế hoạch sản xuất, dự trù tài chính tiền mặt và làm căn cứ cho các loại kế hoạch khác. - Dự báo dài hạn thời đoạn dự báo từ 3 năm trở lên. Loại dự báo này cần cho việc lập các dự án sản xuất sản phẩm mới, các định điểm cho các cơ sở mới, lựa chọn các dây chuyền công nghệ, thiết bị mới, mở rộng doanh nghiệp hiện có hoặc thành lập doanh nghiệp mới. 1.1.4.2 Căn cứ vào nội dung công việc cần dự báo - Dự báo kinh tế: Dự báo kinh tế cho các cơ quan nghiên cứu, cơ quan dịch vụ thông tin, các bộ phận tư vấn kinh tế nhà nước thực hiện. Những chỉ tiêu này có giá trị lớn trong việc hỗ trợ, tạo tiền đề cho công tác dự báo trung hạn, dài hạn của các doanh nghiệp. - Dự báo kỹ thuật công nghệ: Dự báo này đề cập đến mức độ phát triển khoa học kỹ thuật công nghệ trong tương lai. Loại này rất quan trọng đối với các ngành có hàm lượng kỹ thuật cao như năng lượng nguyên tử, tàu vũ trụ, dầu lửa, máy tính, 7 nghiên cứu không gian, điện tử Dự báo kỹ thuật, công nghệ thường do các chuyên gia trong các lĩnh vực đặc biệt thực hiện. - Dự báo nhu cầu sản phẩm: Thực chất của dự báo nhu cầu là dự kiến, tiên đoán về doanh số bán ra của doanh nghiệp. Loại dự báo này rất được các nhà quản trị sản xuất quan tâm. Dự báo nhu cầu giúp cho các doanh nghiệp xác định được chủng loại và số lượng sản phẩm, dich vụ mà họ cần tạo ra trong tương lai. Thông qua dự báo nhu cầu các doanh nghiệp sẽ quyết định được quy mô sản xuất, hoạt động của công ty, là cơ sở để dự kiến về tài chính, tiếp thị, nhân sự. 1.1.4.3 Căn cứ theo các phương pháp dự báo Hình 1.1.Dự báo định tính và định lượng Các phương pháp dự báo được chia thành 2 phương pháp là phương pháp định tính và phương pháp định lượng [6] . Phương pháp định tính: Hay còn gọi là phương pháp dự báo chuyên gia (phương pháp Delphi) là phương pháp thu thập và xử lý những đánh giá dự báo bằng cách tập hợp và hỏi ý kiến các chuyên gia giỏi thuộc một lĩnh vực hẹp của khoa học - kỹ thuật hoặc sản xuất. Phương pháp chuyên gia dựa trên cơ sở đánh giá tổng kết kinh nghiệm, khả năng phản ánh tương lai một cách tự nhiên của các chuyên gia giỏi và xử lý thống kê các câu trả lời một cách khoa học. Nhiệm vụ của phương pháp là đưa ra những dự báo khách quan về tương lai phát triển của khoa học kỹ thuật hoặc sản xuất dựa trên việc xử lý có hệ thống các đánh giá dự báo của các chuyên gia. 8 Phương pháp chuyên gia được áp dụng đặc biệt có hiệu quả trong các trường hợp sau đây: - Khi đối tượng dự báo có tầm bao quát lớn phụ thuộc nhiều yếu tố mà hiện tại còn chưa có hoặc thiếu những cơ sở lý luận chắc chắn để xác định. - Trong điều kiện còn thiếu thông tin và những thống kê đầy đủ, đáng tin cậy về đặc tính của đối tượng dự báo. - Trong điều kiện có độ bất định lớn của đối tượng dự báo, độ tin cậy thấp về hình thức thể hiện, về chiều hướng biến thiên về phạm vi cũng như quy mô và cơ cấu. - Khi dự báo trung hạn và dài hạn đối tượng dự báo chịu ảnh hưởng của nhiều nhân tố, phần lớn là các nhân tố rất khó lượng hoá đặc biệt là các nhân tố thuộc về tâm lý xã hội (thị hiếu, thói quen, lối sống, đặc điểm dân cư...) hoặc tiến bộ khoa học kỹ thuật. Vì vậy trong quá trình phát triển của mình đối tượng dự báo có nhiều đột biến về quy mô và cơ cấu mà nếu không nhờ đến tài nghệ của chuyên gia thì mọi sự trở nên vô nghĩa. Trong điều kiện thiếu thời gian, hoàn cảnh cấp bách phương pháp chuyên gia cũng được áp dụng để đưa ra các dự báo kịp thời.Quá trình áp dụng phương pháp chuyên gia có thể chia làm ba giai đoạn lớn: - Lựa chọn chuyên gia - Trưng cầu ý kiến chuyên gia; - Thu thập và xử lý các đánh giá dự báo. Chuyên gia giỏi là người thấy rõ nhất những mâu thuẫn và những vấn đề tồn tại trong lĩnh vực hoạt động của mình, đồng thời về mặt tâm lý họ luôn luôn hướng về tương lai để giải quyết những vấn đề đó dựa trên những hiểu biết sâu sắc, kinh nghiệm sản xuất phong phú và linh cảm nghề nghiệp nhạy bén. Phương pháp định lượng: Các phương pháp dự báo định lượng đều dựa trên cơ sở Toán học, Thống kê. Hình 1.1 mô tả việc phân loại các phương pháp dự báo định lượng theo các tiêu chí sau: 9 - Để dự báo nhu cầu tương lai, không xét đến các nhân tố ảnh hưởng khác ta có thể dùng các phương pháp dự báo theo dãy số thời gian. - Khi cần xét đến các nhân tố khác ảnh hưởng đến nhu cầu (ngoài thời gian) ta có thể dùng các phương pháp dự báo dựa trên mối liên hệ tương quan. 1.1.5 Đánh giá mô hình dự báo Để đánh giá độ chính xác của mô hình dự báo luận văn sử dụng hai đánh giá sau: Sai số bình phương trung bình (Mean Square Error): 1 n 2 MSE Q Q (1.1) n i1 ii Sai số phần trăm tuyệt đối trung bình (Mean Absolute Error) 1 n QQii MAPE  .100% (1.2) i1 nQi Trong đó: Qi Giá trị dự báo sinh ra bởi mô hình tại mẫu dữ liệu thứ i Qi : Giá trị quan sát tại mẫu dữ liệu thứ i n: chiều dài chuỗi dự đoán 1.2 Dự báo dữ liệu chuỗi thời gian 1.2.1 Giới thiệu Để thực hiện bài toán dự báo tuyển sinh, việc lựa chọn các mô hình dự báo dựa trên dự báo số liệu chuỗi thời gian được cho là phù hợp hơn cả. Vì vậy, phần này của chương sẽ tập trung phân tích một số phương pháp dự báo chuỗi thời gian cơ bản để làm căn cứ lựa chọn thiết kế hệ thống dự báo tuyển sinh. Phương pháp dự báo theo dãy số thời gian được xây dựng trên một giả thiết về sự tồn tại và lưu lại các nhân tố quyết định đại lượng dự báo từ quá khứ đến tương lai. Trong phương pháp này đại lượng cần dự báo được xác định trên cơ sở phân tích chuỗi các số liệu thống kê được trong quá khứ. 10 Như vậy thực chất của phương pháp dự báo theo dãy số thời gian là kéo dài quy luật phát triển của đối tượng dự báo đã có trong quá khứ và hiện tại sang tương lai với giả thiết quy luật đó vẫn còn phát huy tác dụng. Các yếu tố đặc trưng của dãy số theo thời gian gồm: - Tính xu hướng: Tính xu hướng của dòng nhu cầu thể hiện sự thay đổi của các dữ liệu theo thời gian (tăng, giảm...) - Tính mùa vụ: Thể hiện sự dao động hay biến đổi dữ liệu theo thời gian được lặp đi lặp lại theo những chu kỳ đều đặn do sự tác động của một hay nhiều nhân tố môi trường xung quanh như tập quán sinh hoạt, hoạt động kinh tế xã hội... Ví dụ: Nhu cầu dịch vụ bưu chính viễn thông không đồng đều theo các tháng trong năm. - Biến đổi có chu kỳ: Chu kỳ là yếu tố lặp đi lặp lại sau một giai đoạn thời gian. Ví dụ: Chu kỳ sinh học, chu kỳ phục hồi kinh tế... - Biến đổi ngẫu nhiên: Biến đổi ngẫu nhiên là sự dao động của dòng nhu cầu do các yếu tố ngẫu nhiên gây ra, không có quy luật. Hình 1.2.Phân loại các phương pháp dự báo chuỗi thời gian 1.2.2 Một số phương pháp dự báo chuỗi thời gian Các mô hình dựa báo chuỗi thời gian được mô tả trong Hình 1.2. Trong thời điểm ban đầu, việc giải bài toán dự báo chuỗi thời gian, dự báo được thực hiện bằng phương pháp làm trơn và ngoại suy chuỗi dữ liệu thời gian thông qua việc làm khớp 11 toàn cục (global fit) trên miền thời gian. Sau này, phương pháp nói trên được thay thế bởi sự xuất hiện các mô hình chuỗi thời gian tuyến tính (linear) với các đặc điểm tích cực dễ hiểu để phân tích dữ liệu và rất dễ để thực hiện. Điểm chưa tốt là chúng làm việc không hiệu quả với các chuỗi thời gian phi tuyến (non-linear). Do vậy, nhờ có những tiến bộ trong học máy, các mô hình phi tuyến dần được nghiên cứu và áp dụng đối với các chuỗi thời gian phi tuyến tính, với mức độ phức tạp cao 1.2.2.1 Một số phương pháp dự báo chuỗi thời gian đơn giản . Phương pháp trung bình giản đơn (Simple Average) Phương pháp trung bình giản đơn là phương pháp dự báo trên cơ sở lấy trung bình của các dữ liệu đã qua, trong đó các nhu cầu của các giai đoạn trước đều có trọng số như nhau, nó được thể hiện bằng công thức: 1 n FX (1.3) tn  i1 t i Trong đó: Ft - Nhu cầu dự báo cho thời điểm t Xti - Giá trị thực ở thời điểm t-i n- Số thời điểm quan sát Phương pháp này san bằng được tất cả mọi sự biến động ngẫu nhiên của đại lượng dự báo, vì vậy nó là mô hình dự báo rất kém nhạy bén với sự biến động của đại lượng dự báo. Phương pháp này phù hợp với đại lượng dự báo đều, ổn định, sai số sẽ rất lớn nếu ta gặp đại lượng dự báo có tính chất thời vụ hoặc đại lượng dự báo có tính xu hướng. . Phương pháp trung bình động Trong trường hợp khi nhu cầu có sự biến động, trong đó thời gian gần nhất có ảnh hưởng nhiều nhất đến kết quả dự báo, thời gian càng xa thì ảnh hưởng càng nhỏ ta dùng phương pháp trung bình động sẽ thích hợp hơn. Phương pháp trung bình động dùng kết quả trên cơ sở thay đổi liên tục khoảng thời gian trước đây cho dự báo giai đoạn tiếp theo: 12 Khi sử dụng phương pháp trung bình động đòi hỏi phải xác định n sao cho sai số dự báo là nhỏ nhất, đó chính là công việc của người dự báo, n phải điều chỉnh thường xuyên tuỳ theo sự thay đổi tính chất của đại lượng dự báo. Để chọn n hợp lý cũng như để đánh giá mức độ chính xác của dự báo người ta căn cứ vào sai lệch tuyệt đối trung bình (MAE). . Phương pháp trung bình động có trọng số Đây là phương pháp bình quân nhưng có tính đến ảnh hưởng của từng giai đoạn khác nhau đến nhu cầu, thông qua việc sử dụng các trọng số. n FX  ti1 t i t i (1.4) Trong đó: Ft - Nhu cầu dự báo cho thời điểm t Xti - Mức nhu cầu thực ở thời điểm t-i n- Số thời điểm quan sát ti - Trọng số ở thời điểm t-i ti được lựa chọn bởi người dự báo dựa trên cơ sở phân tích tính chất của dòng nhu cầu, thoả mãn điều kiện: n  1 và 01 i1 ti ti (1.5) Trong phương pháp trung bình động có trọng số, độ chính xác của dự báo phụ thuộc vào khả năng xác định được các trọng số phù hợp. Thực tế chỉ ra rằng, nhờ điều chỉnh thường xuyên hệ số ti của mô hình dự báo, phương pháp trung bình động có trọng số mang lại kết quả dự báo chính xác hơn phương pháp trung bình động. Các phương pháp trung bình giản đơn, trung bình động, trung bình động có trọng số đều có các đặc điểm sau: - Khi số quan sát ...n lan truyền ngược hội tụ, ta chưa thể khẳng định được nó đã hội tụ đến phương án tối ưu. Ta cần phải thử với một số điều kiện ban đầu để đảm bảo thu được phương án tối ưu. 2.2.3 Các yếu tố ảnh hưởng đến hoạt động của mạng MLP . Số lớp ẩn Với mạng có một lớp ẩn có thể biểu diễn cho bất kỳ một tín hiệu đầu vào nào đó của lớp vào. Với mạng có hai lớp ẩn có thể thể hiện các hàm với các dáng điệu bất kỳ [17]. Phần lớn các thuật toán huấn luyện mạng cho các nơron truyền thẳng đều dựa trên phương pháp Gradient. Các lớp thêm vào sẽ tăng thêm việc lan truyền các lỗi làm cho vector Gradient không ổn định. Với thuật toán tối ưu dựa trên Gradient chỉ có thể tìm ra tối thiểu cục bộ và rất khó để tìm ra tối thiểu toàn cục vì xác suất bị tắc tại tối thiểu cục bộ là khá lớn [17]. . Số nơron trong mỗi lớp ẩn Nếu số nơron trong lớp ẩn quá ít có thể dẫn đến việc không thể nhận dạng được đầy đủ các tín hiệu trong một tập dữ liệu phức tạp, hay thiếu ăn khớp (Underfitting). Nhưng nếu có quá nhiều lại làm tăng thời gian huấn luyện mạng và có thể dẫn đến tình trạng thừa ăn khớp (Overfitting). Tức là mạng có quá nhiều thông tin, hoặc lượng thông tin trong tập dữ liệu mẫu (Training Set) không đủ các dữ liệu đặc trưng để huấn luyện mạng. Số lượng các đơn vị trong lớp ẩn phụ thuộc vào rất 33 nhiều yếu tố như số đầu vào, đầu ra của mạng, số trường hợp trong tập mẫu, độ nhiễu của dữ liệu đích, độ phức tạp của hàm lỗi, kiến trúc mạng và thuật toán huấn luyện mạng. Thông thường để xác định được số đơn vị tối ưu trong lớp ẩn cần phải thông qua huấn luyện mạng với một bộ số các đơn vị trong lớp ẩn và dự báo lỗi tổng quát hóa của từng lựa chọn. Cách tốt nhất để tìm ra số đơn vị tối ưu là sử dụng phương pháp thử sai (Trial – and – Error). . Các trọng số khởi tạo ban đầu Hình 2.10. Cực trị địa phương và toàn cục Các trọng số khởi tạo ban đầu có thể làm cho quá trình cập nhật trọng số rơi vào vùng cự trị địa phương thay vì cực trị toàn cục. Như mô tả trong Hình 2.10, nếu trọng số được khởi tạo bắt đầu từ bên trái, quá trình luyện mạng sẽ hội tụ tại điểm W1 mà không phải là Wg. Điểm W1 được gọi là điểm tối thiểu cục bộ (Local Minimum). Điểm Wg được gọi là điểm tối thiểu toàn cục. Mô hình chỉ có thể đạt đến điểm tối thiểu toàn cục là điểm Wg khi và chỉ khi mô hình thoát khỏi điểm W1. Giải thuật BP có nhược điểm lớn là mô hình mạng có thể rơi vào điểm tối thiểu cục bộ mà không phải là tối thiểu toàn cục. Để khắc phục nhược điểm này, người ta đưa thêm vào một khái niệm là Momentum. Momentum là hệ số góp phần giúp cho quá trình chỉnh sửa trọng số giảm khả năng rơi vào các điểm tối thiểu cục bộ, đồng thời làm giảm thời gian huấn luyện. . Hằng số học  34 Hằng số học có mối quan hệ mật thiết với độ chính xác và tốc độ học của mạng MLP. Với hằng số học càng lớn thì tốc độ học càng nhanh nhưng độ chính xác lại thấp. Ngược lại hằng số học càng nhỏ thì tốc độ học càng lâu nhưng độ chính xác cao. 2.2.4 Ưu nhược điểm và một số vấn đề của mạng nơron nhiều lớp Ưu điểm: - Hỗ trợ tính toán song song ở mức rất cao. - Có khả năng chịu nhiều lỗi, nhờ các tính toán song song. - Có thể được thiết kế để tự thích nghi (Các trọng số, cấu trúc mạng). Nhược điểm: - Không có quy tắc tổng quát để xác định cấu trúc mạng và các tham số học tối ưu cho một lớp, một bài toán xác định. - Không có phương pháp tổng quát để đánh giá hoạt động bên trong của ANN (vì vậy hệ thống ANN được xem như là một “hộp đen”). Mạng nơron nhiều lớp có một số vấn đề cần được quan tâm như sau: - Thời gian huấn luyện lâu và không phải luôn hội tụ. - Không biết trước được sự ràng buộc giữa lỗi huấn luyện và cấu trúc mạng. - Không biết trước hiệu suất huấn luyện (thời gian huấn luyện, độ lỗi). - Khó xác định độ lỗi của mạng từ tập huấn luyện. - Khó xác định độ lớn của tập huấn luyện. 2.3 Một số hướng nghiên cứu về bài toán dự báo tuyển sinh sử dụng mạng nơ ron Bài toán dự báo có nhiệm vụ phân tích và sử dụng số liệu đã có trong quá khứ để dự đoán giá trị tương lai. Hiện nay, có rất nhiều phương pháp dự báo đã được sử dụng trên mô hình vật lý và mô hình toán học. Trong nhiều trường hợp, kết quả nghiên 35 cứu dự báo theo các mô hình trên đã đạt được những thành công nhất định. Tuy nhiên, phương pháp nào cũng có những hạn chế, do vậy bài toán dự báo vẫn là nội dung được nghiên cứu hiện nay. Trên thế giới, cũng như trong nước, các phương pháp khai phá dữ liệu (đặc biệt là các phương pháp học máy mạng nơron) cũng được áp dụng nhiều vào dự báo 2.3.1 Các nghiên cứu trên thế giới Trên thế giới, các nghiên cứu về việc xây dựng mô hình dự báo tuyển sinh sử dụng kỹ thuật học máy đã bắt đầu từ cách đây rất lâu (1993) và hiện tại vẫn còn đang được nghiên cứu phát triển để giảm thiểu sai số dự báo. Riêng trong lĩnh vực sâu là ứng dụng mạng nơ ron cho dự báo tuyển sinh có thể kể đến một số công trình dưới đây [15] Trong nghiên cứu về dự báo tuyển sinh tại Đại học Sebha ở Libya năm 2009, các tác giải so sánh một loạt các kỹ thuật của học máy như phân cụm, hồi quy, cây quyết định và mạng nơ ron trong việc dự báo. Kết quả của nghiên cứu này cho thấy mạng lưới thần kinh đã cho độ chính xác dự đoán tốt về dự báo tuyển sinh [15] . Borah và các cộng sự (2011) đã đề xuất một hàm đo lường lựa chọn thuộc tính mới (heuristic) trên thuật toán cây quyết định C4.5 hiện có. C4.5 đưa ra giải pháp đầy hứa hẹn về thông tin phân tách của quá trình tuyển sinh tại trường cao đẳng kỹ thuật ở Ấn Độ. Cách tiếp cận khác trong các nghiên cứu này là so sánh độ chính xác giữa thuật toán Cây quyết định C5.0 và thuật toán lan truyền ngược của mạng nơ ron MPL. Kết quả cho thấy mạng MPL đã đưa ra độ chính xác dự báo cao nhất [15] . Gần đây, năm 2018, Desmond Chekwube Bartholomew [10] cũng công bố công trình nghiên cứu về dự báo sinh viên nhập học tại Đại học Công nghệ Liên bang, Owerri (FUTO), bang Imo, Nigeria. Mục tiêu xây dựng một mạng MLP dự báo sinh viên đăng ký vào FUTO và so sánh độ chính xác dự đoán mô hình. Kết quả cũng được khẳng định là tốt hơn khi mô hình mạng MLP này được so sánh với các phương pháp truyền thống. 36 2.3.2 Các nghiên cứu trong nước Trong những năm gần đây, đã có rất nhiều công trình một số công trình công bố về các phương pháp dự báo áp dụng trong giáo dục sử dụng mạng nơron như: Dự báo tỉ lệ nghỉ học của sinh viên, dự báo tỉ lệ đỗ tốt nghiệp, tỉ lệ đỗ đại học, số học sinh tuyển sinh vào của những năm tiếp theoTiêu biểu có thể liệt kê một số công trình nghiên cứu sau đây: Luận văn “Dự báo kết quả đậu đại học” của tác giả Thái Trung Hải đã sử dụng mạng MLP với thuật toán lan truyền ngược. Trong luận văn sử dụng mạng 3 lớp (1 lớp vào, 1 lớp ẩn, 1 lớp ra) với số nơron đầu vào là 13, lớp ẩn là 13 và đầu ra là 3. Đầu vào của luận văn là 13 yếu tố ảnh hưởng đến dự báo đó là kết quả học tập của 13 môn học. 3 đầu ra là điểm thi đại học, điểm thi tốt nghiệp và nhóm trường đậu đại học [2] . Trong đồ án tốt nghiệp [5] của tác giả Nguyễn Văn Trịnh về “Ứng dụng mạng nơron trong dự báo tỷ lệ nghỉ học” lại xây dựng mô hình mạng nơron khác với luận văn trên. Đồ án xây dựng ba mô hình là: Mô hình dự báo tình trạng nghỉ học của học viên với đầu vào của mạng là hồ sơ của những học viên đã tốt nghiệp và những học viên nghỉ học và đầu ra là trạng thái học viên đó là: Nghỉ học và tốt nghiệp. Mô hình thứ hai là: Dự báo tình trạng học tập của học viên qua 1 kỳ xác định (ký hiệu là kỳ x=2, 3, 4) có đầu vào là hồ sơ của những học viên đã học qua kỳ x và những học viên đã nghỉ học trước kỳ x và đầu ra là trạng thái học viên là nghỉ học và học vượt qua kỳ x. Mô hình thứ 3 là: Dự báo tiềm năng nghỉ học của học viên trong quá trình học có đầu vào là kỳ x, hồ sơ học viên, quy mô lớp, điểm tích lũy trung bình, số lần đăng nhập diễn đàn, tỉ lệ nghỉ học kỳ trước và đầu ra là trạng thái học viên với màu xanh là học thêm được ít nhất 2 kỳ nữa, màu vàng là kỳ tới sẽ nghỉ học và màu đỏ là kỳ này nghỉ học. Đồ án luyện mạng sử dụng các quy tắc học là Delta, momen và delta- bar-delta. Trong [4] , tác giả Dương Thu Trang cũng xây dựng mô hình dự báo kết quả tuyển sinh sử dụng một mạng MLP gồm 3 lớp. Đầu vào gồm 10 nơ ron ứng với kết 37 quả tuyển sinh của 10 năm trước đó. Lớp ẩn gồm 10 nơ ron được chọn dựa trên quy tắc “thử và sai”. Lớp ra chỉ có 1 đầu ra là kết quả dự báo tuyển sinh ở thời điểm tương lai. Trong thực tế còn rất nhiều nghiên cứu khác nữa về vấn đề dự báo tuyển sinh sử dụng mô hình mạng MLP. Tuy nhiên, qua các công trình khảo sát ở trong và ngoài nước trên cho thấy việc áp dụng mạng MLP cho việc xây dựng mô hình dự báo tuyển sinh tại trường THPT Lê Quý Đôn là khả thi và sẽ cho kết quả tốt hơn các phương pháp truyền thống. 2.4 Xây dựng mô hình dự báo tuyển sinh sử dụng mạng nơ ron MLP 2.4.1 Mô tả bài toán Giả sử ta có chuỗi thời gian {x[t]), x[t-1],, x[t-n-1],} tính đến thời điểm t , nhiệm vụ của chúng ta là dự báo giá trị của x tại một thời điểm trong tương lai. xdb[t+s] =f(x[t], x[t−1],···) Trong đó n là khoảng thời gian quan sát trước, s là cửa sổ dự báo (horizon of prediction). Trong trường hợp n=1, s = 1, nghĩa là ta chỉ dự báo 01 giá trị tại tương lai dựa theo kết quả của 01 năm trước đó. Khi đó, bài toán rơi vào trường hợp tìm ra một hàm xấp xỉ (function approximation) biểu diễn chuỗi thời gian, nói cách khác là dự đoán giá trị tương lai từ các giá trị đã thu thập trước đó trong chuỗi thời gian. Để giải quyết bài toán dự báo chuỗi thời gian nói chung và sử dụng mạng nơron MLP nói riêng, cần thực hiện các bước tổng quát sau: 1) Chọn mô hình tổng quát, chọn khoảng thời gian quan sát trước n, cửa sổ dự báo s 2) Với mỗi x[ti] trong quá khứ, huấn luyện mô hình với đầu vào là n giá trị trước đó và s đầu ra mong muốn, là chính ti. 3) Sau khi huấn luyện mô hình, chạy mô hình với chuỗi {x[t], x[t−1],··· ,x[t−n−1]} để thu được giá trị dự đoán { xdb [t+1], xdb [t+2],··· , xdb[t+s] } 38 2.4.2 Các bước thực hiện Các bước xây dựng mô hình dự báo tuyển sinh bằng phương pháp sử dụng mạng nơ ron MLP như sau: - Chuẩn hóa dữ liệu, Xác định khoảng thời gian quan sát trước n, cửa sổ dự báo s - Chia tập dữ liệu ban đầu thành các tập: huấn luyện (training) (> 50% số mẫu), kiểm tra (test) (100% -> 30% số mẫu) và tập kiểm định (validation). - Xây dựng tập dữ liệu với mẫu đầu tiên có đầu ra là y[s], y[s-1], y[s-2],, y[1] các đầu vào là các x[1], x[2],, x[n]. - Xây dựng mô hình mạng nơ ron MLP áp dụng cho dự báo (số lớp ẩn, số nơ ron trong mỗi lớp ẩn, trọng số ban đầu, hệ số học). Việc xác định cấu trúc tối ưu cần quá trình thử-sai. - Huấn luyện mạng với các thông số khởi tạo trên các tập dữ liệu training, xác định lỗi với tập dữ liệu test để xác định khả năng tổng quát hóa. - Sau khi huấn luyện, thực hiện kiểm định độ chính xác của mô hình với tập validation. 2.5 Kết luận chương Có thể thấy rằng, mạng nơ ron là một công cụ hữu hiệu trong việc xử lý các lớp bài toán phi tuyến phức tạp. Đặc biệt là trong bài toán dự báo. Chính vì vậy, nội dung chương 2 đã trình bày các kiến thức tổng quan cho việc xây dựng các loại mạng nơ ron và thực hiện các thuật toán học nhằm điều chỉnh trọng số của các node mạng sao cho sai số đầu ra là nhỏ nhất. Bên cạnh đó, để đưa ra quyết định hợp lý cho ứng dụng mạng nơ ron giải quyết bài toán dự báo thí sinh, nội dung chương cũng đã cập nhật các công trình công bố gần đây nhất trong và ngoài nước, đề xuất mô hình mạng nơ ron lan truyền ngược sai số. Hiệu quả của mô hình này sẽ được kiểm chứng thông qua phần mềm ứng dụng được xây dựng trên nền Matlab R2019a sẽ được trình bày chi tiết trong chương 3 kế tiếp. 39 CHƯƠNG 3 XÂY DỰNG CHƯƠNG TRÌNH MÔ PHỎNG DỰ BÁO TUYỂN SINH ỨNG DỤNG MẠNG NƠ RON MLP 3.1 Giới thiệu về Trường THPT Lê Quý Đôn Trường THPT Lê Quý Đôn nguyên là trường THPT cấp II-III Lê Quý Đôn được thành lập năm 1991. Năm học 1994-1995, nhà trường tách riêng khối cấp III và lấy tên Trường THPT Lê Quý Đôn. Trường được xây dựng trên địa bàn phường Quang Hanh – Thành phố Cẩm Phả - một phường miền núi ven thị xã công nghiệp của tỉnh Quảng Ninh. Từ khi thành lập đến nay, trường THPT Lê Quý Đôn trải qua 29 năm xây dựng và phát triển, khẳng định vị trí của một cơ sở giáo dục có uy tín chất lượng, là một trong những địa chỉ góp phần đào tạo nhân lực của thành phố Cẩm Phả và tỉnh Quảng Ninh. Cơ sở vật chất của trường được mô tả trong Bảng 3.1 Bảng 3.1. Cơ sở vật chất của Trường THPT Lê Quý Đôn STT Nội dung Đơn vị tính Số lượng 1 Tổng diện tích m2 5.200 m2 2 Số phòng học phòng 20 3 Số phòng thí nghiệm, đa năng phòng 03 4 Phòng làm việc phòng 12 5 Phòng Tin hoc phòng 02 Trong 29 năm xây dựng và phát triển, trường THPT Lê Quý Đôn không ngừng lớn mạnh về số lượng và chất lượng. Bằng những nỗ lực liên tục, toàn diện và sự tích cực vận động của chính mình, với sự chỉ đạo, hướng dẫn và hỗ trợ của UBND tỉnh, Thành Phố Cẩm Phả, của Sở GD-ĐT, nhất là trong việc triển khai các dự án xây dựng cơ sở vật chất, thực hiện nhiệm vụ các năm học, bằng tinh thần kiên trì vượt khó, bằng thái độ tích cực và sáng tạo trong tìm tòi học hỏi bạn bè, nhà trường đã hoàn thiện về mọi mặt trong lộ trình phấn đấu thực hiện kế hoạch đạt chuẩn đã đề ra và 40 được UBND tỉnh Quảng Ninh ra quyết định công nhận trường THPT đạt Chuẩn Quốc gia vào tháng 8 năm 2010. Hiện tại, đội ngũ cán bộ, giáo viên, nhân viên gồm 44 đồng chí với 4 tổ: Xã hội, Tự nhiên I, Tự nhiên II, Hành chính – Tổng hợp; 100% đạt chuẩn, 20 đồng chí trên chuẩn (thạc sỹ). Tỷ lệ học sinh lên lớp và thi đỗ tốt nghiệp luôn đạt kết quả cao. Hàng năm tỷ lệ tốt nghiệp THPT là trên 98% . Học sinh giỏi cấp tỉnh hàng năm có từ 25 ->40 em đạt giải. Mặc dù trường đóng trên địa bàn nông thôn, miền núi, xa trung tâm thị xã, thành phố nhưng hàng năm trường thường có tỷ lệ học sinh thi đỗ vào các trường Đại học và Cao đẳng rất cao: từ 50% đến trên 60 % mỗi năm. Trường được xếp Top 10 về học sinh đỗ đại học trong các trường THPT trên địa bàn tỉnh Quảng Ninh. Chính vì vậy, hằng năm trường thu hút rất nhiều học sinh nhập học trên địa bàn thành phố Cẩm Phả 3.2 Phát biểu bài toán Qua phân tích trong chương 1 và chương 2, để xây dựng mô hình dự báo tuyển sinh cho Trường THPT Lê Quý Đôn, luận văn sẽ lựa chọn dựa trên số học sinh tuyển vào trường trong một số năm của cơ sở đào tạo. Dữ liệu tuyển sinh của trường từ năm 2000 đến năm 2019 được thống kê trong Bảng 3.2 như sau: Bảng 3.2. Dữ liệu tuyển sinh của Trường PTTH Lê Quý Đôn TT Năm Số HS tuyển sinh 1 2000 307 2 2001 248 3 2002 247 4 2003 310 5 2004 421 6 2005 342 7 2006 242 41 8 2007 354 9 2008 277 10 2009 465 11 2010 387 12 2011 387 13 2012 354 14 2013 287 15 2014 250 16 2015 348 17 2016 308 18 2017 300 19 2018 368 20 2019 349 Dựa trên số liệu thống kê này, ta cần thiết kế phần mềm để xây dựng mô hình dự báo tuyển sinh ứng dụng mạng nơ ron MLP. Như đã phân tích trong các phần trước, sẽ là rất khó để xác định các tham số nhằm xây dựng mô hình dự báo chính xác nhất. Phương pháp thông thường nhất là dựa trên “thử và sai”. Chính vì vậy, phần mềm thiết kế phải linh hoạt để cho người dùng chọn lựa một số các tham số sau: . Về tham số của dự báo: - Lựa chọn khoảng thời gian quan sát trước (n), là số mẫu cần thiết thu thập trước khi đưa ra kết quả dự báo hiện tại. Ví dụ, nếu n=10 thì để cho kết quả dự báo tuyển sinh của năm 2020 cần 10 mẫu của các năm trước từ 2010 đến 2019 - Lựa chọn cửa số dự báo (s). Đây chính là số thời điểm dự báo trong tương lai. Ví dụ, nếu s=3 thì tại thời điểm có số liệu thực về tuyển sinh cập nhật đến năm 2020 cho phép ta dự báo kết quả của ba năm 2021, 2022 và 2023. . Về tham số của mạng nơ ron: - Bao gồm các tham số được trình bày trong phần 2.2.3 như: số nơ ron lớp ẩn, hệ số học, hệ số mô men, số chu kỳ luyện mạng tối đa. - Bài toán dựa báo sẽ gồm 2 pha như sau: 42 Pha 1: Pha học Dữ liệu dùng để học sẽ lấy từ năm 2000 đến năm 2015. Tùy theo việc lựa chọn khoảng thời gian quan sát trước (n) và cửa số dự báo (s), ta sẽ chuẩn bị một tập các mẫu cho việc luyện mạng. Giả sử với n=6, s=3, từ cơ sở dữ liệu ta sẽ tạo ra 14 mẫu mỗi mẫu gồm 6 đầu vào là số học sinh của 6 năm và 3 đầu ra là số học sinh của 3 năm dự báo. Mẫu 1 là số học sinh từ năm 2000 đến năm 2005 và đầu ra là số học sinh năm 2006, 2007, 2008. Mẫu 2 lấy tiến lên 1 năm là số học sinh từ năm 2001 đến năm 2006 và đầu ra là số học sinh của ba năm 2007, 2008, 2009. Cứ như vậy ta sẽ có đến mẫu dữ liệu 14 là số học sinh từ năm 2001 đến năm 2011. Dữ liệu từ năm 2012 đến năm 2017 sẽ được sử dụng để làm dữ liệu kiểm tra độ chính xác của dự báo. Ta có bảng dữ liệu học như sau: Bảng 3.3. Bảng dữ liệu học (với n=6, s=3) Đầu vào Đầu ra x1 x2 x3 x4 x5 x6 y1 y2 y3 k=1 307 248 247 310 421 342 242 354 277 k=2 248 247 310 421 342 242 354 277 465 k=3 247 310 421 342 242 354 277 465 387 k=4 310 421 342 242 354 277 465 387 387 k=5 421 342 242 354 277 465 387 387 354 k=6 342 242 354 277 465 387 387 354 287 k=7 242 354 277 465 387 387 354 287 250 k=8 354 277 465 387 387 354 287 250 348 Pha 2: Pha chạy đánh giá Từ kết quả của pha 1, sau khi luyện mạng ta tìm được cấu trúc mạng với các trong số W = [wij] phù hợp. Cho tập dữ liệu năm [2000 2019]. Cho tập dữ liệu số học sinh [307349]. 43 Bài toán xác định y1, y2, y3 là số học sinh dự kiến của các từ năm 2016 đến 2019. Kiểm tra sai số so với số liệu thực tế. Nếu sai số là chấp nhận được thì đưa ra dự báo cho các năm 2020, 2021, 2022 dựa trên các số liệu từ 2014 đến 2019. 3.3 Xây dựng phần mềm mô phỏng 3.3.1 Môi trường cài đặt Chương trình ứng dụng được xây dựng trên giao diện GUI của phần mềm Matlab 2019a. Sở dĩ học viên lựa chọn xây dựng phần mềm mô phỏng trên Matlab vì đây là phần mềm chuyên dụng cho tính toán số liệu dưới dạng ma trận. Ngoài ra, Matlab cũng tích hợp công cụ hỗ trợ cho tạo và luyện mạng nơ ron. Các công bố về các phương pháp dự báo đa phần sử dụng Matlab nên rất tiện cho việc so sánh và đánh giá hiệu quả của các phương pháp. 3.3.2 Cài đặt các chức năng con Mã nguồn của chương trình bao gồm một số module chính như mô tả trong Bảng 3.4. Bảng 3.4. Các module chính của chương trình Module Giải thích Predict.m Cài đặt giao diện chính của chương trình mô Predict.fig phỏng dự báo tuyển sinh sử dụng mạng MLP Database.m Tạo mẫu dữ liệu chuẩn cho luyện và kiểm thử Database.fig mô hình Neural.m Khai báo các tham số luyện mạng nơ ron, tiến Neural.fig hành luyện mạng (pha 1) Predict_para.m Khai báo các tham số của mô hình dự báo (s Predict_para.fig và n) MPL_Predict.m Chạy chạy các kết quả dự báo MPL_Predict.m 44 3.3.3 Kết quả hoạt động Hình 3.1. Giao diện chương trình chính Hình 3.1 minh họa giao diện của chương trình chính với các chức năng con tương ứng được mô tả trong Bảng 3.4. Để thực hiện chương trình, trước tiên, người dùng chọn chức năng Tạo mẫu dữ liệu để nhập các dữ liệu tuyển sinh trong Bảng 3.2 theo file hoặc nhập từng năm (Hình 3.2). Hình 3.2. Nhập dữ liệu dự báo Các mẫu dữ liệu dựa báo sẽ được lưu lại trong file data.mat. Trong quá trình luyện mạng nơ ron, 80% dự liệu sẽ được dành cho huấn luyện, còn lại 20% dữ liệu được sử dụng cho kiểm tra. 45 Sau khi tạo xong mẫu dữ liệu, chương trình tự động quay về giao diện chương trình chính và cho phép người dùng nhập các tham số dự báo bằng cách chọn chức năng Nhập tham số dự báo. Kết quả được thể hiện trên Hình 3.3 (bao gồm khoảng thời gian quan sát trước và cửa sổ dự báo). Các tham số này sẽ quyết định tới đầu vào và ra trong cấu trúc của mạng nơ ron sau này. Ví dụ với số liệu được mô tả ở Hình 3.3, mạng MLP sẽ phải có 3 đầu vào và một đầu ra. Hình 3.3.Nhập tham số dự báo Sau khi nhập tham số dự báo, giao diện chương trình chính xuất hiện cho phép người dùng có thể cấu hình các tham số cho việc luyện mạng nơ ron. Hình 3.4.Luyện mạng nơ ron 46 Hình 3.4 minh họa quá trình luyện và đánh giá hoạt động của mạng nơ ron cho bài toán dự báo tuyển sinh với tham số dự báo như Hình 3.3. Ở đây, người dùng tùy chọn số nơ ron cho lớp ẩn và dựa vào kết quả đánh giá (các tham số MSE và MAPE) để từ đó xác định cấu trúc mạng nơ ron phù hợp. Hình 3.5.Chạy kết quả dự báo Sau khi luyện mạng nơ ron để xác định cấu trúc mạng cũng như các tham số của mạng, người dùng có thể sử dụng chức năng. Chạy kết quả dự báo trên giao diện chương trình chính để kiểm thử. Kết quả dữ báo cũng như đồ thị dự báo sẽ cho người dùng đánh giá được tính chính xác của việc dự báo. 3.4 Một số kết quả kiểm thử Trong quá trình xây dựng cấu trúc mạng nơ ron cho bài toán dự báo,việc xác định số nơ ron lớp ẩn là rất quan trọng. Số nơ ron lớp ẩn nhỏ sẽ dần đến sai số dự báo lớn. ngược lại, nếu số nơ ron lớp ẩn mà lớn sẽ làm cho thời gian tính toán lâu hơn. Sau khi xây dựng phần mềm mô phỏng, học viên đã thử nghiệm thay đổi một số giá trị số nơ ron lớp ẩn. Các kết quả được thể hiện trong Bảng 3.5. Từ kết quả này, học viên lựa chọn được mạng nơ ron có cấu trúc phù hợp với số nơ ron lớp ẩn là 20. 47 Bảng 3.5. Kết quả thử nghiệm khi số nơ ron lớp ẩn thay đổi Số nơron Tổng thời gian Tổng số vòng Stt Lỗi MSE lớp ẩn huấn luyện huấn luyện 1 5 12.752 giây 1000 3.83 2 10 12.875 giây 1000 3.79 3 15 12.818 giây 1000 3.43 4 20 12.825 giây 1000 2.32 5 25 12.986 giây 1000 2.41 6 30 12.953 giây 1000 2.52 Khi chạy thử nghiệm trên cùng một cấu trúc mạng nơ ron và thay đổi tham số dự báo, học viên nhận thấy tham số dự báo cũng có ảnh hưởng lớn đến kết quả dự báo, đặc biệt là tham số thời gian quan sát trước. Bảng 3.6 cho thấy khi thời gian quan sát trước nhỏ, sai số dự báo MSE và MAPE là lớn hơn nhiều so với khi thời gian quan sát lớn. Về mặt bản chất, nếu thời gian quan sát bằng trước bằng 1, việc xây dựng một đường tuyến tính minh họa cho số lượng thí sinh là không thể, vì đây là đại lượng phi tuyến. Do vậy, kết quả sẽ cho sai số lớn (MSE=19.04, MAPE=1.05%). Với N=3 ta có thể xem như bài toán cần tìm một đường cong bậc 3 để xấp xỉ các mẫu dự báo. Vì vậy, sai số dự báo sẽ thấp hơn rất nhiều. Đường cong dự báo trong Hình 3.5 minh chứng cho phân tích trên. Bảng 3.6. Kết quả thử nghiệm khi thời gian quan sát trước thay đổi Năm Số thí sinh thực Thời gian quan sát trước (N) N=1 N=2 N=3 2000 307 Không dự báo Không dự báo Không dự báo 2001 248 248 Không dự báo Không dự báo 2002 247 248 249 Không dự báo 2003 310 307 312 309 2004 421 420 421 421 2005 342 342 341 342 2006 242 247 248 241 2007 354 343 355 352 48 2008 277 275 277 276 2009 465 463 465 465 2010 387 386 386 387 2011 387 387 387 388 2012 354 363 355 351 2013 287 283 287 287 2014 250 248 248 250 2015 348 342 348 352 2016 308 306 310 308 2017 300 294 299 300 2018 368 371 367 368 2019 349 346 347 351 2020 N/A 349 363 350 MSE 19.04 3.45 2.12 MAPE 1.05% 0.43% 0.32% 3.5 Đánh giá hoạt động của mô hình dự báo sử dụng mạng MLP với một số mô hình khác Hình 3.6.Một số kết quả dự báo với các phương pháp dự báo khác nhau 49 Để kiểm thử khả năng hoạt động của phương pháp dự báo dùng mạng nơ ron, học viên đã tiến hành so sánh kết quả dự báo của phương pháp này với phương pháp trung bình dài hạn và phương pháp trung bình động. Ở phương pháp trung bình động, thời gian quan sát trước vẫn được lấy là n=3 như khi dùng mạng nơ ron. Kết quả kiểm chứng trên Bảng 3.7 và Hình 3.6 cho thấy phương pháp dự báo sử dụng mạng nơ ron cho kết quả chính xác hơn rất nhiều lần so với các phương pháp truyền thống. Bảng 3.7. Kết quả thử nghiệm một số phương pháp dự báo Phương pháp dự báo Năm Số thí sinh thực Trung bình dài Trung bình Mạng nơ ron hạn động 2000 307 Không dự báo Không dự báo Không dự báo 2001 248 Không dự báo 307 Không dự báo 2002 247 Không dự báo 278 Không dự báo 2003 310 309 267 267 2004 421 421 278 268 2005 342 342 307 326 2006 242 241 313 358 2007 354 352 302 335 2008 277 276 309 313 2009 465 465 305 291 2010 387 387 321 365 2011 387 388 327 376 2012 354 351 332 413 2013 287 287 334 376 2014 250 250 331 343 2015 348 352 325 297 2016 308 308 327 295 2017 300 300 326 302 2018 368 368 324 319 2019 349 351 326 325 2020 N/A 350 328 339 MSE 2.12 4373 5707 MAPE 0.32% 16.33% 17.12% 50 3.6 Kết luận chương Trong chương 3, trên cơ sở các kiến thức lý thuyết về dự báo chuỗi thời gian và mạng nơ ron MLP đã trình bày trong các chương trước, học viên đã tiến hành xây dựng thử nghiệm chương trình mô phỏng minh họa dự báo tuyển sinh cho trường THPT Lê Quý Đôn sử dụng mạng nơ ron MLP. Từ đó, học viên đã thử nghiệm để tìm ra các tham số về cấu trúc mạng nơ ron cũng như tham số thời gian quan sát trước phù hợp (cho sai số dự báo nhỏ nhất). Kết quả của dự báo tuyển sinh dùng mạng nơ ron cũng được so sánh với một số phương pháp thông thường như trung bình dài hạn, trung bình động để thấy được dự báo sử dụng mạng nơ ron là phương pháp ưu việt hơn cả và cần được sử dụng nhiều hơn, thay thế cho các phương pháp dự báo cũ trong các lớp bài toán dự báo tương tự. 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Qua nghiên cứu cho thấy rằng dự báo dữ liệu chuỗi thời gian sử dụng mạng nơ ron là một bài toán gặp rất nhiều trong thực tế. Làm chủ các kỹ thuật phân tích và giải quyết các bài toán dự báo chuỗi thời gian sử dụng mạng MLP là một phương pháp tốt để triển khai bài toán dự báo tuyển sinh. Sau một thời gian tìm hiểu nghiên cứu, luận văn đã trình bày được các vấn đề sau: - Nghiên cứu lý thuyết chung, cập nhật các nghiên cứu mới nhất về bài toán dự báo, kỹ thuật dự báo theo chuỗi thời gian. Đặc biệt tập trung vào phương pháp dự báo tuyển sinh sử dụng mô hình mạng nơ ron MLP. - Phát biểu bài toán dự báo tuyển sinh cho trường THPT Lê Quý Đôn – TP Cẩm Phả - Tỉnh Quảng Ninh; Xây dựng chương trình minh họa dự báo tuyển sinh sử dụng mô hình mạng nơ ron MLP. Xác định các tham số phù hợp. So sánh đánh giá kết quả đạt được với một số thuật toán dự báo khác Trong quá trình thử nghiệm chương trình, các kết quả dựa báo là tương đối tốt. Tuy nhiên, bài toán dự báo vẫn còn nhiều điểm cần khắc phục, đề tài còn có một số hướng phát triển sau: - Nghiên cứu các phương pháp dò tìm thông số tốt nhất cho quá trình luyện mạng MLP - Nghiên cứu các kiến trúc mạng DeepLearning hiệu quả hơn cho bài toán dự báo tuyển sinh theo tiếp cận dự báo chuỗi thời gian - Lựa chọn thêm một số các tiêu chí ảnh hưởng đến kết quả dự báo. Xây dựng mạng nơ ron phù hợp cho bài toán dự báo với nhiều đầu vào Do giới hạn về thời gian nghiên cứu và kiến thức của bản thân, luận văn khó có thể tránh khỏi một số sai sót nhất định. Học viên rất mong nhận được sự đóng góp ý kiến của các thầy cô, các bạn đọc quan tâm để luận văn được hoàn thiện hơn. Một lần nữa học viên xin được cảm ơn Thầy giáo TS. Nguyễn Đình Dũng đã tận tình giúp đỡ, hướng dẫn trong thời gian thực hiện đề tài, cảm ơn sự giúp đỡ của gia đình, bạn bè và các đồng nghiệp trong thời gian qua. 52 TÀI LIỆU THAM KHẢO I. Tài liệu tiếng Việt [1] Trần Hoài Linh (2015), Giáo trình mạng neuron và ứng dụng xử lý tín hiệu số, Nhà XB Bách Khoa. [2] Thái Trung Hải (2014), Sử dụng mạng nơron trong việc dự đoán kết quả đậu đại học, Luận văn Thạc sỹ, Đại học Lạc Hồng. [3] Trần Đức Minh, Trần Huy Dương, Vũ Đức Thi (2015), Một số vấn đề về dự báo dữ liệu chuỗi thời gian, Kỷ yếu Hội nghị Quốc gia lần thứ VIII về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin, DOI: 10.15625/vap.2015.000182, pp. 467-470 [4] Dương Thu Trang (2017), Ứng dụng mạng nơron nhân tạo dự báo số học sinh tuyển vào Trung tâm GDNNGDTX quận Đống Đa, Luận văn thạc sỹ,khoa Công nghệ thông tin – Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội [5] Nguyễn Văn Trịnh (2012), Ứng dụng mạng nơron trong dự báo tỷ lệ nghỉ học, Luận văn thạc sỹ ,Viện Toán Ứng dụng và Tin học – Đại học Bách khoa Hà Nội II. Tài liệu tiếng Anh [6] Chen, Yu & Li, Ran & Hagedorn, Linda. (2019). Undergraduate International Student Enrollment Forecasting Model: An Application of Time Series Analysis. [7] C. T. S. E. M. Jyh Shing Roger Jang, Neuro fuzzy and Soft Computing, Prientice Hall International, Inc, 2002. [8] Datilo, Philemon & Ismail, Zuhaimy & Jayeola, Dare. (2019). A Review of Epidemic Forecasting Using Artificial Neural Networks. International Journal of Epidemiologic Research. 6. 132-143. 10.15171/ijer.2019.24. [9] Dean Abbott (2014), Applied Predictive Analytics: Principles and Techniques for the Professional Data Analyst, Wiley 53 [10] Egbo, M.N &Bartholomew, Desmond. (2018). Forecasting Students’ Enrollment Using Neural Networks and Ordinary Least Squares Regression Models. Journal of Advanced Statistics. 3. 10.22606/jas.2018.34001. [11] Fico Corporation (2009), Understanding Predictive Analytics [12] Hewamalage, Hansika & Bergmeir, Christoph & Bandara, Kasun. (2019). Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions. [13] Hill, Tim & O'Connor, Marcus & Remus, William. (1996). Neural Network Models for Time Series Forecasts. Management Science. 42. 1082-1092. 10.1287/mnsc.42.7.1082. [14] Lavilles, Rabby. (2012). Enrollment Forecasting for School Management System. International Journal of Modeling and Optimization. 2. 563-566. 10.7763/IJMO.2012.V2.183. [15] Norhaidah Abu Haris,Munaisyah Abdullah, Abu Talib Othman, Fauziah Abdul Rahman (2015), Application of Forecasting Technique for Students Enro