Luận văn Nghiên cứu phương pháp trích xuất đặc trưng trên ảnh vệ tinh sử dụng các kỹ thuật học sâu

G TIN NGƯỜI HƯỚNG DẪN KHOA HỌC 1. TS LÊ HỒNG ANH 2. PSG.TS TRƯƠNG NINH THUẬN Hà Nội, 10/2020 HV: Phạm Quang Hiển LỜI CẢM ƠN Đầu tiên, tôi xin bày tỏ lòng cảm ơn chân thành và sâu sắc nhất đến TS Lê Hồng Anh và PGS.TS Trương Ninh Thuận vì sự hướng dẫn và chỉ bảo tận tình của hai thầy trong suốt quá trình em theo học cũng như làm luận văn tốt nghiệp. Những định hướng, những lời khuyên và những kiến thức vô cùng quý giá của hai Thầy đã giúp em rất nhiều trong quá trình hoàn thành luận văn tốt nghiệp. Tôi xin được gửi lời cảm ơn sâu sắc nhất tới các Thầy Cô trong khoa Công nghệ thông tin - trường Đại học Công Nghệ - Đại học Quốc gia Hà Nội nói chung cũng như các thầy cô trong bộ môn Công nghệ Phần mềm nói riêng đã tận tình giảng dạy, trang bị cho tôi những kiến thức quý báu trong suốt quá trình tôi học tập tại khoa. Đây cũng chính là tiền đề giúp tôi hoàn thiện luận văn thạc sỹ. Cuối cùng, tôi cũng xin được gửi lời cảm ơn chân thành đến các anh chị em đồng nghiệp cũng như gia đình, bạn bè, người thân đã giúp đỡ tôi cả về vật chất lẫn tinh thần để tôi hoàn thành được luận văn này. Mặc dù đã rất cố gắng nhưng luận văn chắc chắn không tránh khỏi những thiếu sót, tôi rất mong nhận được những ý kiến nhận xét và đánh giá từ phía các Thầy Cô để luận văn được hoàn thiện hơn. Tôi xin chân thành cảm ơn! Hà Nội, tháng 10 năm 2020 Học viên Phạm Quang Hiển HV: Phạm Quang Hiển LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nghiên cứu phương pháp trích xuất đặc trưng trên ảnh vệ tinh sử dụng các kỹ thuật học sâu” được thực hiện dưới sự hướng dẫn của TS Lê Hồng Anh và PGS.TS Trương Ninh Thuận. Tham khảo từ những nghiên cứu liên quan đều được trích dẫn một cách rõ ràng trong danh mục tài liệu tham khảo. Không có việc sao chép tài liệu, công trình nghiên cứu của người khác mà không chỉ rõ về tài liệu tham khảo. HV: Phạm Quang Hiển MỤC LỤC LỜI CAM ĐOAN ....................................................................................................................... 2 MỤC LỤC .................................................................................................................................. 3 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ................................................................ 4 DANH MỤC CÁC BẢNG ......................................................................................................... 5 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ .................................................................................... 6 CHƯƠNG 1. GIỚI THIỆU ........................................................................................................ 1 1.1. Tính cấp thiết và lý do chọn đề tài ...................................................................................... 1 1.2. Mục tiêu và phạm vi nghiên cứu ......................................................................................... 2 1.3. Nội dung nghiên cứu ........................................................................................................... 3 1.4. Cấu trúc luận văn ................................................................................................................ 4 CHƯƠNG 2. CÁC KIẾN THỨC VÀ CÔNG NGHỆ NỀN TẢNG .......................................... 5 2.1. Ảnh vệ tinh Sentinel-2 ........................................................................................................ 5 2.2.1. Thiết kế kỹ thuật của vệ tinh Sentinel-2 ........................................................................... 5 2.2.2. Thiết kế kỹ thuật bộ cảm MSI trên vệ tinh Sentinel-2 ...................................................... 6 2.2.3. Thiết kế khả năng lấy mẫu của bộ cảm quang phổ MSI ................................................... 8 2.2.4. Khả năng cung cấp thông tin các dải phổ trong giám sát rừng ....................................... 11 2.2. Thư viện Eo-Learn ............................................................................................................ 11 2.3. Phần mềm Envi ................................................................................................................. 13 CHƯƠNG 3. MÔ HÌNH MẠNG NƠRON TÍCH CHẬP TRÍCH XUẤT LỚP PHỦ THỰC VẬT TỪ ẢNH VỆ TINH SENTINEL .................................................................................... 19 3.1. Giới thiệu về học sâu ......................................................................................................... 19 3.2. Mạng nơ-ron tích chập (Convolutional neural network) .................................................. 22 3.1.1. Kiến trúc ......................................................................................................................... 22 3.1.2. Các siêu tham số của bộ lọc (hyper-parameter) .............................................................. 25 3.1.3. Điều chỉnh các siêu tham số ........................................................................................... 26 3.1.4. Những kiến trúc sử dụng thủ thuật tính toán .................................................................. 27 3.3. Unet .................................................................................................................................. 28 3.4. Trích xuất lớp phủ thực vật sử dụng EO-learn .................................................................. 29 3.3.1. Độ phủ thực vật ............................................................................................................... 29 3.3.2. Quy trình xử lý ................................................................................................................ 31 Chương 4: THỰC NGHIỆM .................................................................................................... 36 4.1. Vùng thực nghiệm ............................................................................................................. 36 4.2. Kết quả thực nghiệm ......................................................................................................... 38 4.2.1. Kết quả chạy thực nghiệm của đề tài .............................................................................. 38 4.2.2. So sánh kết quả thực nghiệm với phần mềm Envi .......................................................... 40 Chương 5. KẾT LUẬN ............................................................................................................ 41 TÀI LIỆU THAM KHẢO ........................................................................................................ 43 PHỤ LỤC ................................................................................................................................. 45 HV: Phạm Quang Hiển DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Viết tắt Giải thích RGB Tổ hợp màu Red, Green, Blue AOI Area-of-interest CNNs Convolutional neural network DL Deep Learning (Học sâu) PNR Vườn tự nhiên cấp vùng EU European RNN Recurrent Neural Network LSTM Long Short-Term Memory GRU Gated Recurrent Unit CNN Convolutional Neural Network DBN Deep Belief Network DSN Deep Stacking Network HV: Phạm Quang Hiển DANH MỤC CÁC BẢNG Bảng 2.1: Đặc tính kỹ thuật của hệ thống Sentinel-2 ................................................................. 5 Bảng 2.2: Bước sóng của các kênh phổ và các ứng dụng của dữ liệu Sentinel-2 ...................... 9 Bảng 2.3: EO tasks Core .......................................................................................................... 45 Bảng 2.4: EO tasks Coregistration ........................................................................................... 45 Bảng 2.5: EO tasks Features .................................................................................................... 46 Bảng 2.6: EO tasks Geometry .................................................................................................. 48 Bảng 2.7: EO tasks Io ............................................................................................................... 48 Bảng 2.8: EO tasks Mask ......................................................................................................... 50 Bảng 2.9: EO tasks ml_tools .................................................................................................... 50 Bảng 4.1: Bảng so sánh các bước và kết quả xử lý ảnh vệ tinh giữa phần mềm envi và hệ thống sử dụng Unet và Eo-Learn ....................................................................................................... 40 HV: Phạm Quang Hiển DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 2.1: Dải phổ và độ phân giải không gian của các dữ liệu Sentinel-2 .............................. 10 Hình 2.2: Ví dụ về quy trình xử lý ảnh của thư viện Eo-Learn ................................................ 12 Hình 2.3: Xử lý ảnh với Mô-đun Rigorous Orthorectification ................................................ 14 Hình 2.4: Xử lý ảnh với Mô-đun Envi Feature Extraction ...................................................... 15 Hình 2.5: Xử lý ảnh với Mô-đun Envi Dem ............................................................................ 15 Hình 2.6: Xử lý ảnh với Mô-đun Envi Atmospheric Correction module ................................ 16 Hình 2.7: Xử lý ảnh với Mô-đun Envi NITF [6] ...................................................................... 16 Hình 2.8: Xử lý ảnh với sản phẩm chuyên dụng Envi Lidar .................................................... 17 Hình 2.9: Xử lý ảnh với sản phẩm chuyên dụng Envi SARScape ........................................... 17 Hình 2.10: Quy trình xử lý ảnh với phần mềm Envi ................................................................ 18 Hình 3.1: Mối quan hệ giữa AI, Machine Learning và Deep Learning ................................... 20 Hình 3.2: Các thành phần trong kiến trúc truyền thống của CNN ........................................... 22 Hình 3.3: Minh hoạ tích chập (Convolution) ........................................................................... 23 Hình 3.4: Làm mờ ảnh bằng cách lấy giá trị trung bình các điểm ảnh lân cận ........................ 23 Hình 3.5: Phát hiện biên cạnh bằng cách tính vi phân ............................................................. 23 Hình 3.6: Ví dụ minh hoạ lấy giá trị lớn nhất (Max pooling) .................................................. 24 Hình 3.7: Ví dụ minh hoạ lấy giá trị trung bình (Average pooling) ........................................ 24 Hình 3.8: Minh hoạ về kết nối đầy đủ (Fully connected) trong CNNs .................................... 25 Hình 3.9: Minh hoạ các chiều của bộ lọc ................................................................................. 25 Hình 3.10: Minh hoạ về độ trượt (Stride) ................................................................................ 25 Hình 3. 11: Minh hoạ tính tương thích của các tham số trong tích chập ................................. 26 Hình 3.12: Ví dụ minh hoạ về GAN ........................................................................................ 27 Hình 3. 13: Minh hoạ về phương thức kết nối tắt (Skip connections) ..................................... 27 Hình 3.14: Kiến trúc mạng U-net ............................................................................................. 29 Hình 3. 15: Chọn vùng tải ảnh vệ tinh ..................................................................................... 31 Hình 3.16: Cấu trúc file Geojson của vùng chọn tải ảnh vệ tinh ............................................. 32 Hình 3.17: đăng ký tài khoản trên Sentinel-hub để tải ảnh vệ tinh .......................................... 33 Hình 3.18: Cấu hình các thông số trên Sentinel-hub để tải dữ liệu ảnh vệ tinh ....................... 33 Hình 3.19: Cấu hình tính chỉ số NDVI Json file ...................................................................... 34 Hình 3.20: Json file cấu hình tính chỉ số NDVI trên Sentinel-hub .......................................... 34 Hình 3.21: Cấu hình các thông số phía Client để tải ảnh vệ tinh ............................................. 34 Hình 3.22: Quy trình xử lý ảnh vệ tinh với mô hình Unet và thư viện Eo-learn ..................... 35 Hình 4.1: Ma trận độ chính xác của mô hình (Confusion matrix) ........................................... 39 Hình 4.2: Ma trận độ chính xác giữa hệ thống (trái, ~ 84,5%) và phần mềm ENVI (phải, ~ 87,1%) khi thử nghiệm với cùng bộ dữ liệu ............................................................................. 40 HV: Phạm Quang Hiển 1 CHƯƠNG 1. GIỚI THIỆU 1.1. Tính cấp thiết và lý do chọn đề tài Năm 1943 là giai đoạn manh nha ý tưởng về trí tuệ nhân tạo, trải qua các giai đoạn hình thành và phát triển đến nay trí tuệ nhân tạo ngoài việc trở thành lĩnh vực nghiên cứu chủ chốt ở các viện nghiên cứu và trường đại học, việc ứng dụng trí tuệ nhân tạo vào các lĩnh vực khoa học, kỹ thuật, sản xuất đã trở nên vô cùng khả thi. Từ các ứng dụng học tiếng anh, phân tích dữ liệu, vận hành hệ thống sản xuất, xe tự hành, y tế, nông lâm nghiệp đều có ứng dụng của trí tuệ nhân tạo, nhằm nâng cao hiệu suất cũng như kết quả hoạt động nhằm phục vụ nhu cầu của con người ngày một tốt hơn. Trí tuệ nhân tạo đã góp phần giải quyết những bài toán với quy mô lớn, những việc mà trước đây với sức người không thể hoặc rất khó khăn để giải quyết. Đi cùng với giai đoạn phát triển của trí tuệ nhân tạo, lĩnh vực nghiên cứu khoa học vũ trụ cũng được phát triển hết sức mạnh mẽ, năm 1957 Liên Xô đã phóng thành công vệ tinh Sputnik 1 lên không gian, cho đến nay đã có hàng trăm vệ tinh hoạt động trên không gian, với nhiệm vụ thu thập dữ liệu viễn thám để phục vụ nhu cầu nghiên cứu khoa học. Nguyên lý hoạt động của viễn thám là nhờ vào sự phản xạ bề mặt của các vật thể, đối tượng trên bề mặt Trái Đất sử dụng các dải phổ hoặc nguồn năng lượng khác nhau. Do đó, mỗi loại bề mặt có kết cấu đặc trưng khác nhau sẽ phản xạ/ tán xạ lại những giá trị khác nhau. Đối với mỗi nguồn năng lượng khác nhau, dữ liệu viễn thám lại mang các đặc trưng riêng. Tín hiệu phản xạ lại từ các bề mặt lớp phủ trên Trái Đất sau đó được thu thập và xử lý tại các trạm thu dữ liệu ảnh vệ tinh để sử dụng nghiên cứu cho các miền ứng dụng khác nhau. [1] Với sự phát triển mạnh mẽ của khoa học, các loại ảnh viễn thám thông dụng như Modis, Landsat 8, Spot 5, Venus, Sentinel 2A đã được sử dụng trong nhiều lĩnh vực như: - Khí tượng: dùng để dự báo thời tiết, dự báo thiên tai liên quan đến biến đổi nhiệt độ bề mặt đất, mây... - Bản đồ: là công cụ đắc lực phục vụ cho ngành bản đồ, thành lập các loại bản đồ địa hình và bản đồ chuyên đề ở nhiều tỉ khác nhau. - Nông-Lâm nghiệp: theo dõi mức độ biến đổi thảm phủ thực vật, độ che phủ rừng... - Địa chất: Theo dõi tốc độ sa mạc hoá, tốc độ xâm thực bờ biển, phân tích những cấu trúc địa chất trên mặt cũng như bên trong lòng đất (vỏ trái đất)... HV: Phạm Quang Hiển 2 - Môi trường: Giám sát biến động ô nhiễm, rò rỉ dầu trên mặt (thông qua chỉ thị thực vật), nghiên cứu quản lý biến động đô thị hóa, nghiên cứu hiện tượng đảo nhiệt đô thị... Thảm thực vật đóng vai trò quan trọng trong việc duy trì tính đa dạng sinh học của hệ sinh thái. Lớp phủ rừng ảnh hưởng tới sự sinh tồn của các loài sinh vật quý hiếm, những loài đóng vai trò quan trọng trong hệ sinh thái, theo thời gian, dưới sự tác động của tự nhiên và con người, lớp phủ thực vật sẽ có những thay đổi nhất định. Ngày nay với sự phát triển mạnh mẽ của công nghệ và Internet, việc sử dụng công nghệ viễn thám trong các bài toán giám sát, quan trắc các loại bề mặt lớp phủ trên trái đất nói chung và giám sát lớp phủ thực vật nói riêng đã được áp dụng rất phổ biến và rộng rãi. Công nghệ Viễn thám và hệ thông tin địa lý (GIS – Geographical Information System) được ứng dụng nhiều trong nghiên cứu, điều tra xây dựng bản đồ lớp phủ thực vật. Ứng dụng công nghệ này trong việc nghiên cứu đánh giá biến động lớp phủ thực vât đảm bảo tính khách quan, độ chính xác cao, tiết kiệm thời gian. Tuy nhiên, trong vài năm gần đây với sự bùng nổ của trí tuệ nhân tạo (AI - Artificial Intelligence), đã đưa việc áp dụng công nghệ vào mọi mặt trong đời sống xã hội lên một tầm cao mới. Với việc áp dụng các kỹ thuật học sâu (DL – Deep Learning) vào công nghệ viễn thám, đã giúp cho chúng ta giải quyết được rất nhiều bài toán khó khăn, mà đối với các công nghệ trước đây phải mất rất nhiều thời gian mới có thể xử lý được. Chính vì lý do trên, dưới sự hướng dẫn của TS Lê Hồng Anh và PSG.TS Trương Ninh Thuận tôi đã lựa chọn đề tài “Nghiên cứu phương pháp trích xuất đặc trưng trên ảnh vệ tinh sử dụng các kỹ thuật học sâu”, áp dụng trong việc trích xuất đặc trưng ảnh vệ tinh nhằm giám sát lớp phủ thực vật, hỗ trợ cho công tác quản lý nông nghiệp và lâm nghiệp ở Việt Nam. 1.2. Mục tiêu và phạm vi nghiên cứu Thảm thực vật có vai trò rất quan trọng đối với cuộc sống của con người cũng như môi trường như: cung cấp nguồn gỗ, điều hòa không khí, tạo ra oxy, là nơi cư trú động thực vật, ngăn chặn gió bão, chống xói mòn đất, đảm bảo cho sự sống, hạn chế biến đổi khí hậu Chính vì thế việc giám sát lớp phủ thực vật là điều vô cùng quan trọng. Có rất nhiều nguyên nhân ảnh hưởng đến sự biến đổi lớp phủ thực vật như: khai thác trái phép, đốt nương làm rẫy, cháy rừng làm cho việc giám sát lớp phủ thực vật trở nên hết sức khó khăn. Với công nghệ phát triển, việc ứng dụng công nghệ thông tin vào việc giảm sát lớp phủ thực vật là nhu cầu vô cùng cấp thiết. HV: Phạm Quang Hiển 3 Để xử lý vấn đề này, các phần mềm chuyên dụng được phát triển, kết hợp với dữ liệu viễn thám nhằm trích xuất đặc trưng của ảnh vệ tinh để giám sát lớp phủ thực vật, giúp cho công tác quản lý rừng trở nên dễ dàng hơn. Các phần mềm này hỗ trợ người dùng tương đối đầy đủ các tính năng để xử lý ảnh vệ tinh nhưng đòi hỏi người dùng phải có chuyên môn cao về viễn thám và xử lý ảnh vệ tinh, đồng thời việc xử lý nhiều dữ liệu mất tương đối nhiều thời gian. Chính vì những lý do trên, mục tiêu của luận văn là nghiên cứu và ứng dụng các kỹ thuật học sâu trong việc trích xuất đặc trưng ảnh vệ tinh nhằm giám sát lớp phủ thực vật, áp dụng trên phạm vi tỉnh Cao Bằng. Trọng phạm vi luận văn này sẽ tập trung nghiên cứu về mô hình mạng Nơ-ron phức hợp U-Net để tiến hành giám sát lớp phủ thực vật của tỉnh Cao Bằng dựa trên dữ liệu ảnh vệ tinh Sentinel- 2. Giúp nâng cao hiệu quả trong công tác giám sát lớp phủ thực vật nói chung cũng như giám sát lớp phủ rừng nói riêng, cải thiện năng suất làm việc so với việc sử dụng các công nghệ cũ. 1.3. Nội dung nghiên cứu Để đạt được mục tiêu trên, tác giả đã nghiên cứu về các nội dung chính sau: Dữ liệu viễn thám: Là dữ liệu ảnh thu được từ các bộ cảm đặt trên mặt đất, máy bay hoặc vệ tinh. Dữ liệu ảnh có thể ở dạng ảnh tương tự hoặc ảnh số. Với công nghệ hiện nay, ảnh vệ tinh được cung cấp và sử dụng một cách phổ biến, có thể kể đến ảnh của các vệ tinh Spot, AVNIR, Landsat TM, Landsat ETM, Moss- 1, Modis, GLI, Sentinel Trong đó, Ảnh vệ tinh Sentinel-2 với ưu điểm về độ phân giải cao được ứng dụng trong nông nghiệp, lâm nghiệp nhằm giám sát thực vật và rừng, giám sát sự thay đổi của độ che phủ thực vật Kỹ thuật học sâu: học máy dựa trên một tập hợp các thuật toán để cố gắng mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến. Học sâu bao gồm nhiều kiến trúc như mạng neuron tích chập sâu, mạng neuron sâu, mạng niềm tin sâu và mạng neuron tái. Trong phạm vi nghiên cứu của luận văn, tác giả tập trung nghiên cứu về mạng neural tích chập (CNNs), sử dụng làm nền tảng để tiến hành xây dựng kiến trúc U-Net kết hợp với thư viện Eo-Learn phục vụ cho việc trích xuất các đặc trưng của ảnh vệ tinh. Thư viện EO-Learn: là một tập hợp các gói mã nguồn mở được viết bằng ngôn ngữ python, hỗ trợ rất tốt trong việc xử lý và khai thác dữ liệu có giá trị của ảnh vệ tinh. Eo-Learn bao gồm 8 gói: Eo-learn-core (thực hiện các khối xây dựng cơ bản), Eo-learn-coregistration (xử lý đồng đăng ký hình ảnh), Eo-learn- features (trích xuất thuộc tính dữ liệu và thao tác với tính năng), Eo-learn- geometry (dùng để biến đổi hình học và chuyển đổi giữa dữ liệu vectơ và dữ liệu HV: Phạm Quang Hiển 4 raster), Eo-learn-io (đầu vào / đầu ra liên quan đến việc lấy dữ liệu), Eo-learn- mask (sử dụng để che dữ liệu và tính toán mặt nạ đám mây), Eo-learn-ml-tools (các công cụ của Eo-Learn), Eo-learn-visualization (trực quan hóa các yếu tố cốt lõi của eo-learn) 1.4. Cấu trúc luận văn Trong khuôn khổ luận văn, tác giả đã trình bày những khái niệm tổng quan về lớp phủ rừng, dữ liệu viễn thám, ảnh vệ tinh sentinel-2, kỹ thuật học sâu và các kiến trúc mạng nơ-ron tích chập. Trình bày về việc tải dữ liệu ảnh vệ tinh, xây dựng mô hình U-net để thực hiện ứng dụng kỹ thuật học sâu trong việc trích xuất đặc trưng ảnh vệ tinh nhằm tính toán lớp phủ rừng áp dụng tại tỉnh Cao Bằng. Tác giả đã so sánh kết quả của mô hình so với kết quả xử lý ảnh vệ tinh trên phần mềm chuyên dụng Envi. Luận văn được trình bày trong 5 chương: Chương 1: Giới thiệu: tác giả trình bày về tính cấp thiết của đề tài, mục tiêu và phạm vi nghiên cứu của đề tài, các nội dung nghiên cũng như cấu trúc của luận văn Chương 2: Các kiến thức và công nghệ nền tảng: tác giả trình bày về các kiến thức nền tảng thực hiện đề tài như các kỹ thuật học sâu, ảnh vệ tinh, thư viện Eo-Learn, phần mềm Envi Chương 3: Mô hình mạng Nơron tích chập trích xuất lớp phủ thực vật từ ảnh vệ tinh Sentinel: tác giả trình bày việc xây dựng mạng nơ-ron tích chập với kiến trúc U-net để tiến hành trích xuất lớp phủ thực vật. Ngoài ra tác giả cũng giới thiệu một số chỉ số giúp tính toán lớp phủ thực vật và quy trình xử lý của bài toán với thư viện Eo- Learn Chương 4: Thực nghiệm: Tác giả giới thiệu về vùng thực nghiệm, các kết quả thực nghiệm cũng như so sánh ưu nhược điểm so với phần mềm Envi Chương 5: Kết luận: Tác giả trình bày về vai trò về nghiên cứu trong luận văn, các kết quả đạt được, các điểm hạn chế cũng như hướng phát triển tiếp theo của luận văn. HV: Phạm Quang Hiển 5 CHƯƠNG 2. CÁC KIẾN THỨC VÀ CÔNG NGHỆ NỀN TẢNG 2.1. Ảnh vệ tinh Sentinel-2 2.2.1. Thiết kế kỹ thuật của vệ tinh Sentinel-2 Vệ tinh Sentinel-2 được thiết kế là một cặp vệ tinh song sinh gắn thiết bị thu ảnh đa phổ tiếp nối việc cung cấp dữ liệu vệ tinh phục vụ giám sát tài nguyên thiên nhiên của các dòng vệ tinh LANDSAT và SPOT thực hiện. Hai vệ tinh được thiết kế bay ở độ cao 786 km trong quỹ đạo đồng bộ mặt trời, được thiết kế phân pha ở 180° trên các mặt đối diện của quỹ đạo nên tấp suất chụp lặp của 2 vệ tinh rât cao, là 5 ngày. Vệ tinh Sentinel-2 được thiết kế tiên tiến dựa trên các nền tảng mới do tập đoàn Astrium GmbH phát triển có thừa hưởng kinh nghiệm mà EADS-Astrium từ việc chế tạo các vệ tinh ESA trước đây. Mỗi vệ tinh Sentinel-2 nặng khoảng 1,2 tấn, với tuổi thọ 7,25 bao gồm giai đoạn vận hành trên quỹ đạo. Vị trí của mỗi vệ tinh Sentinel-2 được xác định trên quỹ đạo bằng thiết bị GNSS để đảm bảo việc chính xác của quỹ đạo bay, hệ thống Sentinel-2 bao gồm: - Trạm vận hành hướng bay để điều khiển, giám sát và lập lệnh cho vệ tinh; - Trạm mặt đất quản lý trữ lượng dữ liệu lưu trên vệ tinh để lập lịch quét, tải dữ liệu thu nhận, xử lý, lưu trữ, phân phối và kiểm soát chất lượng; - Mạng lưới các trạm băng tần S và X cho phép liên lạc với vệ tinh từ 4 trạm mặt đất Kiruna, Svalbard, Mas Palomas và Prince Albert. Ở chế độ bình thường, vệ tinh hoạt động thu ảnh có tính hệ thống với chu kỳ 10 ngày. Tuy nhiên, trong trường hợp khẩn cấp vệ tinh có thể thu nhận dữ liệu và cung cấp cho người sử dụng trong vòng 3 giờ đồng hồ sau khi thu nhận. Bảng 2.1: Đặc tính kỹ thuật của hệ thống Sentinel-2 Đặc điểm hệ thống vệ tinh Thông tin Tính liên tục Cần 4 vệ tinh hoạt động trong chu kỳ 15 năm Các trạm mặt đất Ở Italia, Nauy, Tây Ban Nha, Alaska (Mỹ) Độ tin cậy 0.7 Độ sẵn có 97% Định vị không có điểm khống chế GCP <20m Độ rộng dải quét 290 km Phương thức hoạt động Tiêu chuẩn, mở rộng, hỗ trợ, an toàn Thời lượng chụp ảnh tối đa 32 phút mỗi 100 phút trong quỹ đạo HV: Phạm Quang Hiển 6 Sự kết hợp giữa dải quét rộng và yêu cầu thu nhận dữ liệu toàn cầu liên tục với tần suất chụp lặp cao dẫn đến việc Sentinel -2 tạo ra khoảng 1,6 TBytes dữ liệu hình ảnh thô được nén mỗi ngày. Điều này có nghĩa tốc độ cung cấp dữ liệu thô trung bình liên tục là 160 Mbit/s, với khả năng lưu trữ bộ nhớ là 2,4 Tbits. Dữ liệu được nén bằng thuật toán nén đa độ phân giải dựa trên sự phân tách sóng. Chức năng này hoạt động trong thời gian thực đem lại tốc độ truyền ổn định với tỷ lệ nén được tối ưu hóa cho từng kênh phổ để đảm bảo chất lượng ảnh. Vệ tinh Sentinel-2 phóng lên vũ trụ mang nhiệm vụ cung cấp tính liên tục cho các dịch vụ giám sát trái đất bằng dữ liệu quang học độ phân giải không gian cao. Bộ cảm quang học trên vệ tinh được thiết kế cải tiến để cung cấp ảnh ở 13 kênh phổ từ dải nhìn thấy, cận hồng ngoại và hồng ngoại sóng ngắn. Thiết bị đa phổ MSI cung cấp ảnh từ bước sóng 443nm đến 2190nm và chụp bề mặt đất toàn cầu một cách có hệ thống từ 560 Nam đến 840 Bắc. Dữ liệu ảnh Sentinel-2 cung cấp 3 loại độ phân giải không gian gồm: Độ phân giải 10 m ở 4 kênh từ dải hồng ngoại nhìn thấy và cận hồng ngoại; 20 m ở 6 kênh từ dải viền đỏ và cận hồng ngoại; 3 kênh độ phân giải 60 m dùng để hiệu chỉnh khí quyển. Sentinel-2 cũng được thiết kế để quay ống kính đến ± 20,60 dọc theo dải quét để phục vụ các yêu cầu khẩn cấp. Tín hiệu được truyền đến các trạm mặt đất lõi của Sentinel và thông qua liên kết laser của EDRS. Từ khía cạnh quan sát Trái đất, các nhà nghiên cứu luôn mong muốn có thể sử dụng nguồn dữ liệu mở và miễn phí như các dòng vệ tinh Landsat và Sentinel. Do đó, khi kết hợp ảnh các vệ tinh Landsat 5-8 với dữ liệu ảnh Sentinel-2 sẽ đạt tần suất chụp lặp 3 ngày tại một điểm trên mặt đất. Do đó, dữ liệu Sentinel-2 có thể mang lại kết quả mong muốn nếu áp dụng phương pháp phù hợp. 2.2.2. Thiết kế kỹ thuật bộ cảm MSI trên vệ tinh Sentinel-2 Bộ cảm MSI trên vệ tinh Sentinel-2 còn có các cải tiến rất lớn so với bộ cảm OLI trên vệ tinh LandSat 8 như: việc thu hẹp độ rộng dải phổ của Sentinel-2 làm hạn chế ảnh hưởng của các thành phần khí quyển, bao gồm cả hơi nước. Kênh 8A của Sentinel được thu hẹp dải phổ ở bước sóng 865 nm trong vùng cận hồng ngoại để tránh ảnh hưởng từ hơi nước nhưng vẫn có khả năng thể hiện được những vùng có giá trị phổ bằng phẳng, đặc biệt là ở dải phổ cận hồng ngoại cho thảm thực vật tuy nhiên vẫn nhạy cảm với hàm lượng oxit sắt trong đất. Dải phổ 443 nm cũng được sử dụng trong các nhiệm vụ như: tính toán Chỉ số thực vật toàn cầu ENVISAT MERIS (MGVI) và trong hiệu chỉnh khí quyển cho đầu thu MODIS của Cơ quan Hàng không và Vũ trụ Hoa Kỳ. HV: Phạm Quang Hiển 7 Độ phân giải không gian và thời gian đang là ưu điểm vượt trội của của thế hệ vệ tinh quan học Sentinel-2. Một trong những đặc tính vượt trội của Sentinel 2 và Landsat 8 là có cùng dải phổ từ 400nm – 2300nm tuy số lượng băng phổ khác nhau, 13 băng phổ của ảnh Sentinel 2 so với 9 băng phổ của ảnh Landsat 8. Điều này được giải thích chủ yếu do khả năng đâm xuyên vào môi trường nước của các băng phổ khác nhau. Theo mức năng lượng của chúng thì khả năng bị hấp thụ tăng dần từ bước sóng 400nm đến bị hấp thụ gần như hoàn toàn ở bước sóng 900nm. Băng xanh blue có thể đi sâu tối đa 15m, băng xanh (green) xuyên được tối đa 10m và chỉ 5m đối với băng đỏ. Từ đó có thể thấy, cả ảnh Landsat 8 và Sentinel 2 đều chứa các băng phổ có bước sóng phù hợp đối với các nhiệm vụ đánh giá biến động nguồn lợi hoặc chất lượng nước vùng ven bờ, đầm phá, sông. Đối với ứng dụng theo dõi diễn biến rừng, một trong những phương pháp triển vọng hiện nay đáp ứng được yêu cầu cập nhật bản đồ hiện trạng rừng là ứng dụng công nghệ viễn thám để xác định khu vực tăng/giảm rừng đến từng lô kiểm kê theo thời gian. Tuy nhiên, để ứng dụng công nghệ này, việc lựa chọn tư liệu ảnh phù hợp là vấn đề đặt ra. Các loại ảnh có độ phân giải không gian cao (dưới 10 m) thường có giá thành tương đối đắt. Bên cạnh đó, nếu thực hiện trên khu vực rộng, sẽ cần dung lượng lưu trữ dữ liệu, thời gian để xử lý ảnh và yêu cầu về cấu hình phần cứng, phần mềm cho xử lý ảnh rất lớn. Do đó, để áp dụng trên phạm vi cả nước là không khả thi. Các loại ảnh có độ phân giải không gian thấp (>250 m) như: MODIS, NOAA, MERIS... một pixel ảnh có thể lớn hơn nhiều so với một lô kiểm kê, nên không phù hợp với hệ thống giám sát rừng ở quy mô địa phương. Từ đó, các loại ảnh vệ tinh có độ phân giải trung bình (10 - 30 m), được cung cấp miễn phí như Landsat-8, Sentinel-2 tỏ ra có nhiều ưu điểm và triển vọng để giám sát sự thay đổi độ che phủ rừng ở quy mô địa phương. Để đáp ứng các yêu cầu: phù hợp cho giám sát sự thay đổi độ che phủ rừng ở quy mô địa phương và độ phân giải không gian cao nhất có thể, ảnh vệ tinh Landsat-8 OLI và Sentinel-2 là 2 loại ảnh có tiềm năng nhất. Sự tương đồng về mối quan hệ phổ giữa ảnh Sentinel 2 và Landsat 8 sẽ làm tăng giá trị sử dụng khi kết hợp cả hai nguồn ảnh vào các nghiên cứu về mặt đất, bao gồm theo dõi diễn biến rừng. Từ khía cạnh quan sát Trái đất, các nhà nghiên cứu luôn mong muốn có thể sử dụng nguồn dữ liệu mở và miễn phí như các dòng vệ tinh Landsat và Sentinel. Như đã đề cập ở trên, khi kết hợp ảnh các vệ tinh Landsat 5-8 với bộ cảm dòng vệ tinh Sentinel, ở đây là Sentinel-2 sẽ đạt tần suất chụp lặp 3 ngày tại một điểm trên mặt đất. Mặc dù các đầu thu này có độ phân g...ted) Sau khi dữ liệu được truyền qua các lớp tích chập và lớp gộp, mạng nơ-ron đã học được tương đối các đặc trưng của dữ liệu. Lớp kết nối đầy đủ (fully connected) nhận đầu vào là các dữ liệu về các đặc trưng này và kết hợp lại với nhau để đưa ra được dữ liệu đầu ra của mạng nơ-ron. Trong mô hình mạng CNNs, các lớp kết nối đầy đủ thường được tìm thấy ở cuối mạng và được dùng để tối ưu hóa mục tiêu của mạng ví dụ như độ chính xác của lớp. Hình 3.8 dưới đây minh hoạ về lớp kết nối đầy đủ [13]. Hình 3.8: Minh hoạ về kết nối đầy đủ (Fully connected) trong CNNs 3.1.2. Các siêu tham số của bộ lọc (hyper-parameter) Các chiều của một bộ lọc Một bộ lọc kích thước F×F áp dụng lên đầu vào chứa C kênh (channels) thì có kích thước tổng kể là F×F×C thực hiện phép tích chập trên đầu vào kích thước I×I×C và cho ra một bản đồ đặc trưng (feature map hay còn gọi là activation map) có kích thước O×O×1. Hình 3.9: Minh hoạ các chiều của bộ lọc Độ trượt (Stride) Trong các phép tính toán tích chập hoặc phép gộp, cửa số trượt (sliding windows) sẽ duyệt qua tất cả các ô của ma trận, sau mỗi lần thực hiện phép tính số pixel mà cửa sổ sẽ di chuyển gọi là độ trượt S ký hiệu. Hình 3.10 dưới đây minh hoạ về độ trượt (stride) S. Hình 3.10: Minh hoạ về độ trượt (Stride) HV: Phạm Quang Hiển 26 Khoảng cách giữa biên và nội dung (Zero-padding) Khi xử lý dữ liệu với nhiều lớp phức hợp, một vấn đề phát sinh là trong quá trình xử lý, hệ thống có xu hướng mất các pixel trên dữ liệu đầu vào. Đối với bất kỳ tích chập nào, chúng ta có thể chỉ mất một vài pixel, nhưng điều này có thể tăng lên khi chúng ta áp dụng nhiều lớp tích chập liên tiếp. Một giải pháp đơn giản cho vấn đề này là thêm các pixel phụ xung quanh ranh giới của dữ liệu đầu vào, do đó tăng kích thước dữ liệu nhằm khắc phục vấn đề trên. Giá trị thêm vào là khoảng giữa biên và nội dung (padding). Giá trị này có thể được lựa chọn thủ công hoặc một cách tự động bằng một trong ba những phương pháp sau [11]: Valid Same Full Giá trị P = 0 Minh Hoạ Mục đích - Không sử dụng khoảng trống giữa biên và nội dung. - Bỏ phép tích chập cuối nếu số chiều không khớp - Sử dụng khoảng cách giữa biên và nội dung để làm cho bản đồ đặc trưng có kích thước I/S. - Kích thước đầu ra thuận lợi về mặt toán học. - Kích thước giữa biên và nội dung tối đa sao cho các phép tích chập có thể được sử dụng ở biên của dữ liệu đầu vào. - Bộ lọc thấy được đầu vào từ đầu đến cuối. 3.1.3. Điều chỉnh các siêu tham số Tính tương thích của tham số trong tầng tích chập: bằng cách ký hiệu ‘I’ là độ dài kích thước đầu vào, ‘F’ là độ dài của bộ lọc, ‘P’ là số lượng ‘Zero padding’, ‘S’ là độ trượt, ta có thể tính được độ dài ‘O’ của bản đồ đặc trưng theo một chiều bằng công thức: Hình 3. 11: Minh hoạ tính tương thích của các tham số trong tích chập HV: Phạm Quang Hiển 27 Hiểu về độ phức tạp của mô hình: để đánh giá độ phức tạp của một mô hình, cách hữu hiệu là xác định số tham số mà mô hình đó sẽ có. Trong một lớp của mạng neural tích chập, nó sẽ được tính toán như sau: Tích chập Gộp Kết nối đầy đủ Minh hoạ Kích thước đầu vào I×I×C I×I×C Nin Kích thước đầu ra O×O×K O×O×C Nout Số lượng tham số (F×F×C+1) ×K 0 (Nin + 1) × Nout 3.1.4. Những kiến trúc sử dụng thủ thuật tính toán Mạng đối nghịch tạo sinh (Generative Adversarial Network – GAN): là sự kết hợp giữa mô hình khởi tạo và mô hình phân biệt, khi mà mô hình khởi tạo cố gắng tạo ra hình ảnh đầu ra chân thực nhất, sau đó được đưa vào mô hình phân biệt, mà mục tiêu của nó là phân biệt giữa ảnh được tạo và ảnh thật. Hình 3.12: Ví dụ minh hoạ về GAN Mạng phần dư (Residual Network – ResNet): là một kiến trúc Mạng nơ-ron tích chập (CNN), được tạo thành từ một loạt các khối dư (Residual Blocks). ResNet sử dụng phương thức kết nối tắt (skip connections) giữa các lớp nhằm mục đích cho phép việc sao chép giữa các lớp, đồng thời đề xuất kiến trúc lặp lại đặc tính (so với kiến trúc kế thừa). Hình 3.13: Minh hoạ về phương thức kết nối tắt (Skip connections) HV: Phạm Quang Hiển 28 Inception Network Kiến trúc này sử dụng những inception module và hướng tới việc thử các tầng tích chập khác nhau để tăng hiệu suất thông qua sự đa dạng của các đặc trưng. Cụ thể, kiến trúc này sử dụng thủ thuật tầng tích chập 1×1 để hạn chế gánh nặng tính toán. 3.3. Unet U-Net là một mạng nơ-ron tích chập được phát triển để phân đoạn hình ảnh y sinh tại Khoa Khoa học Máy tính của Đại học Freiburg, Đức. Mạng này dựa trên mạng tích tụ hoàn toàn và kiến trúc của nó đã được sửa đổi và mở rộng để hoạt động với ít hình ảnh huấn luyện hơn và mang lại các phân đoạn chính xác hơn. Việc phân đoạn hình ảnh 512×512 mất chưa đến một giây trên GPU hiện đại. Kiến trúc U-Net bắt nguồn từ cái gọi là “mạng tích tụ đầy đủ” do Long và Shelhamer đề xuất đầu tiên. Ý tưởng chính là bổ sung một mạng hợp đồng thông thường bằng các lớp kế tiếp nhau, trong đó các hoạt động gộp được thay thế bằng các nhà khai thác upsampling. Do đó các lớp này làm tăng độ phân giải của đầu ra. Hơn nữa, một lớp tích tụ liên tiếp sau đó có thể học cách tập hợp một đầu ra chính xác dựa trên thông tin này. Một sửa đổi quan trọng trong U-Net là có một số lượng lớn các kênh tính năng trong phần lấy mẫu lên, cho phép mạng truyền thông tin ngữ cảnh đến các lớp có độ phân giải cao hơn. Do đó, đường mở rộng ít nhiều đối xứng với phần hợp đồng và tạo ra kiến trúc hình chữ u. Mạng chỉ sử dụng phần hợp lệ của mỗi tích chập mà không có bất kỳ lớp nào được kết nối đầy đủ. Để dự đoán các pixel trong vùng biên của hình ảnh, bối cảnh bị thiếu được ngoại suy bằng cách phản chiếu hình ảnh đầu vào. Chiến lược xếp lớp này rất quan trọng để áp dụng mạng cho hình ảnh lớn, vì nếu không độ phân giải sẽ bị giới hạn bởi bộ nhớ GPU. Mạng bao gồm một đường dẫn hợp nhất và một đường dẫn mở rộng, tạo cho nó kiến trúc hình chữ U. Đường dẫn hợp đồng là một mạng tích chập điển hình bao gồm việc áp dụng lặp đi lặp lại các phép chập, mỗi lần theo sau là một đơn vị tuyến tính được chỉnh lưu (ReLU) và hoạt động tổng hợp tối đa. Trong quá trình co lại, thông tin không gian bị giảm đi trong khi thông tin về tính năng được tăng lên. Đường dẫn mở rộng kết hợp tính năng và thông tin không gian thông qua một chuỗi phức hợp và ghép nối với các tính năng có độ phân giải cao từ đường dẫn hợp đồng. HV: Phạm Quang Hiển 29 Có nhiều ứng dụng của U-Net trong phân đoạn ảnh y sinh, chẳng hạn như phân đoạn ảnh não ('' BRATS '') và phân đoạn ảnh gan ("siliver07"). Các biến thể của U-Net cũng đã được áp dụng để tái tạo hình ảnh y tế. Dưới đây là một số biến thể và ứng dụng của U-Net như sau: - Phép hồi quy lần lượt từng phần tử ảnh sử dụng U-Net và ứng dụng của nó trong kĩ thuật trộn ảnh. - 3D U-Net: Học từ phân đoạn thể tích hình ảnh và chú thích đơn giản. - U-Net với mã hoá VGG11 được huấn luyện trước trong ImageNet để phân đoạn hình ảnh. Kiến trúc mạng U-Net được biểu diễn cụ thể qua hình 3.9 [7]: Hình 3.14: Kiến trúc mạng U-net 3.4. Trích xuất lớp phủ thực vật sử dụng EO-learn 3.3.1. Độ phủ thực vật Tỷ lệ che phủ thực vật (độ phủ thực vật) là tỷ lệ phần trăm giữa diện tích thực vật so với tổng diện tích đất tự nhiên trên một phạm vi địa lý nhất định. Để hỗ trợ giám sát lớp phủ thực vật, chúng ta có một số chỉ số thông dụng sau: a. Chỉ số NDVI Công thức: NDIV = (IR-R)/(IR+R) Trong đó IR là giá trị bức xạ của bước sóng cận hồng ngoại (near infrared), R là giá trị bức xạ của bước sóng nhìn thấy (visible).Chỉ số thực vật được dùng rất rộng rãi để xác định mật độ phân bố của thảm thực vật, đánh giá trạng thái sinh trưởng và phát triển của cây trồng, làm cơ sở số liệu để dự báo sâu bệnh, hạn hán, diện tích năng suất và sản lượng cây trồng HV: Phạm Quang Hiển 30 b. Chỉ số SAVI Công thức: SAVI = ((NIR - Red) / (NIR + Red + L)) x (1 + L) Trong đó L là hệ số hiệu chỉnh. Giá trị của L nằm trong khoảng từ -1 đến 1, tùy thuộc vào mật độ thực vật xanh có trong khu vực. Để chạy phân tích ảnh các khu vực có mật độ thảm thực vật cao, L được gán giá trị 0 (trong trường hợp đó, giá trị chỉ số SAVI sẽ bằng với NDVI); trong khi các vùng thực vật có mật độ thấp, giá trị của L = 1. Chỉ số Savi được sử dụng trong trường hợp phân tích các khu vực mới trồng cây (cây non); đối với các khu vực khô cằn với thảm thực vật thưa thớt (ít hơn 15% tổng diện tích) và bề mặt đất trống. c. Chỉ số ARVI Công thức: ARVI = (NIR - (2 * Red) + Blue) / (NIR + (2 * Red) + Blue) So với các chỉ số khác, chỉ số ARVI rất hiệu quả trước các hiệu ứng địa hình, điều này khiến nó trở thành một công cụ giám sát chất lượng cho các vùng núi nhiệt đới thường bị ảnh hưởng do muội than đến từ hoạt động đốt nương rẫy. Chỉ số ARVI nên được sử dụng trong các trường hợp: Đối với các khu vực có hàm lượng aerosol trong khí quyển cao (ví dụ như mưa, sương mù, bụi, khói, ô nhiễm không khí) d. Chỉ số EVI Công thức: EVI = 2,5*((NIR - Red) / ((NIR) + (C1*Red) - (C2*Blue) + L)) Chỉ số EVI chứa hệ số C1 và C2 để điều chỉnh sự tán xạ aerosol có trong khí quyển và L để điều chỉnh cho nền đất và tán cây. Các kỹ thuật viên GIS tập sự có thể gặp khó khăn khi quyết định giá trị của bộ tham số cũng như làm sao để tính toán EVI từ nhiều loại dữ liệu vệ tinh khác nhau. Theo truyền thống, đối với cảm biến MODIS của NASA, C1 = 6, C2 = 7.5 và L = 1. Trong trường hợp bạn đang tự hỏi làm thế nào để tính toán EVI với Sentinel-2 hoặc Landsat-8, trước mắt hãy cứ áp dụng bộ tham số trên, hoặc đơn giản dùng ứng dụng LandViewer. Công cụ này sẽ giúp bạn tính toán và cho phép tải xuống kết quả. Để có C1, C2 và L chính xác cho từng loại ảnh cụ thể, bạn sẽ cần phải thực hiện các nghiên cứu chuyên sâu hơn. Chỉ số EVI được sử dụng khi: Các phân tích ở những khu vực có mật độ diệp lục cao (như rừng mưa nhiệt đới) và tốt nhất với vùng có ảnh hưởng tối thiểu của địa hình (không phải khu vực miền núi). e. Chỉ số GCI Công thức: GCI = (NIR) / (Green) – 1 Chỉ số GCI giúp phân tích tốt hơn về hàm lượng diệp lục với chỉ số thực vật GCI có thể đạt được bằng cách sử dụng các cảm biến vệ tinh có bước sóng rộng ở dải NIR và Green. HV: Phạm Quang Hiển 31 Sử dụng chỉ số GCI để theo dõi tác động của thời vụ, ức chế từ môi trường canh tác, thuốc trừ sâu đối với sức khỏe thực vật. f. Chỉ số NBR Công thức: NBR = (NIR - SWIR) / (NIR + SWIR) Trên thực tế, để đánh giá diện tích cháy và mức độ nghiêm trọng của đám cháy, việc sử dụng NBR cho phép chỉ ra những thay đổi rõ nét của cảnh quan do hỏa hoạn gây ra. Đó là sự khác biệt giữa NBR được tính từ ảnh của một khu vực trước và sau đám cháy. Ngoài ra, còn có chỉ số NBR Thermal 1 sử dụng dải Nhiệt để tăng cường để chỉ ra sự khác biệt chính xác hơn giữa vùng bị đốt cháy và những vùng khác. Chỉ số NBR được sử dụng phổ biến trong lĩnh vực nông nghiệp và lâm nghiệp nhằm phát hiện các đám cháy đang hoạt động, phân tích mức độ nghiêm trọng của vụ cháy và theo dõi sự tồn tại của thảm thực vật sau khi đốt. 3.3.2. Quy trình xử lý Qua quá trình nghiên cứu và tìm hiểu các kiến thức về ảnh vệ tinh và kỹ thuật học sâu, áp dụng vào bài toán giám sát lớp phủ thực vật cho tỉnh Cao Bằng, tác giả đề xuất quy trình xây dựng mạng nơ-ron tích chập theo kiến trúc Unet trích xuất đặc trưng ảnh vệ tinh như sau: Bước 1. Chọn vùng sẽ tải ảnh vệ tinh tại website https://geojson.io (gọi là input AOI), đầu ra là file định dạng Geojson. Hình 3. 15: Chọn vùng tải ảnh vệ tinh HV: Phạm Quang Hiển 32 Hình 3.16: Cấu trúc file Geojson của vùng chọn tải ảnh vệ tinh HV: Phạm Quang Hiển 33 Bước 2. Đăng ký tài khoản trên website https://www.sentinel-hub.com/ (website cho phép tải ảnh vệ tinh) Hình 3.17: đăng ký tài khoản trên Sentinel-hub để tải ảnh vệ tinh Bước 3. Cấu hình các thông số để tải dữ liệu ảnh vệ tinh phù hợp với bài toán nghiên cứu Hình 3.18: Cấu hình các thông số trên Sentinel-hub để tải dữ liệu ảnh vệ tinh HV: Phạm Quang Hiển 34 Hình 3.19: Cấu hình tính chỉ số NDVI Json file Hình 3.20: Json file cấu hình tính chỉ số NDVI trên Sentinel-hub Hình 3.21: Cấu hình các thông số phía Client để tải ảnh vệ tinh Bước 4. Chia nhỏ AOI thành các vùng nhỏ (gọi là Eopatch) có thể quản lý được, sau đó tiến hành xử lý từng Eopatch Bước 5. Xử lý đối với từng Eopatch: - Tải xuống các dải RGB từ các ảnh Sentinel-2 L2A bằng Sentinel-Hub HV: Phạm Quang Hiển 35 - Lấy dữ liệu thực địa (ground-truth) từ Geopedia - Tính toán các giá trị trung bình cho các dải RGB (Red-Green-Blue) trong khoảng thời gian - Lưu dữ liệu - Chia ảnh vệ tinh tải xuống thành các vùng con với kích thước 256x256 với dữ liệu thực địa tương ứng để đào tạo và xác thực mô hình (số lượng ảnh đầu vào phụ thuộc và diện tích của vùng chọn tải ảnh vệ tinh và kích thước của các vùng con được phân chia). Bước 6. Huấn luyện mô hình và xác nhận với U-net Hình 3.22: Quy trình xử lý ảnh vệ tinh với mô hình Unet và thư viện Eo-learn HV: Phạm Quang Hiển 36 Chương 4: THỰC NGHIỆM Để tiến hành thực nghiệm mô hình được xây dựng của bài toán, tác giả đã tiến hành các nội dung sau: - Xác định vùng thực nghiệm: Cao Bằng, Việt Nam (Nội dung 4.1 Vùng thực nghiệm). - Tiến hành tải dữ liệu ảnh vệ tinh (Bước 1 đến bước 3 nội dung 3.3.2 Quy trình xử lý) làm dữ liệu đầu vào cho hệ thống, lượng dữ liệu đầu vào (số lượng ảnh vệ tinh) được xác định bởi 2 yếu tố: Kích thước vùng chọn tải ảnh vệ tinh (Bước 1 nội dung 3.3.2 Quy trình xử lý) và kích thước khi chia nhỏ vùng lấy ảnh vệ tinh (bước 5 phần 3.3.2 Quy trình xử lý). - Xây dựng kiến trúc U-net để xử lý dữ liệu ảnh vệ tinh đầu vào tương ứng (Bước 6 nội dung 3.3.2 Quy trình xử lý). - Đưa ra một số kết quả: hiển thị dữ liệu của “Thực vật”, “Đất” và “Nước” sau khi xử lý trích xuất đặc trưng từ 13 kênh ảnh của ảnh vệ tinh Sentinel- 2 (Nội dung 4.2.1 Kết quả chạy thực nghiệm của đề tài). - Đưa ra ma trận độ chính xác của mô hình xây dựng trong luận văn (Nội dung 4.2.1 Kết quả chạy thực nghiệm của đề tài). - Đưa ra một số so sánh về ưu nhược điểm, kết quả (ma trận độ chính xác) của mô hình nghiên cứu trong luận văn so với xử lý trên phần mềm ENVI với cùng bộ dữ liệu đầu vào (Nội dung 4.2.2 So sánh kết quả thực nghiệm với phần mềm ENVI). 4.1. Vùng thực nghiệm Tỉnh Cao Bằng nằm ở phía đông bắc Việt Nam, có vị trí địa lý: - Phía bắc và đông bắc giáp với khu tự trị dân tộc Choang Quảng Tây (Trung Quốc) với đường biên giới dài 333,125 km - Phía tây giáp tỉnh Hà Giang - Phía tây nam giáp tỉnh Tuyên Quang - Phía nam giáp các tỉnh Bắc Kạn và Lạng Sơn. Tỉnh Cao Bằng có diện tích đất tự nhiên 6.690,72 km², là cao nguyên đá vôi xen lẫn núi đất, có độ cao trung bình trên 200 m, vùng sát biên có độ cao từ 600- 1.300 m so với mặt nước biển. Núi non trùng điệp. Rừng núi chiếm hơn 90% diện tích toàn tỉnh. Từ đó hình thành nên 3 vùng rõ rệt: Miền đông có nhiều núi đá, miền tây núi đất xen núi đá, miền tây nam phần lớn là núi đất có nhiều rừng rậm. Cao Bằng có diện tích tự nhiên 6.690,72 km², chiếm 2,12% diện tích cả nước. Phía Bắc và Đông Bắc giáp tỉnh Quảng Tây (Trung Quốc), có đường biên giới dài 311 km, phía Tây giáp tỉnh Hà Giang và Tuyên Quang, phía Nam giáp tỉnh Bắc Kạn, phía Đông Nam giáp tỉnh Lạng Sơn. Là tỉnh miền núi vùng cao biên giới, xa HV: Phạm Quang Hiển 37 các trung tâm kinh tế lớn của vùng Đông Bắc và cả nước nhưng Cao Bằng lại có ba cửa khẩu là Tà Lùng, Hùng Quốc và Sóc Hà. Đây là lợi thế quan trọng, tạo điều kiện cho tỉnh giao lưu kinh tế với bên ngoài, nhất là Trung Quốc [17]. Địa hình Cao Bằng chia cắt mạnh và phức tạp, hình thành 4 tiểu vùng kinh tế sinh thái: tiểu vùng núi đá vôi ở phía bắc và đông bắc chiếm 32%, tiểu vùng núi đất ở phía tây và tây nam chiếm 18% tiểu vùng núi đất thuộc thượng nguồn sông Hiến chiếm 38%, tiểu vùng bồn địa thị xã Cao Bằng và huyện Hoà An dọc sông Bằng chiếm 12% diện tích tự nhiên của tỉnh [17]. Hiện nay, toàn tỉnh có khoảng 140.942 ha đất có khả năng phát triển nông nghiệp, chiếm 21% diện tích tự nhiên. Phần lớn đất được sử dụng để phát triển cây hàng năm, chủ yếu là cây lương thực, cây ăn quả, cây công nghiệp còn ít. Hiệu quả sử dụng đất còn thấp, hệ số sử dụng đất mới đạt khoảng 1,3 lần. Đất có khả năng phát triển lâm nghiệp có khoảng 408.705 ha, chiếm 61,1% diện tích tự nhiên, trong đó rừng tự nhiên khoảng 248.148 ha, rừng trồng14.448 ha, còn lại là đất trống, đồi núi trọc. Với phương thức nông lâm kết hợp, căn cứ độ dốc và tầng đất mặt đối với diện tích đất trống đồi núi trọc có thể trồng cây công nghiệp, cây ăn quả, cây đặc sản và chăn nuôi gia súc kết hợp với trồng rừng theo mô hình trang trại. Các loại đất chuyên dùng, đất xây dựng khu công nghiệp, đất xây dựng đô thị và đất xây dựng khác còn nhiều. Tỉnh cần có kế hoạch quản lý, sử dụng các loại đất trên cho hiệu quả, tạo thêm nguồn lực quan trọng để phát triển. Hiện trên địa bàn tỉnh chủ yếu là rừng nghèo, rừng non mới tái sinh, rừng trồng và rừng vầu nên trữ lượng gỗ ít. Rừng tự nhiên còn một số gỗ quý như nghiến, sến, tô mộc, lát nhưng không còn nhiều, dưới tán rừng còn có một số loài đặc sản quý như sa nhân, bạch truật, ba kích, hà thủ ô và một số loài thú quý hiếm như: gấu, hươu, nai, và một số loài chimMấy năm gần đây, nhờ có chủ trương và chính sách xã hội hoá nghề rừng, giao đất giao rừng, thực hiện chương trình 327, chương trình 5 triệu ha rừng, PAM 5322 và trồng rừng quốc gia nên tài nguyên rừng đang dần được phục hồi, độ che phủ rừng đạt 40% năm 2000, 45% năm 2002, lập lại thế cân bằng sinh thái. Trữ lượng gỗ, lâm sản tăng lên sẽ có những đóng góp cho nền kinh tế tỉnh trong tương lai. Cao Bằng có nguồn tài nguyên khoáng sản đa dạng, đến cuối năm1999, trên địa bàn tỉnh đã đăng ký 250 mỏ và điểm quặng với 22 loại khoáng sản. Đáng kể nhất là quặng sắt trữ lượng hàng nghìn triệu tấn, có nhiều công dụng trong sản xuất vật liệu xây dựng. Số liệu điều tra địa chất hiện có đã cho phép Cao Bằng hoạch định quy hoạch phát triển khai thác và chế biến đối với các khoáng sản nêu trên. Đồng thời cần tiếp tục điều tra thăm dò chi tiết hơn đối với các khoáng sản còn tiềm năng như vàng, đôlômít, thạch anh, antimon, vofram HV: Phạm Quang Hiển 38 4.2. Kết quả thực nghiệm 4.2.1. Kết quả chạy thực nghiệm của đề tài Dưới đây là một số kết quả thực nghiệm của đề tài bao gồm “Ảnh vệ tinh” và “Kết quả dự đoán của mô hình” ( Thực vật, Nước, Đất), cũng như ma trận độ chính xác của mô hình đã được chuẩn hoá, với độ chính xác ~ 84.5%. Satellite Image Prediction Satellite Image Prediction HV: Phạm Quang Hiển 39 Satellite Image Prediction Satellite Image Prediction Hình 4.1: Ma trận độ chính xác của mô hình (Confusion matrix) HV: Phạm Quang Hiển 40 4.2.2. So sánh kết quả thực nghiệm với phần mềm Envi Bảng 4.1: Bảng so sánh các bước và kết quả xử lý ảnh vệ tinh giữa phần mềm envi và hệ thống sử dụng Unet và Eo-Learn STT Nội dung Phần mềm Envi Unet + Eo-Learn 1 Độ chính xác (so sánh với cùng dữ liệu đầu vào) Phụ thuộc vào kinh nghiệm của người xử lý, độ chính xác cao hơn ~ 87,1% Không phụ thuộc vào kinh nghiệm của người xử lý, độ chính xác thấp hơn ~ 84,5% 2 Tự động xử lý trích xuất đặc trưng ảnh vệ tinh Bán tự động Tự động 3 Cho phép cấu hình download tự động ảnh vệ tinh Có Có 4 Độ phức tạp của quy trình xử lý 8 bước xử lý (Đơn giản hơn) 13 bước xử lý (Phức tạp hơn) 5 Trường hợp sử dụng Chỉ xử lý 1 cảnh ảnh tại 1 thời điểm nên phù hợp với lượng dữ liệu đầu vào ít Xử lý được nhiều cảnh ảnh cùng 1 lúc nên phù hợp với lượng dữ liệu lớn 6 Bản quyền Mất phí Miễn phí Hình 4.2: Ma trận độ chính xác giữa hệ thống (trái, ~ 84,5%) và phần mềm ENVI (phải, ~ 87,1%) khi thử nghiệm với cùng bộ dữ liệu HV: Phạm Quang Hiển 41 Chương 5. KẾT LUẬN Thực vật đóng vai trò vô cùng quan trọng đối với cuộc sống của con người, ngoài việc cung cấp oxi, cân bằng môi trường thì thực vật còn là nguồn cung cấp thực phẩm cho con người gia súc. Chính vì vậy, lớp phủ thảm thực vật ảnh hưởng rất lớn đến môi trường và cuộc sống con người và động vật, từ sự biến đổi khí hậu đến sụt lở và xói mòn đất, đến sự cân bằng hệ sinh thái. Ngoài việc quá trình đô thị hoá ngày càng gia tăng, việc khai thác rừng không hợp lý, trái phép hoặc cháy rừng cũng là những yếu tố gây nên sự thay đổi của lớp phủ thực vật đang diễn ra hàng ngày. Chính vì vậy việc giám sát sự thay đổi của lớp phủ thực vật là nhiệm vụ vô cùng cấp thiết nhằm có những phương án xử lý, khắc phục đối với các tình huống xấu nhất. Với sự phát triển của khoa học kỹ thuật, việc sử dụng ảnh vệ tinh trong công tác giám sát lớp phủ thực vật đã giúp ích rất nhiều trong công tác quản lý, giúp nâng cao hiệu quả, đảm bảm tính chính xác và tiết kiệm thời gian. Trong quá trình nghiên cứu, nhận thấy việc xử lý trích xuất đặc trưng ảnh trên các phần mềm chuyên dụng như Envi mặc dù đang mang lại các kết quả tích cực nhưng vẫn còn nhiều nhược điểm như: chỉ xử lý được một cảnh ảnh tại một thời điểm, độ chính xác của kết quả phụ thuộc nhiều vào kinh nghiệm của người sử dụng phần mềm. Việc xử lý nhiều dữ liệu ảnh vệ tinh vẫn phải thực hiện bán thủ công, chưa tự động hoàn toàn, dẫn tới mất rất nhiều thời gian khi xử lý số lượng dữ liệu lớn. Chính vì lý do trên, tác giả đã đề xuất giải pháp ứng dụng trí tuệ nhân tạo trong việc trích xuất đặc trưng ảnh vệ tinh bằng cách sử dụng các kỹ thuật học sâu. Trong quá trình thực hiện luận văn, tôi đã tìm hiểu và trau dồi các kiến thức về xử lý ảnh viễn thám các kiến thức về học máy, các kiến trúc học sâu. Vận dụng những kiến thức trong quá trình học tập và nghiên cứu tại trường Đại học Công nghệ - Đại học quốc gia Hà Nội cũng như những kiến thức tìm hiểu được, tôi đã thực hiện luận văn với mục đích trích xuất đặc trưng ảnh vệ tinh sử dụng các kỹ thuật học sâu. Áp dụng với ảnh vệ tinh sentinel-2, nhằm giám sát lớp thực vật cho tỉnh Cao Bằng. Với nhiều tính năng vượt trội hơn như không bị ảnh hưởng bởi điều kiện thời tiết, điều kiện ngày đêm, độ phân giải không gian và thời gian. Ảnh vệ tinh Sentinel-2 đã đem lại kết quả phân lớp cao hơn so với ảnh LandSat 8. Do vậy dữ liệu Sentinel-2 được chọn sử dụng cho bài toán giám sát lớp phủ thực vật. Với công nghệ ngày càng phát triển hiện nay, tác giả đã tiến hành kết hợp các kỹ thuật học sâu và thư viện Eo-Learn để tiến hành xây dựng mô hình mạng nơron tích chập theo kiến trúc U-net để thực hiện việc tự động trích xuất đặc trưng trên ảnh vệ tinh. Với quy trình xử lý tự động, hệ thống hỗ trợ xử lý lượng lớn dữ liệu ảnh vệ tinh đầu vào, giảm thiếu sự tác động từ yếu tố con người, làm tăng hiệu quả trong quá trình xử lý. HV: Phạm Quang Hiển 42 Tuy nhiên, luận văn vẫn còn một số vấn đề còn tồn tại như: hệ thống xây dựng mới chỉ xử lý ảnh vệ tinh Sentinel-2, độ chính xác chưa thật sự cao hơn so với các phần mềm chuyên dụng về xử lý ảnh vệ tinh, thời gian huấn luyện mô hình và xử lý dữ liệu còn mất nhiều thời gian, chưa xây dựng giao diện hướng tới người dùng. Tác giả sẽ cố gắng khắc phục những nhược điểm của hệ thống hiện tại. Phát triển hệ thống xử lý với nhiều nguồn ảnh vệ tinh khác nhau như Landsat, Spot, Modis Khi các kỹ thuật về trí tuệ nhân tạo vẫn đang phát triển mạnh mẽ, hệ thống hứa hẹn sẽ cải thiện nhiều hơn về độ tin cậy của thuật toán. Kết hợp với sự phát triển về sức mạnh phần cứng, tốc độ xử lý bài toán sẽ được đẩy nhanh hơn, giúp cho năng suất làm việc ngày một nâng cao. Trong tương lai, sự thay đổi về môi trường cũng ảnh hưởng nhiều đến cấu trúc các lớp phủ bề mặt trái đất, đó cũng là một thách thức lớn đối với việc giám sát các lớp phủ mặt đất. Việc cải tiến và nâng cao thuật toán, xây dựng mô hình nhằm đem lại năng suất và độ tin cậy cao là nhu cầu tất yếu. Tác giả cũng mong muốn cải tiến, phát triển và phổ cập hệ thống hướng tới người dùng. Đi kèm đó, áp dụng vào giải quyết các bài toán tương tự cũng trong thực tế là một vấn đề đáng quan tâm. HV: Phạm Quang Hiển 43 TÀI LIỆU THAM KHẢO Tài liệu tiếng việt: 1. Quyết định 18/QD-TTg, 15.2.2007, Quyết định phê duyệt chiến lược phát triển lâm nghiệp Việt Nam giai đoạn 2006-2020 của Thủ tướng Chính phủ 2. Luận văn thạc sỹ: “Nghiên cứu về mạng Neural tích chập và ứng dụng cho bài toán nhận dạng biển số xe”, Lê Thị Thu Hằng, Đại học Công nghệ - Đại học Quốc gia Hà Nội 2016 3. Luận văn thạc sỹ: “Nghiên cứu và ứng dụng phương pháp học máy trong phân lớp lúa sử dụng ảnh viễn thám”, Phan Anh, Đại học Công nghệ - Đại học Quốc gia Hà Nội 2019 4. Bài giảng “Xử lý ảnh số và thị giác máy tính”, TS Lê Thành Sách, Đại học Bách khoa Hà nội Tài liệu tiếng anh: 5. “Feature Extraction from Satellite Images Using Deep Learning”, Keerthika T - Assistant Professo, Department of CSE, Sri Krishna College of Engineering and Technology,Coimbatore; Ashwini A, Amirta varsni R, Angela princy A, Dinesh kumar S - Department of CSE, Sri Krishna College of Engineering and Technology, Coimbatore 6. “Automatic Feature extraction from satellite images using LVQ Neural network”, Deepakrishna S - Institute of Surveying and Mapping, Diyatalawa, Sri Lanka; Ediriweera S - Faculty of Science and Technology, Uva Wellassa University, Badulla, Sri Lanka; Gunatilake A A J K - Department of Geology, Faculty of Science, University of Peradeniya, Peradeniya, Sri Lanka 7. U-Net: Convolutional Networks for BiomedicalImage Segmentation, Olaf Ronneberger, Philipp Fischer, and Thomas Brox, Computer Science Department and BIOSS Centre for Biological Signalling Studies,University of Freiburg, Germany 8. Tree Detection in Remote Sensing Imagery Baumerkennung in Fernerkundungs – Bildmateria, Master Thesis of Maximilian Ulrich Freudenberg prepared by Maximilian Ulrich Freudenberg born in Heidelberg, Germanyat the Third Institute of Physicsin the Department of Computational Neurosciencein cooperation with the Chair of Forest Inventory and Remote Sensingfrom the Burckhardt Institute, Faculty of Forest Sciences and Forest Ecology 9. SUHET, 2015, Sentinel-2_User_Handbook, ESA Standard Document, European Space Agency HV: Phạm Quang Hiển 44 10. Y.-L. Desnos, P. Potin, M. Foumelis, N. Miranda, B. Rosich-Tell M. Engdahl, 2015, Copernicus – Sentinel-1 11. “A Convolutional Neural Network for Modelling Sentences”, Nal Kalchbrenner, Edward Grefenstette, Phil Blunsom - Department of Computer Science University of Oxford 12. Alexey Novikov et al. “Fully Convolutional Architectures for Multi-Class Segmentation in Chest Radiographs”. In: IEEE Transactions on Medical Imaging 37 (Mar. 2018). DOI: 10.1109/TMI.2018.2806086 (cited on page 219). 13. Nitish Srivastava et al. “Dropout: A Simple Way to Prevent Neural Networks from Overfit-ting”. In: Journal of Machine Learning Research 15 (June 2014), pages 1929–1958 (cited on page 183). Trang web: 14. sau/item/921-tong-quan-ve-quan-ly-va-bao-ve-tai-nguyen-rung 15. https://eo-learn.readthedocs.io/en/latest/eotasks.html 16. https://nhdp.net/blog/2018/11/tong-quan-don-gian-ve-mang-no-ron-tich- chap-convolutional-neural-networks/ 17. nguyen-va-moi-truong-Cao-Bang/ 18. phan-mem-envi.aspx 19. https://cs231n.github.io/convolutional-networks/ 20. https://stanford.edu/~shervine/l/vi/teaching/cs-230/cheatsheet- convolutional-neural-networks - hyperparameters HV: Phạm Quang Hiển 45 PHỤ LỤC Các tác vụ của thư viện Eo-Learn Bảng 2.3: EO tasks Core AddFeature Thêm một tính năng vào EOPatch nhất định. CopyTask Tạo một bản sao của EOPatch đã cho CreateEOPatchTask Tạo mới một EOPatch DeepCopyTask Tạo bản sao sâu của EOPatch đã cho DuplicateReature Nhân đôi một hoặc nhiều tính năng trong một EOPatch ExtractBandsTask Di chuyển một tập hợp con các kênh từ tính năng này sang tính năng mới IOTask Một tác vụ đầu vào / đầu ra trừu tượng có thể xử lý một đường dẫn và một đối tượng hệ thống tệp InitializeFeature Khởi tạo các giá trị của một đối tượng địa lý LoadFromDisk Tải dữ liệu từ ổ cứng LoadTask Tải EOPatch từ hệ thống tệp MapFeatureTask Áp dụng một hàm cho từng tính năng trong đặc trưng đầu vào của một EOPatch và lưu trữ kết quả trong một tập thuộc tính đầu ra. MergeFeatureTask Hợp nhất nhiều đối tượng địa lý với nhau bằng cách nối dữ liệu của chúng MoveFeature Tác vụ sao chép / sao chép sâu từ một eopatch này sang eopatch khác. RemoveFeature Xóa một hoặc nhiều tính năng khỏi EOPatch nhất định RenameFeature Đổi tên một hoặc nhiều tính năng từ EOPatch đã cho SaveTask Lưu EOPatch đã cho vào hệ thống tệp SaveToDisk Lưu dữ liệu vào ổ cứng ZipFeatureTask Truyền một tập hợp đặc trưng đầu vào cho một hàm, kết quả là hàm này trả về một tính năng đơn lẻ và lưu trữ nó trong eopatch CompositeTask Tạo một tác vụ bao gồm 2 tác vụ kép Bảng 2.4: EO tasks Coregistration ECCRegistration Nhiệm vụ đăng ký triển khai phương pháp dựa trên cường độ từ OpenCV PointBasedRegistration Lớp đăng ký triển khai đăng ký dựa trên điểm từ gói đóng góp của OpenCV HV: Phạm Quang Hiển 46 RegistrationTask Lớp trừu tượng cho đồng đăng ký hình ảnh đa thời gian ThunderRegistration Tác vụ đăng ký thực hiện đăng ký dịch bằng gói thunder-registration Bảng 2.5: EO tasks Features EuclideanNormTask Nhiệm vụ tính toán Định mức Euclide NormalizedDifferenceIndexTask Nhiệm vụ tính toán Chỉ số Chênh lệch Chuẩn hóa (NDI) giữa hai dải A và B BlobTask Nhiệm vụ tính toán các đốm màu DoGBlobTask Nhiệm vụ tính toán các đốm màu với phương pháp Difference of Gaussian (DoG) LoGBlobTask Nhiệm vụ tính toán các đốm màu với phương pháp Laplacian of Gaussian (LoG) ClusteringTask Task tính toán các cụm trên các tính năng đã chọn bằng cách sử dụng sklearn.cluster.Agglome