1 / 20

Mạng nơron truyền thẳng và ứng dụng trong dự báo dữ liệu

Mạng nơron truyền thẳng và ứng dụng trong dự báo dữ liệu. LUẬN VĂN THẠC SĨ KHOA HỌC. Giáo viên hướng dẫn TS. Lê Hải Khôi Người thực hiện Trần Đức Minh. Nội dung. 1. Giới thiệu. 2. Các khái niệm cơ bản về mạng nơron. 3. Mạng nơron truyền thẳng.

zorana
Download Presentation

Mạng nơron truyền thẳng và ứng dụng trong dự báo dữ liệu

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Mạng nơron truyền thẳng và ứng dụng trong dự báo dữ liệu LUẬN VĂN THẠC SĨ KHOA HỌC Giáo viên hướng dẫn TS. Lê Hải Khôi Người thực hiện Trần Đức Minh

  2. Nội dung 1. Giới thiệu. 2. Các khái niệm cơ bản về mạng nơron. 3. Mạng nơron truyền thẳng. 4. Thu thập, Phân tích và xử lý dữ liệu. 5. Chương trình dự báo dữ liệu. 6. Kết luận

  3. 1. Giới thiệu • Mạng nơron nhân tạo xuất phát từ việc mô phỏng hoạt động của bộ não con người. • Mạng nơron là các mô hình tính toán chứa các đơn vị xử lý có khả năng truyền thông với nhau bằng cách gửi các tín hiệu đến lẫn nhau thông qua các liên kết có trọng số. • Có khả năng thích nghi, nghĩa là “học từ các mẫu” thay vì “lập trình”. • Các ứng dụng của mạng nơron: • Phân loại: tín hiệu radar; xem xét các mẫu bệnh,… • Giảm nhiễu: tiếng nói, ảnh tĩnh bị nhiễu,… • Dự đoán/Dự báo : lượng sử dụng, thị trường, dự đoán lượng bán,…

  4. θ x w j 0 j0 j w a z x j1 j j Σ g( a ) 1 j w ... jn x n = å z g ( a ) n = + q a w x j j j ji i j = i 1 2. Các khái niệm cơ bản về mạng nơron: Mạng nơron có các đặc trưng sau: • Tập các đơn vị xử lý. • Một mức kích hoạt cho mỗi đơn vị. • Các liên kết giữa các đơn vị. • Luật lan truyền. • Các hàm chuyển. • Các đầu vào ngoài dữ liệu (độ lệch - bias). • Phương pháp thu thập thông tin - Luật học. • Môi trường trong đó hệ thống có thể hoạt động.

  5. 3. Mạng nơron truyền thẳng 3.1. Cấu trúc cơ bản • Bao gồm một số lớp (1 lớp vào, 1 hay nhiều lớp ẩn và 1 lớp ra). • Mỗi lớp có một số các đơn vị. • Mỗi đơn vị nhận đầu vào từ các đơn vị ở lớp trước đó và gửi các tín hiệu này đến các đơn vị ở lớp kế tiếp. • Đầu ra được biểu diễn bởi một hàm tường minh của các trọng số và độ lệch. Đơn vị ẩn: Đơn vị đầu ra:

  6. 3.2. Khả năng thể hiện • Các mạng không có các lớp ẩn chỉ có khả năng giải quyết các bài toán khả phân tuyến tính. • Các mạng nơron với một lớp ẩn có thể xấp xỉ khá tốt bất kỳ một ánh xạ hàm nào từ không gian hữu hạn một chiều sang một không gian khác. • Các mạng nơron với 2 lớp ẩn có khả năng thể hiện một đường phân chia hay xấp xỉ một ánh xạ mịn bất kỳ tới một độ chính xác bất kỳ.

  7. Bước 1: Lan truyền xuôi đầu vào qua mạng: a0 = p am+1 = fm+1 (Wm+1 am + bm+1), với m = 0, 1, ..., M – 1. a = aM Bước 2: Lan truyền độ nhậy cảm (lỗi) ngược lại qua mạng: , trong đó , với m = M – 1, ..., 2, 1. Bước 3: Cuối cùng, các trọng số và độ lệch được cập nhật bởi công thức sau: 3.3. Huấn luyện bằng thuật toán lan truyền ngược: • Đây là phương pháp thông dụng nhất để huấn luyện cho các mạng nơron truyền thẳng nhiều lớp. • Có thể áp dụng cho các mạng truyền thẳng với các hàm chuyển và các hàm lỗi khả vi. ∆Wm(k) = ∆Wm(k - 1) – (1 - ) sm (am– 1) T, ∆bm(k) = ∆bm(k - 1) - (1 - ) sm. Sử dụng bước đà:

  8. Phân tích sơ bộ dữ liệu (Thống kê và Trực quan hóa) Kiểm tra tính hợp lệ của dữ liệu Phân hoạch dữ liệu (Huấn luyện/Kiểm tra/Kiểm định) • Biến đổi • Điều chỉnh giá trị về khoảng (0,1) hoặc (-1,1) • Áp dụng một hàm toán học cho các giá trị (chẳng hạn hàm logarit hay bình phương) • Mã hóa các biến số / Trích chọn đặc trưng. Mạng nơron Phân loại Dự báo, … Tùy thuộc vào ứng dụng và quá trình tiền xử lý. Thu thập, phân tích dữ liệu Tiền xử lýdữ liệu Hậu xử lýdữ liệu 4. Thu thập, Phân tích và Xử lý dữ liệu Xác định yêu cầu về dữ liệu • - Dữ liệu nào có liên quan trực tiếp đến bài toán. • - Dữ liệu nào có thể không liên quan.

  9. 5. Chương trình Dự báo dữ liệu Bài toán dự báo lượng sử dụng khí ga

  10. 5.1. Mục tiêu • Dự đoán lượng sử dụng hàng giờ trong 1 đến 5 ngày cho các công ty cung cấp ga để: • Đáp ứng được nhu cầu trong tương lai • Tối thiểu chi phí điều hành • Lập kế hoạch dự trữ. 5.2. Các nhân tố ảnh hưởng • Các điều kiện thời tiết: nhiệt độ, tốc độ gió, ... • Thời gian: giờ, ngày trong tuần, tháng, ngày cuối tuần. • Thông tin kinh tế: giá ga, giá dầu, …

  11. 5.3. Mô hình dự báo 1) Dữ liệu thô 2) Dữ liệu sau xử lý sơ bộ 6 hiệu ứng • Nhiệt độ • Tốc độ gió • Giờ trong ngày • Ngày trong tuần • Cuối tuần • Tháng trong năm

  12. bias bias Nhiệt độ Gió LượngSử dụng Giờ Ngày tuần … Cuối tuần Tháng Lớp vào Lớp ẩn Lớp ra 5.3. Mô hình dự báo (tiếp) 3) Cấu trúc mạng Hàm chuyển của các đơn vị ẩn sử dụng hàm sigmoid Hàm chuyển cho lớp ra là hàm đồng nhất g(x) = x

  13. 5.4. Các đặc trưng của hệ thống • Tìm ra số tối ưu các đơn vị trong lớp ẩn • Đánh giá ảnh hưởng của hệ số học và hệ số bước đà • Đánh giá được khả năng tổng quát hóa của mạng trong khi huấn luyện • Dự báo dữ liệu tương lai

  14. 5.4. Các đặc trưng của hệ thống (tiếp) 1) Xác định các tham số cho hệ thống

  15. 5.4. Các đặc trưng của hệ thống (tiếp) 3) Huấn luyện mạng và kiểm tra khả năng tổng quát hóa

  16. 5.4. Các đặc trưng của hệ thống (tiếp) 4) Dự báo tương lai

  17. 5.5. Phân tích kết quả • Mạng được huấn luyện tốt có khả năng dự báo chính xác đến 90%. • Hệ số học và hệ số bước đà có ảnh hưởng rất nhiều đến thời gian huấn luyện của mạng. • Đối với đơn vị lớp ra, hàm chuyển sử dụng là sigmoid hay hàm đồng nhất không có khác biệt đáng kể. • Tùy thuộc vào độ phức tạp của bài toán, chương trình có thời gian huấn luyện, số đơn vị sử dụng trong lớp ẩn khác nhau. Để chọn lựa được cấu trúc tối ưu, có thể áp dụng phương pháp Thử-sai (Trial-and-errors). • …

  18. 5.6. Các bước thực hiện • Dưới đây là các bước chính khi thực hiện thiết kế và thực thi mạng nơron cho bài toán dự báo: • 1. Chọn lựa các biến. • 2. Thu thập dữ liệu. • 3. Tiền xử lý dữ liệu. • 4. Phân chia tập dữ liệu thành các tập: huấn luyện, kiểm tra, kiểm định. • 5. Xác định cấu trúc mạng: • · số lớp ẩn. • · số nơron trong các lớp ẩn. • · số nơron đầu ra. • · các hàm chuyển. • 6. Xác định tiêu chuẩn đánh giá (hàm lỗi). • 7. Huấn luyện mạng. • 8. Thực thi trong thực tế. • Trong khi thực hiện, không nhất thiết phải theo thứ tự các bước mà có thể quay lại các bước trước đó, đặc biệt là ở bước Huấn luyện và Lựa chọn các biến tham gia đầu vào.

  19. 6. Kết luận 1) Mạng nơron là các bộ xấp xỉ đa năng. Chúng có lợi điểm so với các cách tiếp cận truyền thống: không yêu cầu dữ liệu phải đầy đủ. 2) Chương trình Dự báo được xây dựng và áp dụng thử nghiệm cho dữ liệu lượng sử dụng khí ga (lấy trên Internet) có khả năng dự báo rất tốt. 3) Các mô hình tương tự có thể xây dựng cho các bài toán dự báo khác như: điện, nước, dự đoán thị trường, chứng khoán, lưu lượng giao thông, lượng bán của các sản phẩm,… chừng nào những mối liên hệ giữa các đầu vào và đầu ra được xác định bằng thực tế và lý thuyết. 4) Các thuật toán cải tiến có thể áp dụng để tăng cường hiệu năng của mạng.

  20. XIN CẢM ƠN!

More Related