Ng d ng m ng neuron nh n t o trong vi c d b o d li u chu i th i gian c t nh xu h ng v t nh m a
This presentation is the property of its rightful owner.
Sponsored Links
1 / 51

GVHD: PGS.TS Dương Tuấn Anh SVTH 1: Đoàn Ngọc Bảo 50800107 SVTH 2: Ngô Duy Khánh Vy 50802706 PowerPoint PPT Presentation


  • 130 Views
  • Uploaded on
  • Presentation posted in: General

ỨNG DỤNG MẠNG NEURON NHÂN TẠO TRONG VIỆC DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH XU HƯỚNG VÀ TÍNH MÙA. GVHD: PGS.TS Dương Tuấn Anh SVTH 1: Đoàn Ngọc Bảo 50800107 SVTH 2: Ngô Duy Khánh Vy 50802706. Luận văn tốt nghiệp. Nội dung. Đặt vấn đề Giới thiệu chuỗi thời gian

Download Presentation

GVHD: PGS.TS Dương Tuấn Anh SVTH 1: Đoàn Ngọc Bảo 50800107 SVTH 2: Ngô Duy Khánh Vy 50802706

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Ng d ng m ng neuron nh n t o trong vi c d b o d li u chu i th i gian c t nh xu h ng v t nh m a

ỨNG DỤNG MẠNG NEURON NHÂN TẠO TRONG VIỆC DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH XU HƯỚNG VÀ TÍNH MÙA

GVHD: PGS.TS DươngTuấnAnh

SVTH 1:ĐoànNgọcBảo50800107

SVTH 2:NgôDuyKhánhVy50802706

Luậnvăntốtnghiệp

12/2012


N i dung

Nội dung

  • Đặtvấnđề

  • Giớithiệuchuỗithờigian

  • Giớithiệumạng neuron nhântạo

  • Giảithuậtlantruyềnngược

  • Giảithuật RPROP

  • Ápdụngmạng neuron vàodựbáodữliệuchuỗithờigian

  • Môhìnhlai

  • Môhìnhkhửmùa, khửxuhướng

  • Thựcnghiệm

  • Kếtluận

  • Q&A

12/2012


T v n

Đặtvấnđề

Mạng neuron nhântạolàmộtphươngphápmạnhđượcápdụngnhiềuvàobàitoándựbáochuỗithờigian.

Nhiềukếtquảnghiêncứuthấyrằngmạng neuron nhântạokhôngcókhảnăngdựbáotốtchocácchuỗithờigiancótínhxuhướngvàtínhmùa

Trongluậnvănnày, chúngtôicảitiếnmạng neuron nhântạođểcóthểdựbáotốthơn.

12/2012


Gi i thi u chu i th i gian

Giớithiệuchuỗithờigian

Chuỗithờigian: dữliệuđượcthunhập, lưutrữvàquansáttheothờigian

Ta kýkiệuchuỗithờigianlà{Xt}vớitlàcácsốtựnhiên. Xtlàcácbiếnngẫunhiên (random variable) rútratừmộtphânbốxácsuất(probability distribution) nàođó. Cácchuỗithờigianthườngđượcbiểudiễnbằngmộtđồthịvớitrụchoànhlàbiếnthờigian

12/2012


Gi i thi u chu i th i gian1

Giớithiệuchuỗithờigian

Lượngkháchhàngđặtchỗhàngthángcủahãnghàngkhông Pan Am từnăm 1946 đếnnăm 1960

12/2012


Gi i thi u m ng neuron nh n t o

Giớithiệumạng Neuron nhântạo

Mạng neuron nhântạo (Artificial Neural Network) làmộtmôhìnhtoánhọcđịnhnghĩamộthàmsốtừmộttậpđầuvàođếnmộttậpđầura

Mạng neuron nhântạolàmộtmạnggồmmộttậpcácđơnvị (unit) đượckếtnốivớinhaubằngcáccạnhcótrọngsố. Mộtđơnvịthựchiệnmộtcôngviệcrấtđơngiản: nónhậntínhiệuvàotừcácđơnvịphíatrước hay mộtnguồnbênngoàivàsửdụngchúngđểtínhtínhiệura

12/2012


Gi i thi u m ng neuron nh n t o1

Giớithiệumạng Neuron nhântạo

  • Trongmộtmạng neuron cóbakiểuđơnvị:

  • Cácđơnvịđầuvào, nhậntínhiệutừbênngoài.

  • Cácđơnvịđầura, gửidữliệurabênngoài.

  • Cácđơnvịẩn, tínhiệuvàocủanóđượctruyềntừcácđơnvịtrướcnóvàtínhiệurađượctruyềnđếncácđơnvịsaunótrongmạng.

12/2012


Gi i thi u m ng neuron nh n t o2

Giớithiệumạng Neuron nhântạo

Hình 2.1: Đơnvịmạng neuron

12/2012


Gi i thi u m ng neuron nh n t o3

Giớithiệumạng Neuron nhântạo

Mạng neuron truyềnthẳng

Mạng neuron hồiquy

12/2012


Gi i thi u m ng neuron nh n t o4

Giớithiệumạng Neuron nhântạo

Tiếntrìnhđiềuchỉnhcáctrọngsốđểmạng “nhậnbiết” đượcquanhệgiữađầuvàovàđầuramongmuốnđượcgọilàhọc (learning) hay huấnluyện (training)

12/2012


Gi i thu t lan truy n ng c

Giảithuậtlantruyềnngược

Giảithuậtlantruyềnngượctìmtậpcáctrọngsốthíchhợpchomộtmạng neuron truyềnthẳngnhiềulớpbằngphươngphápgiảmđộdốc

Hàmlỗicủagiảithuậtlantruyềnngượcđượcđịnhnghĩatổngquátnhưsau

12/2012


Gi i thu t lan truy n ng c1

Giảithuậtlantruyềnngược

Ý tưởngchínhcủagiảithuậtlàgiátrịlỗisẽđượclantruyềnngượctừtầngxuấtvềtầngnhập. Vớimỗimẫutrongtậphuấnluyện, mạng neuron đượcápdụngđểtínhđầurasauđógiátrịđộdốccủahàmlỗiđượctínhchotừngđơnvịcủamạng. Cuốicùnggiảithuậtápdụngphươngphápgiảmđộdốcđểcậpnhậpcácgiátrịtrọngsố

12/2012


Gi i thu t rprop

Giảithuật RPROP

Với

Thựchiệncậpnhậpcáctrọngsốwijdựavàothông tin vềdấucủacácđạohàmriêngphần

12/2012


Gi i thu t rprop1

Giảithuật RPROP

Cácgiátrịcậpnhậptrọngsốtínhnhưsau

12/2012


P d ng m ng neuron v o d b o d li u chu i th i gian

Ápdụngmạng neuron vàodựbáodữliệuchuỗithờigian

12/2012


P d ng m ng neuron v o d b o d li u chu i th i gian1

Ápdụngmạng neuron vàodựbáodữliệuchuỗithờigian

Quátrìnhxâydựngmạng neuron chobàitoándựbáochuỗithờigiangồm 8 bước:

  • Lựachọncácbiến

  • Thu thậpdữliệu

  • Tiềnxửlýdữliệu

  • Phân chia tậpdữliệu

  • Xâydựngcấutrúcmạng

  • Xácđịnhtiêuchuẩnđánhgiá

  • Huấnluyệnmạng

  • Dựđoánvàcảitiến

12/2012


P d ng m ng neuron v o d b o d li u chu i th i gian2

Ápdụngmạng neuron vàodựbáodữliệuchuỗithờigian

12/2012

Mạng neuron tuycókhảnăngxấpxỉtốtcáchàm phi tuyếnnhưngkhôngthểmôhìnhtốtcácchuỗithờigiancótínhxuhướngvàtínhmùa


M h nh lai hybrid model

Môhìnhlai (Hybrid Model)

12/2012


M h nh lai hybrid model1

Môhìnhlai (Hybrid Model)

  • Gồmbamôđun:

  • Môđunmạng Neuron nhântạo

  • Môđunlàmtrơnlũythừa

  • Mođunlai

12/2012


M un l m tr n l y th a exponential smoothing

Môđunlàmtrơnlũythừa(Exponential Smoothing)

Môhìnhnhân

12/2012


M un l m tr n l y th a exponential smoothing1

Môđunlàmtrơnlũythừa(Exponential Smoothing)

Môhìnhcộng

12/2012


M un l m tr n l y th a exponential smoothing2

Môđunlàmtrơnlũythừa(Exponential Smoothing)

  • Ướclượngbahệsốα, β, γ

  • Vétcạn (Brute Force)

  • Sửdụnggiảithuậtleođồi (Hill Climbing)

    • Leo đồidốcnhất (Steepest Ascent Hill Climbing)

    • Tôiluyệnmôphỏng (Simulated Annealing)

  • Sửdụngkếthợphaiphươngpháptrên

  • Sửdụngphầnmềm R (thông qua phầnmềmRAndFriend)

12/2012


M un m ng neuron nh n t o neuron network

Môđunmạng Neuron nhântạo(Neuron Network)

  • Cấutrúcmạng:

    • Mạng Neuron truyềnthẳng

    • Số node nhậpbằngsố node ẩnvàbằngchukìcủachuỗidữliệu

  • Giảithuậthuấnluyện:

    • Giảithuậtlantruyềnngược (Back Propagation)

    • Giảithuật RPROP (Resilient Propagation)

12/2012


M un lai hybrid module

Môđunlai (Hybrid Module)

  • Giátrịđầuvàocủamôđunlailàgiátrịđầuracủahaimôđun: làmtrơnlũythừavàmạng neuron nhântạo.

  • Giátrịđầurađượctínhtheocôngthức

    • Trongđó: đượcgọilàtrọngsốlai

  • Ướclượnggiátrịcủatrọngsốlaibằngcáchtốithiểuhóagiátrịbìnhphươngsaisốlỗi:

    • MSE =

12/2012


M h nh kh xu h ng kh m a

Môhìnhkhửxuhướng, khửmùa

12/2012


M h nh kh xu h ng kh m a1

Môhìnhkhửxuhướng, khửmùa

  • Gồmhaimôđun:

  • Môđunmạng Neuron nhântạo (hiệnthựcnhưmôhìnhlai)

  • Môđunkhửmùavàkhửxuhướng

12/2012


M un kh m a v kh xu h ng

Môđunkhửmùavàkhửxuhướng

  • Hiệnthựccáckĩthuậtsau:

  • Khửxuhướng

    • Kỹthuậtkhửxuhướngtuyếntính: ta xấpxỉchuỗithờigianbằngmộtđườnngthẳnghồiquyat + bvớitlàbiếnthờigian. Ứngvớimỗit, lấyYttrừđiat+b

    • Kỹthuậtkhửxuhướngbằnglấyhiệu: Vớichuỗithờigian{Yt}cótínhxuhướng, đặtXt = Yt+1 – Ytthìchuỗithờigian{Xt}sinhralàmộtchuỗikhôngcótínhxuhướng.

12/2012


M un kh m a v kh xu h ng1

Môđunkhửmùavàkhửxuhướng

  • Hiệnthựccáckĩthuậtsau:

  • Khửmùa

    • Kỹthuậtkhửmùabằnglấyhiệutheomùa:Kỹthuậtnàythựchiệnviệcbiếnđổichuỗithờigian{Yt}thànhchuỗi{Xt}nhưsauXt= Yt+s- Yt, vớislàđộlớnmộtchukỳcủachuỗithờigian

12/2012


M un kh m a v kh xu h ng2

Môđunkhửmùavàkhửxuhướng

  • Hiệnthựccáckĩthuậtsau:

  • Khửmùa

    • Kỹthuậtkhửmùabằng RTMA(ratio to moving average): Ta sẽướclượngchỉsốmùa(seasonal index) củacácthờiđoạntrongmộtchukỳcủachuỗithờigianrồilấygiátrịcủamỗithờiđoạn chia chochỉsốmùatươngứngcủanó

12/2012


Th c nghi m

Thựcnghiệm

Chươngtrìnhđượchiệnthựcbằngngônngữlậptrình C# trongmôitrường .NET Framework 4.0 vàđượcthựcnghiệmtrênmáycóbộ vi xửlý Core 2 Duo, RAM 3GB.

Sửdụngcácbộdữliệu: chuỗihànhkháchhàngthángcủahãnghàngkhôngPanAm (AirPassengers), mậtđộkhíCacbonic ở Hawaii (Co2), sốngườichếthàngthángvìbệnhphổi ở Anh (Death), doanhsốbánhàng ở mộtcửahànglưuniệm ở Úc (Fancy), lượngtiêuthụkhíđốthángquýtạiAnh (Gas).

12/2012


T h c nghi m

Thựcnghiệm

  • Cáchthứcthựcnghiệm: chạycácmôhìnhvớisựthayđổicácthôngsốcấuhình.

    • Mạng Neuron nhântạo:

      • Haigiảithuật RPROP – BP

      • Sốlượngtốiđaepoches (1000-1500)

    • Kỹthuậtlàmtrơnlũythừa

      • Ướclượng: sửdụng R, phươngphápkếthợpvétcạnvàtôiluyệnmôphỏng

      • Môhình: môhìnhcộngvàmôhìnhnhân

12/2012


T h c nghi m1

Thựcnghiệm

  • Cáchthứcthựcnghiệm: chạycácmôhìnhvớisựthayđổicácthôngsốcấuhình.

    • Kỹthuậtkhửxuhướng, khửmùa

      • Khửxuhướng: tuyếntínhvàlấyhiệu

      • Khửmùa: lấyhiệuvà RTMA

12/2012


T h c nghi m2

Thựcnghiệm

  • Sốlầnchạy: mỗicấuhìnhchạybalầnvàlấykếtquảtrungbình, cấuhìnhchokếtquảdựđoántốtnhấtsẽxemlàkếtquảcủamôhìnhđể so sánhvớicácmôhìnhkhác

  • Dữliệuđểđánhgiáđộchínhxácdựbáo: chukỳcuốicủachuỗithờigian.

  • Thôngsốđánhgiá: MAPE, MSE, MAE

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

AirPassengers

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

KếtquảdựbáochuỗiAirPassengers

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Co2

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Kếtquảdựbáochuỗi Co2

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Death

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Kếtquảdựbáochochuỗi Death

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Fancy

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Kếtquảdựbáochochuỗi Fancy

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Gas

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Kếtquảdựbáochochuỗi Gas

12/2012


K t lu n

Kếtluận

Trongquátrìnhthựchiệnđềtài, chúngtôiđãlàmđượcnhữngcôngviệcsau:

  • Tìmhiểuviệcápdụngmạng neuron đểdựbáođốivớidữliệuchuỗithờigian.

  • Tìmhiểucácphươngphápkhửmùavàkhửxuhướngđốivớidữliệuchỗithờigiannhư: khửxuhướngbằngphươngpháplấyhiệu, khửxuhướngbằngphươngpháptuyếntính, lấyhiệutheomùa, khửmùabằngphươngpháp RTMA.

12/2012


K t lu n1

Kếtluận

  • Tìmhiểucáckĩthuậtlàmtrơnlũythừanhư: làmtrơnlũythừagiảnđơn, làmtrơnlũythừa Holt, làmtrơnlũythừa Winters. Ngoàira, tiếnhànhnghiêncứuvàtìmraphươngphápướclượngcáchệsốtrongkĩthuậtlàmtrơnlũythừa Winters bằngviệckếthợpvétcạnvàphươngpháptôiluyệnmôphỏng.

  • Tìmhiểuphươngthứcgọihàm R bằng R(D)COM trongchươngtrình C#.NET

12/2012


K t lu n2

Kếtluận

  • Nghiêncứuviệckếthợphaikĩthuật: khửmùa, khửxuhướngvàlàmtrơnlũythừavớimạng neuron nhằmnângcaochấtlượngdựbáođốivớidữliệuchuỗithờigiancótínhmùavàxuhướng.

  • Tiếnhànhhiệnthựchaimôhìnhdựbáotừcácnghiêncứutrên.

12/2012


K t lu n3

Kếtluận

  • Tiếnhànhchạythựcnghiệmvớinămbộdữliệuthựctếvàđánhgiá, kiểmchứngtínhđúngđắncủacơsởlýthuyếtcũngnhưquátrìnhhiệnthực. Kếtquảhaimôhìnhđềxuấtchokếtquảdựbáotốthơnmạng neuron nhântạochochuỗithờigiancótínhmùavàxuhướng

12/2012


H ng ph t tri n

Hướngpháttriển

Đốivớimôhìnhlai, thaythếphươngthứckhởitạocácthôngsốđốivớimôhìnhlàmtrơnlũythừađangdùngbằngcácphươngpháptiêntiếnhơnnhưphươngphápdựatrênhồiquy(regression-based procedure) hay phươngphápdựatrênphângiải(decomposition-based) đểcóthểđưaradựbáochínhxáchơn.

12/2012


H ng ph t tri n1

Hướngpháttriển

Đốivớimôhìnhkhửmùa, khửxuhướngkếthợpmạng neuron, cảitiếnphươngphápkhửxuhướngtuyếntínhđểcóthểápdụngtốtchocácchuỗithờigiancóxuhướngmanghìnhdạngđường cong. Ápdụngcáckỹthuậtkhửmùatiêntiếngầnđâynhưkỹthuật X-12-ARIMA vàochươngtrình

12/2012


T i li u tham kh o

Tàiliệuthamkhảo

G. Zhang, M. Qi.Trend Time-Series Modeling And Forecasting With Neural Networks. IEEE Transactions on Neural Network, vol. 19, no. 5, pages 808-816, 2008.

G. Zhang, D. M. Kline. Quaterly Time-Series Forecasting With Neural Networks. IEEE Transactions on Neural Network, vol. 18, no. 6, pages 1800-1814, 2007.

K. Lai, L. Yu, S. Wang, W. Huang. Hybridizing Exponential Smoothing And Neural Network For Financial Time Series Predication. ICCS’06 Proceedings of the 6th international conference on Computional Science, vol. 4, pages 493-500, 2006.

G. Zhang, M. Qi. Neural Network Forecasting For Seasonal And Trend Time Series. European Journal of Operational Research vol. 160, pages 501-514, 2005.

J. E. Hanke, D. W. Wichenrn. Business Forcasting, Pearson Prentice Hall, ISBN 0-13-141290-6, 2005.

TrầnĐức Minh. LuậnvănthạcsĩMạng Neural TruyềnThẳngVàỨngDụngTrongDựBáoDữLiệu. ĐạihọcquốcgiaHàNội, 2002

F. Virili, B. Freisleben. Preprocessing Seasonal Time Series For Improving Neural Network Predictions. Proceesings of CIMA 99 Computational Intelligence Methods and Applications, Rochester-NY, pages 622-628, 1999.

G. Zhang, M. Y. Hu. Neural Network Forecasting Of The British Pound/US Dollar Exchange Rate. Omega, International Journal of Management Science, 26, pages 495-506, 1998.

T. M. Mitchell. Machine Learning, McGraw-Hill Science/ Engineering/ Math, ISBN 0070428077, 1997.

I. Kaastra, M. Boyd. Designing A Neural Network For Forecasting Financial And Economic Time Series.Neurocomputing, vol. 10, pages 215-236, 1996.

M. Riedmiller. Advanced Supervised Learning In Multi-layer Perceptrons – From Backpropagation To Adaptive Learning Algorithms. Int. Journal of Computer Standards and Interfaces, 1994.

12/2012


Gvhd pgs ts d ng tu n anh svth 1 o n ng c b o 50800107 svth 2 ng duy kh nh vy 50802706

Q & A

Thank you!

12/2012


  • Login