1 / 61

Maximum Likelihood Estimator in Signal Processing

Explore the concept of likelihood function and maximum likelihood estimator for signal processing applications. Understand the importance of choosing the correct estimator for signal characteristics.

lerick
Download Presentation

Maximum Likelihood Estimator in Signal Processing

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 9Maximum Likelihood EstimatorI Asst. Prof. Dr. Peerapol Yuvapoositanon, PhD,DIC Department of Electronic Engineering and Graduate School of Electrical Engineering Mahanakorn University of Technology Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  2. PDF v.s. Likelihood function • สิ่งหนึ่งที่ต้องเปลี่ยนความเข้าใจก็คือ ที่ผ่านมาเรามองว่า ฟังก์ชัน pdf นั้นเป็นฟังก์ชันของข้อมูล x • แต่หากเราใช้มุมมองใหม่ว่านั้นเป็นฟังก์ชันของตัวประมาณค่า (เช่น A ใน x=A+w ) • เราเรียกว่าฟังก์ชันควรจะเป็น (Likelihood function) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  3. PDF Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  4. Likelihood Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  5. Likelihood function Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  6. ในตอนนี้ เราจะมาพิจารณาตัวประมาณค่าที่ให้ค่าควรจะเป็นสูงสุด Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  7. สมมติว่าเราต้องการการประมาณค่าจริง จากชุดข้อมูล โดยมีค่า Joint pdf ของเซตของข้อมูลคือ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  8. PDF และ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  9. อองซามเบิ้ล Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  10. Q ค่าประมาณค่าไหนจึงจะถูกต้องเหมาะสมกับลักษณะสัญญาณ • A ขึ้นกับว่าสัญญาณสังเกตการณ์(Observation data) นั้น มีค่าอยู่ในย่านบวกหรือลบ • ถ้าพิจารณา x(1) ใช้ • ถ้าพิจารณา x(8) ใช้ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  11. การเลือกตัวประมาณค่า Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  12. ตัวอย่างที่ 6.1ลองพิจารณาถึงปัญหาในการหาค่าคงที่ ที่ฝังอยู่ในสัญญาณรบกวน ซึ่งเป็นตัวอย่างที่เคยผ่านมาในบทก่อนๆ โดยมีข้อมูลจากการสังเกตการณ์เป็น Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  13. ตัวแปร ในสมการ (6.4) นี้เป็นสมาชิกหนึ่งของข้อมูลจากการสังเกตการณ์เฉพาะ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  14. ดังนั้น • จึงกลายเป็นฟังก์ชันค่าควรจะเป็น Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  15. Likelihood function • เนื่องจากแต่ละ pdf แต่ละตัวเป็นอิสระซึ่งกันและกัน ดังนั้นเขียนได้เป็น Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  16. Log -Likelihood function • แปลงล็อก Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  17. Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  18. นั้นเป็นสมการควอดราติกที่เป็นฟังก์ชันของ A Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  19. Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  20. Maximum Likelihood Estimator • ตัวประมาณค่าควรจะเป็นสูงสุด (Maximum Likelihood Estimator) ที่ได้คือ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  21. ตัวอย่างที่ 6.2 ยังคงปัญหาในการหาค่าคงที่ ที่ฝังอยู่ในสัญญาณรบกวน ซึ่งมีข้อมูลจากการสังเกตการณ์ • ในตัวอย่างที่ 6.2 นี้ มีสิ่งที่ต่างออกไปก็ตรงที่ว่า นั้นเป็น WGN ที่มีความแปรปรวนเป็นค่าของระดับ DC (A) ที่ฝังอยู่ใน หรือ x(n) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  22. ความแปรปรวนเป็นค่าคงที่ความแปรปรวนเป็นค่าคงที่ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  23. Likelihood function Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  24. Log-Likelihood function Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  25. Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  26. ซึ่งในบรรทัดสุดท้ายของ แสดงให้ดูเทียบกับวิธีการหาตัวประมาณค่า MVUE ซึ่งจะพบว่าเราจะใช้วิธีเทียบตัวแปรไม่ได้ • สรุปว่าเราไม่สามารถหาตัวประมาณค่าแบบ MVUE ของกรณีที่กำลังพิจารณานี้ได้ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  27. สังเกตว่าในตัวอย่างที่ 6.2 นี้ ชี้ให้เห็นความยากในการคำนวณตัวประมาณค่าไร้ไบแอสแบบความแปรปรวนต่ำสุด สิ่งที่เป็นคำถามก็คือ แล้วเราจะใช้วิธีใดในการหาตัวประมาณค่าแบบนี้เพื่อหาค่าตามสมการ (6.4) โดยที่ความแปรปรวนเป็นค่าคงที่ ได้ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  28. คุณสมบัติของตัวประมาณค่าควรจะเป็นสูงสุดคุณสมบัติของตัวประมาณค่าควรจะเป็นสูงสุด • MLE คือ การเลือกตัวประมาณค่าที่ทำให้ฟังก์ชันควรจะเป็นมีค่ามากที่สุดสำหรับค่าคงที่ค่าหนึ่ง Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  29. ตัวประมาณค่าแบบมีไบแอส (Biased Estimator) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  30. แต่หากใช้ความสัมพันธ์ของกฏจำนวนข้อมูลขนาดใหญ่ (Law of Large Number) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  31. ค่าเฉลี่ยแซมเปิ้ล (Sample mean) จะเข้าสู่ค่าเฉลี่ยกลาง (Mean value) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  32. การมีประสิทธิผลแบบเชิงเส้นกำกับ (Asymptotically Efficient) • การมีประสิทธิผลแบบเชิงเส้นกำกับ (Asymptotically Efficient) คือ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  33. Log-Likelihood Function Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  34. เทียบเท่ากับศูนย์ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  35. สมการควอดราติก • รูปแบบ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  36. เทียบสัมประสิทธิ์ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  37. จาก (เลือกค่าบวก) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  38. ทดสอบการมีไบแอส • ไม่ มีไบแอสเมื่อ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  39. เราต้องการ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  40. แต่ Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  41. ดังนั้น Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  42. หรือมีความหมายว่าตัวประมาณค่า ซึ่งเป็น MLE นั้นเป็นตัวประมาณค่าแบบมีไบแอส (Biased Estimator) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  43. แต่หากข้อมูล มีจำนวนมาก • ค่าเฉลี่ยแซมเปิ้ล (Sample mean) จะเข้าสู่ค่าเฉลี่ยกลาง (Mean value) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  44. อนุกรมเทย์เลอร์ (Taylor Series) • หากเราทำการแปลงเชิงเส้นด้วยวิธีการแตก อนุกรมเทย์เลอร์ (Taylor Series)โดยสำหรับตัวแปร ของฟังก์ชัน ใดๆ แล้ว จะได้ว่าอนุกรมเทย์เลอร์อันดับที่หนึ่ง (First-order Taylor Series) สามารถแสดงได้เป็น Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  45. หาก u เป็น Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  46. ตัวประมาณค่า • ตัวประมาณค่าเป็นฟังก์ชันของ u Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  47. แทน Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  48. Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  49. ซึ่งหาค่าเฉลี่ยกลางได้เป็นซึ่งหาค่าเฉลี่ยกลางได้เป็น Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

  50. เป็นตัวประมาณค่าแบบไร้ไบแอสแบบเชิงเส้นกำกับ (Asymptotically unbiased estimator) Advanced Digital Signal Processing http://embedsigproc.wordpress.com Asst. Prof. Dr. P.Yuvapoositanon

More Related