168 481 Artificial Neural Networks วงจรข่ายนิวรอลเทียม

1. 168 481 Artificial Neural Networksวงจรข่ายนิวรอลเทียม ภาคการศึกษาต้น ปีการศึกษา 2546 อาจารย์ นวภัค เอื้ออนันต์ ภาควิชาวิศวกรรมคอมพิวเตอร์ มหาวิทยาลัยขอนแก่น

2. Course Syllabus Date and Time : TT 10.30-12.00 EN 4510 Assessments: Attendance 5% Homework 35% Midterm 30% Final Project 30% Grading: 85-100% A, 75-85% B+, 70-75% B, 65-70% C+, 60-65% C, 55-60% D+, 50-55% D, 0-50% F References: 1. James A. Freeman and David M. Skapura, “Neural Networks, Algorithms, Applications, and Programming Techniques”, Addison-Wesley, 1991 2. John Hertz, Anders Krough, and Richard G. Palmer, “Introduction to the Theory of Neural Computation”, Addison-Wesley, 1993. 3. Bart Kosko, “Neural Networks and Fuzzy Systems, A Dynamic Systems Approach to Machine Intelligence”, Prentice Hall, 1992.

3. Course Outline • Introduction to Neural Computation • - Biological neural networks and artificial neural networks • - Neural network learning • 2. Single Layer Perceptron Networks • Multilayer Perceptron Networks • Associative Networks • 5. Self-Organizing Networks • 6. Other Networks • 7. Applications of Artificial Neural Networks

4. Chapter 1 Introduction to Neural Computation

5. คำถาม ! ทำไมคอมพิวเตอร์ในปัจจุบันที่มีความสามารถในการคำนวณสูงมากยังไม่สามารถเทียบ กับความสามารถของสมองมนุษย์ในงานง่ายๆ(สำหรับมนุษย์) บางอย่าง เช่น การจำใบหน้า การฟังและการตีความหมาย การแปลภาษา ความสามารถของสมองมนุษย์ vs คอมพิวเตอร์ เซลล์ประสาทส่งสัญญาณ ได้ในอัตราสูงสุดประมาณ 1000 ครั้ง/วินาที ความเร็วของคอมพิวเตอร์ ในปัจจุบันขึ้นไปถึง 1700 MHz ความเร็ว ซุปเปอร์คอมพิวเตอร์ปัจจุบัน C > 1000 MFLOP การคำนวณ เลขคณิต สมองคนD การจดจำและแยก แยะรูปภาพ, เสียง สมองคนC คอมพิวเตอร์D

6. ความมหัศจรรย์ของสมองมนุษย์ความมหัศจรรย์ของสมองมนุษย์ • - สมองมนุษย์มีประสิทธิภาพและมั่นคงมาก ทุกวันมีเซลล์ประสาทในสมองตาย • โดยที่ไม่ส่งผลกระทบต่อประสิทธิภาพของสมองโดยรวม • - ระบบสมองของมนุษย์ยืดหยุ่นมาก สามารถปรับตัวเข้ากับสิ่งแวดล้อมใหม่ • โดยการเรียนรู้ (ผิดกับคอมพิวเตอร์ที่จะต้องโปรแกรมใหม่) • สมองมนุษย์สามารถจัดการกับข้อมูลที่มีความไม่แน่นอน, มีสัญญาณรบกวน, • และไม่สม่ำเสมอ ได้ดี • สมองสามารถประมวลผลข้อมูลขนาดมหาศาล เช่นรูปภาพ ในลักษณะการ • ประมวลผลแบบขนานได้ดี • สมองมีขนาดเล็กและใช้พลังงานน้อย • โครงสร้างของสมองมนุษย์ได้วิวัฒนาการมาเป็นเวลาหลายล้านปี • และได้รับพิสูจน์จากธรรมชาติตราบจนกระทั่งทุกวันนี้

7. โครงสร้างของสมองมนุษย์และระบบประสาทโครงสร้างของสมองมนุษย์และระบบประสาท Cell body (soma) Dendrite Nucleus ภาพเซลล์ประสาท (Neuron) Axon Synapse Myelin sheath

8. การทำงานของเซลล์ประสาทการทำงานของเซลล์ประสาท • - เซลล์ประสาทประกอบด้วยตัวเซลล์ (Soma)เส้นประสาทหลัก (Axon)และระบบ • กิ่งก้านสาขาของ Dendrites • ที่ปลายของ Axon มีอวัยวะเรียกว่า Synapse ต่อกับ drendrites ของเซลล์ประสาท • เซลล์อื่น ทั้ง Axon และ Dendrites ใช้นำสัญญาณทางไฟฟ้าระหว่างเซลล์ประสาท • Axon มีความยาวมากกว่า Dendrites (Axon อาจยาวได้ถึง 1 เมตร) Axon • ยังมีฉนวนเรียกว่า Myelin sheath สำหรับทำให้นำสัญญาณได้ดีขึ้นและกันสัญญาณ • รบกวนจากเซลล์ใกล้เคียง Axon Myelin sheath Soma Dendrites Synapse

9. การทำงานของเซลล์ประสาท (ต่อ) -70 mV - + • - โดยปกติตอนที่ Neuron ยังไม่ทำงาน ของเหลวภายในเซลล์จะมีความเข้มข้นของ K+ • และ Organic ion มาก ส่วนของเหลวภายนอกเซลล์จะมี Na+และ Cl-มาก • เมื่ออยู่ในภาวะสมดุลย์ความแตกต่างระหว่างความเข้มข้น ion ภายในและภายนอกเซลล์ • ทำให้เกิดความต่างศักย์ไฟฟ้าประมาณ -70ถึง –100 mV เรียกว่า Resting potential Organic ion Cl- K+ Na+ K+ Cl- Na+

10. การทำงานของเซลล์ประสาท (ต่อ) -70 mV 30 mV - - + + สัญญาณภายนอก + + Organic ion Organic ion Cl- Cl- K+ K+ Na+ Na+ K+ Cl- K+ Cl- + Na+ Na+ + เซลล์ส่งสัญญาณออกไป ก่อนจะทำงาน เซลล์กำลังถูกกระตุ้น • สัญญาณทางไฟฟ้าจากเซลล์ประสาทอื่นๆจะถูกส่งผ่าน Axon และ Dendrites ไปยัง Soma • ถ้าสัญญาณไฟฟ้ารวมที่ส่งเข้ามาที่ Soma มากพอจะเกิดการเปลี่ยนแปลงความเข้มข้นของ ion • ขึ้นภายในเซลล์โดย Na+ จะไหลเข้าไปในเซลล์มากขึ้น ทำให้ความต่างศักย์ไฟฟ้า Resting • potential ลดลง สัญญาณไฟฟ้าทีเปลี่ยนแปลงนี้เรียกว่า Action potential

11. การทำงานของเซลล์ประสาท (ต่อ) • Action potential จะถูกส่งไปยังเซลล์ใกล้เคียงที่ต่อกับเซลล์นี้อยู่ • หลังจากส่งสัญญาณออกไป เซลล์จะไม่สามารถทำงานได้อยู่พักหนึ่ง ต้องรอให้ ion • ภายในเซลล์ปรับเข้าสู่สภาพสมดุลย์ก่อน ซึ่งจะใช้เวลาประมาณ 1 mSec สรุป เซลล์สมองแต่ละเซลล์มีฟังก์ชันการทำงานอย่างง่าย โดยเซลล์จะรับสัญญาณไฟฟ้า จากเซลล์อื่นหลายๆเซลล์ เพื่อนำมากระตุ้นให้เซลล์สัญญาณไฟฟ้าส่งให้เซลล์อื่นๆต่อไป

12. โครงสร้างของสมองมนุษย์ vs คอมพิวเตอร์ สมอง • สมองประกอบด้วย Neuron จำนวนประมาณ 100,000 ล้านเซลล์ • เซลล์ Neuron แต่ละเซลล์มีการทำงานที่ไม่ซับซ้อน โดยสัญญาณที่ส่งออกมาจาก • แต่ละเซลล์จะเป็นลูกคลื่นสัญญาณทางไฟฟ้า • ปกติ Neuron แต่ละเซลล์จะเชื่อมต่อกับ Neuron เซลล์อื่นประมาณ 10,000 เซลล์ • บางเซลล์อาจมีจุดต่อมากกว่า 200,000 จุด • สมองไม่มีความจำส่วนกลาง แต่สมองจะเรียนรู้และจดจำความจำระยะยาวโดยการ • ปรับโครงสร้างของสมองเป็นหลัก (การจัดรูปกิ่งก้านสาขาของเซลล์ประสาท) • - สมองจะเรียนรู้ได้ต้องมีการฝึกหลายๆครั้งจนเกิดความชำนาญ

13. Example of neurons w The cultured retinal explants taken from chick embryos From http://www.ams.sunysb.edu/research/pinezich/neuron_reconstruction/

14. Example of neurons (continued) w Neurons located in the cerebral cortex of the hamster. From http://faculty.washington.edu/chudler/cellpyr.html (Image courtesy of Dr. James Crandall, Eunice Kennedy Shriver Center)

15. การทำงานของสมอง Scientific skill

16. โครงสร้างของสมองมนุษย์ vs คอมพิวเตอร์ คอมพิวเตอร์ • หน่วยประมวลผลของคอมพิวเตอร์(CPU)มีความซับซ้อนมาก มีความสามารถมาก • ในเครื่องคอมพิวเตอร์แต่ละเครื่อง มีจำนวนCPUไม่มาก และการเชื่อมต่อระหว่าง • CPUไม่ได้ซับซ้อน • คอมพิวเตอร์มีหน่วยความจำส่วนกลาง ใช้เก็บโปรแกรมและข้อมูล • คอมพิวเตอร์ถูกโปรแกรมในลักษณะเป็นชุดคำสั่งให้ปฏิบัติตามเป็นลำดับที่แน่นอน อะไรคือวิชาวงจรข่ายนิวรอลเทียม ศาสตร์ว่าด้วยการคำนวณโดยอาศัยวงจรข่ายที่เลียนแบบการทำงานของระบบ การทำงานของสมองของมนุษย์

17. วงจรข่ายนิวรอลเทียม Artificial Neural Networks เลียนแบบการทำงานของสมองมนุษย์ โดยใช้หน่วยประมวลผลง่ายๆ จำนวนมาก ต่อกันเป็นโครงสร้างขึ้นมา

18. ตัวอย่างโครงสร้างของวงจรข่ายนิวรอลเทียมตัวอย่างโครงสร้างของวงจรข่ายนิวรอลเทียม Input nodes Output nodes Hidden nodes Connections Output ของแต่ละโหนด Xi = input จากโหนดอื่นๆ Wij= น้ำหนัก(weight)ของแต่ละแขน (connection)

19. วงจรข่ายนิวรอลเทียม กับ คอมพิวเตอร์ทั่วไป • - วงจรข่ายนิวรอลเน้นที่โครงสร้างเป็นหลัก ใช้หน่วยประมวลผลง่ายๆจำนวนมากมาต่อกัน • ขณะที่คอมพิวเตอร์ทั่งไปใช้หน่วยประมวลผลความสามารถสูง แต่มีจำนวนไม่มาก • การโปรแกรมของคอมพิวเตอร์โดยทั่วไป ใช้ชุดคำสั่งเป็นลำดับขั้นตอน แต่วงจรข่าย • นิวรอลจะเรียนรู้โดยการฝึกฝนจาก ชุดข้อมูลสำหรับฝึกหัด (Training set) • วงจรข่ายนิวรอลจดจำได้โดยการปรับค่า weight ของ connections ที่ทำให้ • วงจรมีข้อผิดพลาดจากการฝึกหัด (training error) ต่ำที่สุด • การปรับ weight จะค่อยๆปรับทีละน้อยในการฝึกแต่ละครั้ง เมื่อฝึกบ่อยๆ ค่า • ความผิดพลาดก็จะลดลงเรื่อยๆ • ปัจจุบันโปรแกรมวงจรข่ายนิวรอลมักจะใช้การจำลองบนคอมพิวเตอร์แทนส่วนที่ • เป็นวงจรเครือข่ายอันสลับซับซ้อน โดยใช้ซอฟต์แวร์เป็นหลัก ส่วนฮาร์ดแวร์ที่เลียนแบบ • วงจรข่ายนิวรอลโดยตรงมีน้อยมาก เนื่องจากความยากลำบากในการสร้าง

20. วงจรข่ายนิวรอลเทียมกับการใช้งานวงจรข่ายนิวรอลเทียมกับการใช้งาน วงจรข่ายนิวรอลเป็นเครื่องมือเอนกประสงค์ที่เหมาะจะใช้กับงาน: 1. งานการจดจำรูปแบบที่มีความไม่แน่นอน เช่น ลายมือ ลายเซนต์ ตัวอักษร รูปหน้า 2. งานการประมาณค่าฟังก์ชันหรือการประมาณความสัมพันธ์ (มี inputs และ outputs แต่ไม่ทราบว่า inputs กับ outputs มีความสัมพันธ์กันอย่างไร) 3. งานที่สิ่งแวดล้อมเปลี่ยนแปลงอยู่เสมอ (วงจรข่ายนิวรอลสามารถปรับตัวเองได้) 4. งานจัดหมวดหมู่และแยกแยะสิ่งของ 5. งานทำนาย เช่นพยากรณ์อากาศ พยากรณ์หุ้น

21. Neural Network Taxonomy Gradient Descent Least mean square Backpropagation Reinforcement learning Recurrent Backpropagation RABAM Vector Quantization Brownian annealing Boltzmann learning ABAM, ART-2, BAM Self-organizing maps Competitive learning Counter-propagation Adaptive Resonance ART-1, ART-2 Decoding Feedback Feedforward Supervised Encoding Unsupervised

22. การเรียนรู้ Learning 1. Supervised Learningการเรียนแบบมีการสอน เป็นการเรียนแบบที่มีการตรวจคำตอบเพื่อให้วงจรข่ายปรับตัว ชุดข้อมูลที่ใช้สอนวงจร ข่ายจะมีคำตอบไว้คอยตรวจดูว่าวงจรข่ายให้คำตอบที่ถูกหรือไม่ ถ้าตอบไม่ถูก วงจรข่ายก็จะปรับ ตัวเองเพื่อให้ได้คำตอบที่ดีขึ้น (เปรียบเทียบกับคน เหมือนกับการสอนนักเรียนโดยมีครูผุ้สอน คอยแนะนำ) 2. Unsupervised Learningการเรียนแบบไม่มีการสอน เป็นการเรียนแบบไม่มีผู้แนะนำ ไม่มีการตรวจคำตอบว่าถูกหรือผิด วงจรข่ายจะจัด เรียงโครงสร้างด้วยตัวเองตามลักษณะของข้อมูล ผลลัพธ์ที่ได้ วงจรข่ายจะสามารถจัดหมวดหมู่ ของข้อมูลได้ (เปรียบเทียบกับคน เช่นการที่เราสามารถแยกแยะพันธุ์พืช พันธุ์สัตว์ตามลักษณะ รูปร่างของมันได้เองโดยไม่มีใครสอน)

23. Network Architecture Input nodes Output nodes Feedforward network ข้อมูลที่ประมวลผลในวงจรข่ายจะถูกส่งไปในทิศทางเดียวจาก Input nodes ส่งต่อมาเรื่อยๆจนถึง output nodesโดยไม่มีการย้อนกลับของข้อมูล หรือแม้แต่ Nodes ใน layerเดียวกันก็ไม่มีการเชื่อมต่อกัน Direction of data flow

24. Network Architecture (cont.) Output nodes Input nodes Feedback network ข้อมูลที่ประมวลผลในวงจรข่ายจะมีการป้อนกลับเข้าไปยังวงจรข่ายหลายๆครั้ง จนกระทั่งได้คำตอบออกมา (บางทีเรียกว่า Recurrent network)