205512

1. 205512 กระบวนการเฟ้นสุ่ม Stochastic Processes ศิริวัฒน์ พูนวศิน

2. OUTLINE • Review of set theory • Axiom of Probability

3. ทบทวนเรื่องเซต • เซตเป็นการรวมกลุ่มกันของสิ่งต่าง ๆ แต่ละสิ่งในเซตหนึ่ง ๆ จะถูกเรียกว่าสมาชิก (member) ของเซตนั้น • เรามีสองวิธีที่จะบรรยายสมาชิกของเซตหนึ่ง ๆ นั่นคือวิธีการบรรยายโดยตรงโดยการเขียนสมาชิกทั้งหมดของเซตนั้นภายในระหว่างเครื่องหมายปีกกา {} และวิธีการบรรยายโดยบอกคุณลักษณะเฉพาะของสมาชิกของเซตนั้นทั้งหมดที่มีร่วมกัน • เช่น A = {1,2,3} หมายความว่าสมาชิกทั้งหมดของเซต A คือ 1,2, และ 3 • เช่น B = {x : x เป็นจำนวนจริงบวก} หมายความว่าสมาชิกทั้งหมดของเซต A คือ จำนวนจริงบวกทุกตัว • เช่น C = {1,2,3,…} หมายความว่าสมาชิกทั้งหมดของเซต C คือจำนวนเต็มบวกทุกตัว

4. ทบทวนเรื่องเซต • เซตที่มีจำนวนสมาชิกจำกัดจะถูกเรียกว่า finite set ส่วนเซตที่มีจำนวนสมาชิกไม่จำกัดจะถูกเรียกว่า infinite set • เราแบ่ง infinite set เป็นสองประเภทคือ countable set ซึ่งคือเซตที่เราสามารถนับหรือแจกแจงสมาชิกได้ และ uncountable set ซึ่งคือเซตที่เราไม่สามารถนับหรือแจกแจงสมาชิกได้ • ตัวอย่างของ finite set คือ A = {1,2,3} • ตัวอย่างของ uncountable infinite set คือ B = {x : x เป็นจำนวนจริงบวก} • ตัวอย่างของ countable infinite set คือ C = {1,2,3,…} • เราใช้เครื่องหมาย  เพื่อแสดงถึงความเป็นสมาชิก เช่น 3 C หมายความว่า 3 เป็นสมาชิกของเซต C • เซตที่ไม่มีสมาชิกเลยจะเรียกว่า เซตว่าง “null set” มีสัญลักษณ์คือ 

5. ทบทวนเรื่องเซต • กำหนดให้ A และ B เป็นเซตใด ๆ เราจะนิยาม A  B ว่าคือเซตที่มีสมาชิกทั้งหมดอยู่ใน A และ B โดยเครื่องหมาย  เรียกว่า “intersect” ยกตัวอย่างเช่นให้ A = {1,2,3,4} และ B = {3,4,5,6} จะได้ว่า C= A  B คือเซต {3,4} เนื่องจาก 3,4 นั้นเป็นสมาชิกของทั้งเซต A และ B • ดังนั้นเราอาจจะนิยาม intersection ได้คือ ถ้า A,B เป็นเซตใด ๆ A  B = {x : x  A และ x  B }

6. ทบทวนเรื่องเซต • กำหนดให้ A และ B เป็นเซตใด ๆ เราจะนิยาม A  B ว่าคือเซตที่มีสมาชิกทั้งหมดอยู่ใน A หรือ B โดยเครื่องหมาย  เรียกว่า “union” ยกตัวอย่างเช่นให้ A = {1,2,3,4} และ B = {3,4,5,6} จะได้ว่า C= A  B คือเซต {1,2,3,4,5,6} เนื่องจาก 1,2,3,4,5,6 นั้นเป็นสมาชิกของเซต A หรือ B • ดังนั้นเราอาจจะนิยาม union ได้คือ ถ้า A,B เป็นเซตใด ๆ A  B = {x : x  A หรือ x  B }

7. Unions & Intersections ทฤษฎีบท กำหนดให้ A,B,C เป็นเซตใด ๆ จะได้ว่า • A  A = A และ A  A = A • A  B = B  A และ AB = B  A • (A  B)  C = A (B  C) และ (A  B)  C = A (B  C) • A (B  C) = (A  B) (A  C) และ A (B  C) = (A  B) (A  C)

8. Unions & Intersections • บางครั้งเราอาจจะสนใจลำดับของเซต ในกรณีนี้เราสามารถนิยาม unions และ intersections ได้ดังนี้ กำหนดให้ A1,A2,…,An,… เป็นลำดับของเซต (sequence of sets) เราจะได้ว่า

9. Unions & Intersections • เช่น กำหนดให้ An = {1,1/2,1/3,…,1/n} จะได้ว่า

10. Subsets • กำหนดให้ Aและ Bเป็นเซตใด ๆ เราจะเรียกABว่า Aเป็น subset ของ Bนั่นคือ ทุก ๆ สมาชิกของ Aเป็นสมาชิกของ B • ข้อสังเกตุ ABนั้นมีลักษณะเป็น “statement” นั่นคือ ถ้าไม่จริง (true) ก็เท็จ (false) แต่ AB และ ABนั้นเป็นเซต • ข้อสังเกตุ AB A เนื่องจากทุก ๆ สมาชิกของเซต AB จะต้องเป็นสมาชิกของทั้ง Aและ Bดังนั้นมันต้องเป็นสมาชิกของ Aด้วย • ข้อสังเกตุ AB A เนื่องจากทุก ๆ สมาชิกของเซต Aจะต้องเป็นสมาชิกของทั้ง Aหรือ Bดังนั้นมันต้องเป็นสมาชิกของ ABด้วย • กำหนดให้ Aและ Bเป็นเซตใด ๆ เราจะเรียกว่า “A=B” เมื่อ AB และ BA

11. Complements and Differences • กำหนดให้ เป็นเซตที่ประกอบด้วยสิ่งที่เราสนใจทั้งหมด และให้ A เป็นสับเซตใด ๆ ของ เราจะเรียกเซต Ac = {x: xแต่ xA}ว่าเป็น “complement” ของ A • กำหนดให้ Aและ B เป็นเซตใด ๆ เราจะเรียกเซต A\B = {x: xAแต่ xB} ว่าเป็น “difference between A and B” • ข้อสังเกตุA\B = A Bc

12. Complements and Differences ทฤษฎีบทกำหนดให้ A,B,Cเป็นเซตใด ๆ 1. A \ (B  C) = (A\B)  (A\C) 2. A \ (B  C) = (A\B)  (A\C) ทฤษฎีบทเสริมกำหนดให้ B,Cเป็นสับเซตใด ๆ ของ 1. (B  C)c = B c C c 2. (B  C)c = B c C c

13. DeMorgan’s Laws

14. Disjoint Sets • เราจะเรียกเซต Aและ B ว่า “disjoint sets” ถ้า A  B= • ทฤษฎีบทกำหนดให้ A,Bเป็น Disjoint เซตและให้ Cเป็นเซตใด ๆเราจะได้ว่า A  Cจะ disjoint กับ B  C

15. Partitions • เราจะเรียกเซต A1, A2,…,An ว่าเป็น “partition” ของเซต B เมื่อ • AiBสำหรับทุก i=1,2,…,n • Ai และ Ajนั้น disjoint กัน สำหรับทุก i j • ทฤษฎีบท กำหนดให้ A1, A2,…,An เป็น partition ของ B จะได้ว่า Ai B จะ disjoint กับ Ai B เมื่อ i jนอกจากนั้น เรายังจะได้ว่า

16. limsup and liminf • กำหนดให้ A1,A2,… เป็นลำดับที่ไม่จำกัด (infinite sequence) ของเซตเรานิยามเทอมต่อไปนี้ว่าเป็น “limsup” และ “liminf” ของ A1,A2,… • ซึ่งตีความหมายได้ว่า   limsup Anถ้าสำหรับทุก ๆ n เราสามารถหาอย่างน้อยหนึ่ง k > n ได้ ที่ทำให้   Ak(infinitely many An’s) • ในทำนองเดียวกัน   liminf Anถ้ามี n อย่างน้อยหนึ่งตัวที่ทำให้  Akสำหรับทุก ๆ k > n (all but finitely many An’s)

17. limsup and liminf • ข้อสังเกตุ • ทั้ง limsup Anและ liminf Anเป็นเซตเนื่องจากเกิดจากการ intersections และ unions ระหว่างเซต • liminf Anlimsup An เนื่องจากถ้า   liminf An จะได้ว่าเราสามารถหา n0ได้ที่เมื่อ k > n0 แล้วจะได้   Akดังนั้น สำหรับทุก ๆ ค่า nเรากำหนดให้ m = n + k0เราก็จะได้ว่า   Am ตามต้องการ นั่นคือ   limsup Anนั่นเอง

18. ลิมิตของลำดับของเซต • สำหรับ A1,A2,… เมื่อ limsup An = liminf An เราจะเรียกว่า A1,A2,… มีลิมิต และเราจะนิยามลิมิต (“limit of sequence of sets”) ของ A1,A2,… นี้คือ • ทฤษฎีบท ลำดับ A1, A2,… ของเซตจะมีลิมิตเมื่อ • A1 A2A3 · · · ซึ่งในกรณีนี้จะได้ • A1  A2 A3· · · ซึ่งในกรณีนี้จะได้

19. Axioms ของความน่าจะเป็น: Sample Space • สมมติว่ามีกระบวนการหนึ่งสามารถให้ผลลัพธ์ออกมาได้ เราจะเรียกกระบวนการนั้นว่า การทดลอง (experiment) • เราจะเรียกเซตที่ประกอบด้วยผลลัพธ์ที่เป็นไปได้ทั้งหมดของการทดลองหนึ่งว่า sample space ของการทดลองนั้น • เช่น sample space ของตัวเลขจากการทดลองทอดลูกเต๋าหนึ่งลูก คือเซต ={1,2,3,4,5,6} • เช่น sample space ของคู่ลำดับผลลัพธ์ที่ได้จากการทดลองโยนเหรียญสองครั้งคือ ={ (หัว,หัว) , (หัว,ก้อย) , (ก้อย,หัว) , (ก้อย,ก้อย) } • เช่น sample space ของน้ำหนักของทารกแรกเกิดคือ ={x:x>0} • ข้อสังเกตุ sample space ต้องเป็นเซตที่อาจจะจำกัดหรือไม่ก็ได้

20. Fields • กำหนดให้ เป็นเซตใด ๆ (ซึ่งในที่นี้แล้ว คือ sample spaceของการทดลองหนึ่ง) สมมติให้A เป็นเซตที่มีสมาชิกเป็นสับเซตของ ในกรณีนี้เราจะเรียกAว่าเป็น “field”ที่นิยามบน เมื่อทั้งสามข้อต่อไปนี้เป็นจริงพร้อมกัน • A • ถ้า A1, A2,…, AnAจะได้ว่า ด้วย • ถ้า AA จะได้ว่า AcA ด้วย • ข้อสังเกตุ (1)เป็นสมาชิกของทุก field (2)ถ้า A1, A2,…, AnAจะได้ว่า ด้วย (จาก DeMorgan’s Laws)

21. Sigma-fields • กำหนดให้ เป็นเซตใด ๆ (ซึ่งในที่นี้แล้ว คือ sample spaceของการทดลองหนึ่ง) สมมติให้F เป็นเซตที่มีสมาชิกเป็นสับเซตของ ในกรณีนี้เราจะเรียกFว่าเป็น “-field”ที่นิยามบน เมื่อทั้งสองข้อต่อไปนี้เป็นจริงพร้อมกัน • Fเป็น field ที่นิยามบน  • ถ้า A1, A2,…, An,… Fจะได้ว่า ด้วย • ข้อสังเกตุ: ทุก ๆ-field จะต้องเป็น field แต่ทางกลับกันอาจจะไม่จริงเนื่องจาก field หนึ่ง ๆ อาจไม่มีคุณสมบัติข้อสองของ -field ก็ได้ • ข้อสังเกตุ:ถ้าA1, A2,…, An,… Fจะได้ว่า ด้วย (จาก DeMorgan’s Laws)

22. ตัวอย่างของ fieldsและ -fields • กำหนดให้ Aเป็นสับเซตหนึ่ง (ที่ไม่ใช่เซตว่าง) ของ จะได้ว่าเซต {,,A,Ac} เป็น -field ที่เล็กที่สุดบน  ที่มี A เป็นสมาชิก • -field ที่ใหญ่ที่สุดที่นิยามบน ก็คือเซตที่ประกอบด้วยสมาชิกที่เป็นสับเซตทั้งหมดของ  • กำหนดให้ = {1,2,3,…} จะได้ว่าเซต {A : A is finite or Ac is finite}เป็น field บน แต่ไม่เป็น -field บน  • กำหนดให้ = (0,1] จะได้ว่าเซต {,, (0,0.5],(0.5,1]}เป็น -field บน 

23. Borel-field • กำหนดให้ Sเป็นเซตที่มีสมาชิกคือเซตใดๆ จำนวนหนึ่ง(เช่น S = {{0},{1,2}}) เราจะเรียก -field ที่เล็กที่สุดที่มีสมาชิกของ S เป็นสมาชิกว่า-field ที่ถูกสร้างโดย S(“-fieldgenerated by S”) โดยมีสัญลักษณ์คือ (S) โดยจากตัวอย่าง เราได้ (S) = {, {1,2}, {1},{2}} • “Borel field” (มีสัญลักษณ์คือ B(R)) คือ -field ที่เล็กที่สุดที่ถูกสร้างโดยเซตที่ประกอบด้วยสมาชิกที่เป็นช่วง (a,b] โดย a,b  Rหรืออีกนัยหนึ่งคือ B(R)= ((a,b]) เมื่อ a,b  R

24. Borel-field • ข้อสังเกตุ: B(R) เป็นเซตที่ประกอบด้วยช่วงของจำนวนจริงทั้งหมดที่อยู่ในรูป (a,b] นอกจากนั้นแล้ว B(R) ยังประกอบด้วยช่วงทั้งหมดที่อยู่ในรูป (a,b), [a,b] เนื่องจากว่า • ยิ่งไปกว่านั้น B(R) ยังประกอบด้วย singleton เซต(เซตที่ประกอบด้วยจำนวนจริงเพียงแค่หนึ่งตัว) เนื่องจากว่า {a0} = [a0,b0] \ (a0,b0] • สุดท้าย B(R) ยังประกอบด้วยช่วงในรูป [a,b) เนื่องจากว่า [a,b)=[a,b]\{b} • ดังนั้นโดยสรุปแล้ว B(R) ประกอบด้วยเซตของจำนวนจริงในรูปต่าง ๆ ที่มนุษย์พอจะจินตนาการออกได้ (แต่ถึงกระนั้น B(R) ก็ยังเล็กกว่า power set ของ Rอยู่ดี เนื่องจากมีสับเซตบางตัวของ R อยู่เหนือจินตนาการมนุษย์)

25. Probability Measures • กำหนดให้ เป็นเซตหนึ่ง (หรือ sample space) และให้ F เป็น -field หนึ่งบน “Probability measure” P บนเซต Fคือเซตฟังก์ชัน P: F  [0,1] ที่มีคุณสมบัติต่อไปนี้ 1. P() = 1 2. P(E)  0 เมื่อ EF 3. เมื่อใดก็ตามที่ EF, FFและ E disjoint กับ Fจะต้องได้ว่า P(EF) = P(E) + P(F) 4. เมื่อใดก็ตามที่ EiFโดย i=1,2,… และEi disjoint กับ Ej, i jจะต้อง ได้ว่า

26. ตัวอย่างของ probability measures • กำหนดให้ = {H,T} โดยที่Fคือ power setของ นิยาม P ดังต่อไปนี้: P({H}) = P({T}) = 0.5 และ P({H,T}) = 1 เราจะได้ว่า P คือ probability measure หนึ่งที่นิยามบน Fเราสังเกตว่า 1 = P() = P( ) = P() + P() = 1 + P() ดังนั้น P()=0 โดยสมการที่สามเป็นจริงเนื่องจาก และนั้น disjoint กัน • หลาย ๆ ครั้งที่ปัญหาในเชิงความน่าจะเป็นที่เราต้องการวิเคราะห์นั้นไม่ได้กำหนด และFมาให้ ในกรณีนี้เราจะต้องคิดให้ได้ว่าผลลัพธ์อะไรจากการทดลองเป็นสิ่งที่เราสนใจ เสร็จแล้วเราก็จะต้องทำการหา และFและทำการนิยาม probability measure ที่เราเห็นว่าสมควร โดยทั้งนี้ต้องสอดคล้องกับเงื่อนไขทั้งสี่ของ probability measure ด้วย จากนั้นเราใช้ probability measure ที่นิยามมาเป็นเครื่องมือในการแก้ปัญหานี้

27. ตัวอย่างของ probability measures • ทำการทดลองโยนเหรียญที่มีความเที่ยงตรง 3 ครั้ง เราต้องการทราบว่าเหตุการณ์ที่เราจะได้หัวทั้งสามครั้งนั้นจะมีความน่าจะเป็นเท่าใด • ในกรณีนี้ เราสนใจผลลัพธ์ของการโยนเหรียญเที่ยงตรงสามครั้ง ดังนั้น sample space ก็น่าจะเป็นเซตที่ประกอบด้วยผลลัพธ์ที่เป็นไปได้ทั้งหมดจากการโยนเหรียญสามครั้งนี้ นั่นคือ ={HHH, HHT, HTH, …, TTT} • ในที่นี้เราต้องการหาความน่าจะเป็นของเหตุการณ์ {HHH} นั่นคือเราต้องการหา P({HHH}) ดังนั้นจะเห็นได้ว่า {HHH} จะต้องอยู่ในFปัญหาคือเราจะนิยาม Fอย่างไรให้สอดคล้องกับปัญหาที่เราสนใจ

28. ตัวอย่างของ probability measures • ลองครั้งแรก: นิยามให้F1={,,{HHH},{HHT,HTH,…,TTT}}ซึ่งก็สอดคล้องกับเงื่อนไขของ  -field แต่ปัญหาของ F1คือเราไม่รู้ว่า P({HHT,HTH,…,TTT}) ควรจะมีค่าเท่าใด • ดังนั้นเราจะกลับมายังคำถามที่ว่าเราจะมีวิธีการให้ค่า probability measure แก่แต่ละเหตุการณ์อย่างไรที่เราเห็นว่าเหมาะสมที่สุด (สังเกตว่า นิยามของ probability measure นั้นไม่ได้บอกว่าเราควรจะให้ค่าแก่แต่ละเหตุการณ์อย่างไร ซึ่งการนี้ควรจะขึ้นอยู่กับเนื้อหาของการทดลอง) • จากเนื้อหาของการทดลองในตัวอย่าง จะเห็นได้ว่าเป็นการทดลองกับเหรียญที่เที่ยงตรง ดังนั้นถ้าเราตีความว่า probability measure คือโอกาสที่เหตุการณ์หนึ่งจะเกิดขึ้น มันก็น่าจะเหมาะสมถ้าทุก ๆ สมาชิกใน นั้นมีโอกาสเกิดเท่ากัน

29. ตัวอย่างของ probability measures • ดังนั้น Fก็ควรจะเป็น sigma-field ที่ถูกสร้างจากทุก ๆ สมาชิกของ นั่นคือในที่นี้ เราจะนิยาม Fให้เป็น power set ของ  • คราวนี้เนื่องจากว่าทุก ๆ ผลลัพธ์ใน ควรจะมีความน่าจะเป็นเท่ากัน เราก็จะได้ P(Ei) = P(Ej) สำหรับทุก ๆ Ei, Ejที่อยู่ในแต่เนื่องจากว่า P() = P({HHH,HHT,…,TTT}) = P({HHH})+P({HHT})++P({TTT}) =8P({HHH})=1 ดังนั้นเราจะได้ว่า P({HHH}) = P({HHT}) =  = P({TTT}) = 1/8 • ดังนั้นคำตอบที่เราต้องการคือ 1/8 เนื่องจากว่า disjoint กัน

30. Probability Measures for Discrete Spaces • ถ้า sample space เป็นแบบเซตแบบ discrete ค่าของ probability measure ที่เหมาะสมโดยส่วนมากก็จะถูกกำหนดโดยผลลัพธ์แต่ละตัวใน sample space ดังนั้น ในกรณี discrete sample space แล้ว ส่วนใหญ่เราก็จะให้ sigma-field คือ power set ของ sample space จากการทดลองนั่นเอง • อย่างไรก็ตาม วิธีการดังกล่าวโดยส่วนมากแล้วจะไม่สามารถใช้ได้ถ้า sample space เป็นเซตแบบนับไม่ได้ (เช่น sample space ที่เกิดมาจากการทดลองวัดส่วนสูงของคน ๆ หนึ่ง ซึ่งในที่นี้คือจำนวนจริงบวกซึ้งนับไม่ได้) เนื่องจากว่า ความน่าจะเป็นของผลลัพธ์ค่าหนึ่งใน sample space นั้นมีค่าเป็นศูนย์ (จะมีใครในโลกที่มีส่วนสูงเท่ากับ 1.5 เมตรพอดี?) ดังนั้นเราจะไม่สามารถหา probability measure ที่สอดคล้องกับเงื่อนไขทั้งสี่ได้ถ้าเราใช้ sigma-field ดังกล่าว

31. Probability Measures for Continuous Spaces • ดังที่ได้กล่าวมาแล้วว่าเมื่อ sample space เป็นแบบ continuous (นั่นคือ uncountable) เราจะไม่นิยาม probability measure บน sigma-field ที่เป็น power set ของ sample space ดังกล่าว เนื่องจากเหตุผลในทางปฏิบัติดังกล่าว • ในกรณีพิเศษที่ sample space เป็นสับเซตของจำนวนจริง ซึ่งเราทราบมาอย่างดีว่าเป็น uncountable เซต (นั่นคือ continuous) เราสามารถที่จะนิยาม probability measure บน sigma-field ที่เป็น Borel sigma-field ที่สร้างมาจากช่วงในรูป (a,b] โดย a และ b อยู่ในสับเซตนั้น • ถ้ายังจำได้ว่า Borel sigma-field ดังกล่าวประกอบด้วยช่วงทุกรูปแบบรวมถึง singleton เซต ดังนั้นแต่ละสมาชิกของ sigma-field นี้ก็จะครอบคลุมถึงสถานการณ์ในทางปฏิบัติที่เราสามารถจะจินตนาการได้ ดังนั้นจึงนับเป็นเซตที่ใหญ่พอแล้วสำหรับที่จะนิยาม probability measure

32. คุณสมบัติพื้นฐานของ probability measures • กำหนดให้ เป็น sample space และ Fเป็น sigma-field บน สมมติให้ P เป็น probability measure ที่นิยามบนFกำหนดให้ E1,E2,…,En,… เป็นสมาชิกของ Fเราจะได้ว่า • ถ้า E2 E1จะได้ว่า P(E2)  P(E1) ยิ่งไปกว่านั้น เรายังจะได้ว่า P(E1\E2) = P(E1) – P(E2) • P(Ec) = 1 - P(E) สำหรับสมาชิก E ใด ๆ ใน F • P(E1 E2) = P(E1) + P(E2) – P(E1 E2) • (Union Bound)

33. คุณสมบัติพื้นฐานของ probability measures (ต่อ) • (Continuity Property of Monotone Sequences) • ถ้า E1  E2  จะได้ว่า • ถ้า E1  E2  จะได้ว่า • (Subadditivity หรือว่า Extended Union Bound)

34. Probability Spaces • กำหนดให้ เป็น sample space และ Fเป็น sigma-field บน สมมติ P เป็น probability measure ที่นิยามบนFเราจะเรียกคู่ลำดับ (, F, P) ว่า “probability space” นอกจากนั้นแล้ว เราจะเรียกสมาชิกแต่ละตัวในเซต Fว่า “เหตุการณ์”(“event”) โดยจำนวนจริง P(A) เมื่อ AFจะเรียกว่า “ความน่าจะเป็นของ event A”