Probabilistic Robotics

1. Probabilistic Robotics Introduction Probabilities Bayes rule Bayes filters

2. Probabilistic Robotics Key idea: Explicit representation of uncertainty using the calculus of probability theory • Perception = state estimation • Action = utility optimization

3. Axioms of Probability Theory Pr(A) denotes probability that proposition A is true.

4. B A Closer Look at Axiom 3

5. Using the Axioms

6. Discrete Random Variables • Xdenotes a random variable. • Xcan take on a countable number of values in {x1, x2, …, xn}. • P(X=xi), or P(xi), is the probability that the random variable X takes on value xi. • P( ) is called probability mass function. • E.g. .

7. Continuous Random Variables • Xtakes on values in the continuum. • p(X=x), or p(x), is a probability density function. • E.g. p(x) x

8. Joint and Conditional Probability • P(X=x and Y=y) = P(x,y) • If X and Y are independent then P(x,y) = P(x) P(y) • P(x | y) is the probability of x given y P(x | y) = P(x,y) / P(y) P(x,y) = P(x | y) P(y) • If X and Y are independent thenP(x | y) = P(x)

9. Conditional Probability • P(A|B) = P(A and B) / P(B) 0.5 B P(A|B) = 0.2/0.5 A 0.2 Introduction to Robotics นัทที นิภานันท์ บทที่ 3 หน้า 9

10. Law of Total Probability, Marginals Discrete case Continuous case

11. Bayes Formula

12. Bayesian reasoning • มีสมมุติฐาน h ที่ต้องการรู้ว่าเป็นจริงรึเปล่าเช่น “คนไข้เป็นมะเร็งรึเปล่า” • มีข้อมูล d ที่สังเกตได้ซึ่งเป็นผลจากสมมุติฐาน h • โดยทั่วไปเรามักจะรู้ P(d|h) • แต่เราอยากรู้ P(h|d) จะทำอย่างไร? (เราเรียกความน่าจะเป็นนี้ว่า posterior probability) Introduction to Robotics อรรถวิทย์ สุดแสง บทที่ 3 หน้า 12

13. Bayesian reasoning ตัวอย่าง • สมมุติฐาน h แทนคนไข้เป็นมะเร็ง • ผลการตรวจ d มีสองกรณีคือ d+ (เป็น) และ d- (ไม่เป็น) • จากข้อมูลที่เก็บมาเรารู้ว่าความน่าจะเป็นที่คนหนี่งเป็นมะเร็งคือ P(h)=0.008 • จากการวิจัยพบว่าความแม่นยำของผลการตรวจเป็นดังนี้ • ถ้าเป็นมะเร็งจะตรวจได้ผลบวกด้วยความน่าจะเป็น P(d+| h)=0.98 • ถ้าไม่เป็นจะตรวจได้ผลลบด้วยความน่าจะเป็น P(d-| h)=0.97 Introduction to Robotics อรรถวิทย์ สุดแสง บทที่ 3 หน้า 13

14. Bayesian reasoning ตัวอย่าง • ถ้ามีคนไข้มาตรวจและได้ผลเป็น d+ จะสรุปอย่างไรดี • เริ่มดูข้อมูลที่มี P(h) = 0.008 P(~h)=0.992 P(d+ | h)=0.98 P(d- | h)=0.02 P(d+ | ~h)=0.03 P(d- | ~h)=0.97 • ต้องการรู้ว่าจะสรุป P(h | d+) หรือ P(~h | d+) P(h | d+) = P(d+ | h) P(h) / P(d+) = 0.0078 / P(d+) P(~h | d+) = P(d+ | ~h) P(~h) / P(d+) = 0.0298 / P(d+) Introduction to Robotics อรรถวิทย์ สุดแสง บทที่ 3 หน้า 14

15. Bayesian reasoning ตัวอย่าง • เพราะ P(h | d+) + P(~h | d+) = 1 จึงได้ว่า P(h | d+) = 0.21 และ P(~h | d+) = 0.79 สรุปว่าไม่เป็นมะเร็งน่าเชื่อถือมากกว่า • และก็ได้อีกว่า P(d+) = 0.0078/0.21 = 0.037 Introduction to Robotics อรรถวิทย์ สุดแสง บทที่ 3 หน้า 15

16. Bayesian reasoning “judging” one’s intuition Scenario: Suppose a crime has been committed. Blood is found at the scene for which there is no innocent explanation. It is of a blood type which is present in 1% of the population and present in the defendant. There is a 1% chance that the defendant would have the crime scene’s blood type if innocent, so there is a 99% chance that the defendant is guilty. Prosecutor: Defendant: The crime occurred in a city of 800,000 people (suppose true). There, the blood type would be found in approximately 8,000 people, so this evidence only provides a negligible 0.0125% (= 1/8000) chance of guilt. Introduction to Robotics อรรถวิทย์ สุดแสง บทที่ 3 หน้า 16

17. Normalization Algorithm:

18. Conditioning • Law of total probability:

19. Bayes Rule with Background Knowledge

20. Conditioning • Total probability:

21. Conditional Independence equivalent to and

22. Simple Example of State Estimation • Suppose a robot obtains measurement z • What is P(open|z)?

23. count frequencies! Causal vs. Diagnostic Reasoning • P(open|z) is diagnostic. • P(z|open) is causal. • Often causal knowledge is easier to obtain. • Bayes rule allows us to use causal knowledge:

24. Example • P(z|open) = 0.6 P(z|open) = 0.3 • P(open) = P(open) = 0.5 • z raises the probability that the door is open.

25. Combining Evidence • Suppose our robot obtains another observation z2. • How can we integrate this new information? • More generally, how can we estimateP(x| z1...zn )?

26. Recursive Bayesian Updating Markov assumption: znis independent of z1,...,zn-1if we know x.

27. Example: Second Measurement • P(z2|open) = 0.5 P(z2|open) = 0.6 • P(open|z1)=2/3 • z2lowers the probability that the door is open.

28. A Typical Pitfall • Two possible locations x1and x2 • P(x1)=0.99 • P(z|x2)=0.09 P(z|x1)=0.07

29. Actions • Often the world is dynamic since • actions carried out by the robot, • actions carried out by other agents, • or just the time passing by change the world. • How can we incorporate such actions?

30. Typical Actions • The robot turns its wheels to move • The robot uses its manipulator to grasp an object • Plants grow over time… • Actions are never carried out with absolute certainty. • In contrast to measurements, actions generally increase the uncertainty.

31. Modeling Actions • To incorporate the outcome of an action u into the current “belief”, we use the conditional pdf P(x|u,x’) • This term specifies the pdf that executing u changes the state from x’ to x.

32. Example: Closing the door

33. State Transitions P(x|u,x’) for u = “close door”: If the door is open, the action “close door” succeeds in 90% of all cases.

34. Integrating the Outcome of Actions Continuous case: Discrete case:

35. Example: The Resulting Belief

36. Bayes Filters: Framework • Given: • Stream of observations z and action data u: • Sensor modelP(z|x). • Action modelP(x|u,x’). • Prior probability of the system state P(x). • Wanted: • Estimate of the state X of a dynamical system. • The posterior of the state is also called Belief:

37. Markov Assumption Underlying Assumptions • Static world • Independent noise • Perfect model, no approximation errors

38. Bayes Markov Total prob. Markov Markov z = observation u = action x = state Bayes Filters

39. Bayes Filter Algorithm • Algorithm Bayes_filter( Bel(x),d ): • h=0 • Ifd is a perceptual data item z then • For all x do • For all x do • Else ifd is an action data item uthen • For all x do • ReturnBel’(x)

40. Bayes Filters are Familiar! • Kalman filters • Particle filters • Hidden Markov models • Dynamic Bayesian networks • Partially Observable Markov Decision Processes (POMDPs)

41. Summary • Bayes rule allows us to compute probabilities that are hard to assess otherwise. • Under the Markov assumption, recursive Bayesian updating can be used to efficiently combine evidence. • Bayes filters are a probabilistic tool for estimating the state of dynamic systems.