1 / 41

การคุมอคติ (Control Bias)

การคุมอคติ (Control Bias). ดร. อรพิน กฤษณเกรียงไกร คณะสาธารณสุขศาสตร์ มหาวิทยาลัยนเรศวร. แหล่งอคติในการศึกษาเชิงทดลอง (Sources of bias and error). อคติ หรือ ความลำเอียงอาจแบ่งเป็น Random error Systemic error การลดอคติ และความลำเอียงอาจทำได้โดย

Download Presentation

การคุมอคติ (Control Bias)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. การคุมอคติ (Control Bias) ดร. อรพิน กฤษณเกรียงไกร คณะสาธารณสุขศาสตร์ มหาวิทยาลัยนเรศวร

  2. แหล่งอคติในการศึกษาเชิงทดลอง (Sources of bias and error) อคติ หรือ ความลำเอียงอาจแบ่งเป็น • Random error • Systemic error การลดอคติ และความลำเอียงอาจทำได้โดย • Reducing random error = increasing precision (ความแม่นตรง) • Reducing systemic error = increasing validity (ความถูกต้อง)

  3. Precision (ความแม่นตรง) Random error = sources of variation due to chance Example: sampling error We can reduce random error by • Increasing the sample size • Modifying the study design to increase efficiency (e.g. by targeting a group of people likely to be exposed to the risk factor or likely to develop the disease) Example: • If a sample of size 10,000 is chosen but only 5 people are exposed to the risk factor the study is not efficient • If a study of arthritis is planned and a sample of high school students is chosen the study is not efficient.

  4. Validity (ความถูกต้อง) • External validity: validity with respect to the target population • Internal validity: Validity within the study group Note: Internal validity is a prerequisite for external validity • External validity: • Are the study findings abstract able to the target population? Threats: Representative of the sample Non-participation • Is the target population chosen wisely? (i.e. choose the Eskimo torepresent the whole US. Population)

  5. External validity: • Does the effect found in the study group accurately reflect the true effect in the study group? Threats: bias Bias = systematic error which results in an incorrect estimate of the association between cause and effect (Rothman) There are 3 major biases • Selection bias • Information bias • Confounding

  6. แหล่งอคติในการศึกษาเชิงทดลอง (Sources of bias in experimental study) อคติ หรือ ความลำเอียงมักเกิดขึ้นได้เสมอ ทั้งโดยตั้งใจและไม่ตั้งใจ อคติอาจเกิดได้ในขณะจัดกลุ่มทดลอง รวบรวมข้อมูล วิเคราะห์และตีความข้อมูล เช่น ผู้ทดลองมีความลำเอียงว่าวิธีใหม่รักษาได้ผลดีกว่าก็อาจเลือกผู้ป่วยที่มีอาการไม่รุนแรงไว้รักษาด้วยวิธีใหม่ รวบรวมแต่ข้อมูลและผลที่ดีไว้กับวิธีใหม่ เป็นต้น อคติในการศึกษาเชิงทดลอง อาจแบ่งได้เป็น 4 ชนิด • อคติจากการเลือกตัวอย่างประชากร (selection bias) • อคติจากผู้ดำเนินการทดลอง (Performance bias) • อคติจากข้อมูลที่รวบรวม (Information or observation bias) • อคติจากปัจจัยซ่อนเร้นหรือปัจจัยร่วม (confounding bias)

  7. อคติจากการเลือกตัวอย่างประชากร (selection bias) • อคตินี้เกิดจากการเลือกตัวอย่างประชากรไว้ในกลุ่มทดลองและกลุ่มควบคุมไม่ดี ทำให้มีกลุ่มทดลองและกลุ่มควบคุมไม่เหมือนกัน เช่น อายุ อาชีพ ฐานะทางเศรษฐกิจและสังคม เป็นต้น ในการเลือกผู้ป่วยเพื่อการทดลอง ผู้ป่วยมีปัจจัยอื่นๆ ที่เกี่ยวข้องกับผลการรักษาไม่สอดคล้องกัน ทำให้มีผลกระทบต่อผลของการทดลอง

  8. Selection Bias Systemic error resulting in an inflated or deflated effect estimate; caused by the way study participants were selected. • Self-selection bias • Healthy worker effect • Diagnostic bias • Berkson’s bias

  9. Selection Bias • Self Selection Bias: The reasons for self-referral may be related to the outcome under study. e.g. Gulf War syndrome If Gulf Warveterans with symptoms volunteer to participate whereas veterans without symptoms tend not to participate the study results will be biased “away from the null”

  10. Selection Bias • Healthy worker effect: People able to come to work are healthier, on average, than the general population. • Diagnostic bias: Detection or diagnosis of the disease may be influenced by knowledge about the presence of the risk factor. Example: More in depth tests for congenital syphilis may be performed if the mother is a drug addict • Berkson’s bias: Occurs since hospitalized patients are not representative of patients in the general population Example: Cases have lung cancer (high hospitalization rate) Controls have asthma (lower hospitalization rate)

  11. 2. อคติจากผู้ดำเนินการทดลอง(Performance bias) ในการทดลองเกี่ยวกับวิธีการรักษาแบบเก่าและแบบใหม่ มีการรักษาเสริม (supportive treatment) ในผู้ป่วยแต่ละกลุ่มแตกต่างกัน การใส่ปัจจัยสนับสนุนอี่นๆไม่สอดคล้องกัน ขนาดของยาหรือสิ่งกระตุ้นอื่นๆ (dosage) ไม่ได้สัดส่วนกัน การยินยอมปฏิบัติตามเงื่อนไขของการศึกษาหรือการวิจัย (Compliance) ของผู้ถูกทดลองไม่อยู่ในเกณฑ์ที่สามารถยอมรับได้ นอกจากนี้อาจมีการปนเปื้อน (contamination) จากปัจจัยภายนอก เช่น การทดลองยารักษาหนองใน ผู้ถูกทดลองกลัวไม่หายจึงซื้อยาจากร้านขายยากินเพิ่ม ฯลฯ

  12. Observer/recorder/interviewer bias • Observer/recorder bias • Interviewer bias • Instrument bias

  13. Observer/recorder bias Ex: if the physician is more likely to interpret the lab results as positive for congenital syphilis if the mothers are drug users differential misclassification occurs. (bias away from the null) If the physician is equally likely to incorrectly interpret lab results for all mothers non-differential misclassification occurs. (bias toward the null)

  14. Interviewer bias Ex: If the physician asks mothers of babies with congenital syphilis more in depth questions about drug use than mothers of healthy babies differential misclassification occurs. (bias away from null) If the physician asks mothers of babies with congenital syphilis and mothers of healthy babies the same questions about drug use non-differential misclassification occurs. (bias toward the null)

  15. Instrument bias Lack of calibration Ex: If the lab testing mothers from high risk groups is under-funded and has faulty equipment whereas the lab testing low-risk mothers has correctly working equipment differential misclassification occurs. (bias may be toward or away from the null). Otherwise non-differential misclassification may occur. (bias toward the null).

  16. อคติจากข้อมูลที่รวบรวม(Information or observation bias) ในระยะสุดท้ายของการทดลอง จะต้องมีการวัดผล (measurement of outcome) และมีการเก็บรวบรวมข้อมูล อคติอาจเกิดขึ้นได้จาก • การเฝ้าระวังการเกิดโรคหรือวิธีการวิจัยโรคในกลุ่มทดลองและกลุ่มควบคุมไม่เหมือนกัน • การวัดผลผิดพลาด • การจัดประเภท การแบ่งกลุ่ม ตลอดจนการแปลผลไม่ถูกต้อง

  17. Information Bias Systemic error resulting in an inflated or deflated effect estimate; occurring when the measurement of the risk factor or the disease is systematically different between the groups being compared. Information bias leads to misclassification with respect to the disease or the risk factor. Diseased people may be classified as non-diseased and vice versa. Exposed people may be classified as non-exposed and vice versa. • Differential misclassification • Non - differential misclassification • Subject despondence bias

  18. Information Bias • Differential misclassification • Misclassification of study subjects with respect to the disease depends on the subjects’ exposure status. • Misclassification of study subjects with respect to the exposure depends on the subjects’ disease status. Differential misclassification can lead to a bias toward or away from the null.

  19. Information Bias • Non - differential misclassification • Misclassification of study subjects with respect to the disease does not depend on the subjects’ exposure status. • Misclassification of study subjects with respect to the exposure does not depend on the subjects’ disease status. Non-differential misclassification always leads to a bias toward the null.

  20. Information Bias • Subject despondence bias • Recall bias • Reporting bias • Placebo effect • Hawthorne effect

  21. Recall bias Ex: If mothers or babies with birth defects remember every drop of alcohol they drank during pregnancy, and mothers of healthy babies forget small amounts of alcohol they consumed differential misclassification occurs (the bias is away from the null). If mothers of babies with birth defects and mothers of healthy babies forget about alcohol they consumed in the same manner non-differential misclassification occurs and the bias is toward the null.

  22. Reporting bias Ex: If mothers of babies with birth defects feel guilty about the amount of alcohol they drank during pregnancy and lie about it, whereas mothers of healthy babies correctly report the amount of alcohol they consumed differential misclassification occurs (the bias is toward the null). If mothers of babies with birth defects correctly report the amount of alcohol they consumed during pregnancy whereas mothers of healthy babies don’t want to admit the amount of alcohol they consumed and lie about it differential misclassification occur (the bias is away from the null). If mothers of babies with birth defects and mothers of healthy babies lie in the same manner about the amount of alcohol they drank during pregnancy non-differential misclassification occurs and the bias is toward the null.

  23. Placebo bias A patient symptoms may improve because he/she thinks he/she is taking medication even if the “medication” is a placebo. This may result in a bias toward the null

  24. Hawthorne effect A person’s behavior may change because he/she knows he/she is being studied. If the behavior of non-exposed study subjects changes in the same manner as the behaviors of exposed study subjects the misclassification is non-differential and the bias is toward the null. Otherwise the misclassification is differential and the bias is away from the null.

  25. อคติจากปัจจัยซ่อนเร้นหรือปัจจัยร่วม(Confounding bias) ปัจจัยซ่อนเร้นหรือปัจจัยร่วม (confounding factor) หมายถึง ปัจจัยที่เกี่ยวข้องหรือปัจจัยที่มีอิทธิพลต่อผลการศึกษา เช่น การสูบบุหรี่ เป็นปัจจัยเสี่ยงของการเกิดโรคมะเร็งปอด แต่มลภาวะในอากาศ โรคปอดที่มี อายุ ก็มีผลต่อการเกิดมะเร็งปอดเช่นเดียวกัน ดังนั้นในการศึกษาผลของมะเร็งปอดจากการสูบบุหรี่ จะมี อายุ มลภาวะในอากาศ และ โรคปอดของผู้ถูกทดลอง เป็นปัจจัยร่วม

  26. อคติจากปัจจัยซ่อนเร้นหรือปัจจัยร่วม(Confounding bias) ปัจจัยสัมผัส (Exposure) (Type of Behavior) ปัจจัยซ่อนเร้น (confounding factors) • ความดันโลหิตสูง (Hypertension) • การสูบบุหรี่ (Smoking) • โคเลสเตอรอลในเลือดสูง (Hypercholesteroemia) ความสัมพันธ์ขั้นสอง (Secondary association) ผล (outcome) โรคหัวใจขาดเลือด ความสัมพันธ์ทางสถิติ (Statistical association) ความสัมพันธ์เชิงสาเหตุ (Causal association)

  27. การควบคุมอคติและการแปรผันในการทดลองการควบคุมอคติและการแปรผันในการทดลอง • การควบคุมก่อนการทดลอง (before-experimental control) • การกำหนดกลุ่มโดยวิธีสุ่ม (Randomization) • การกำหนดกลุ่มแบบบอด (Blind assignment) • การควบคุมระหว่างการทดลอง (During-experimental control) • การควบคุมการผันแปรของเครื่องมือ (Machine variation) • การควบคุมการผันแปรทางชีวภาพ (Biological variation) • การควบคุมการผันแปรของสิ่งแวดล้อม (Environmental variation) • การควบคุมความสมดุลของอคติ (Balancing of bias) • การควบคุมหลังการทดลอง (After-experimental control) • การเลือกผลสำหรับวัด (Selection of outcome) • การวัดผลแบบบอด (Blind assessment) • การควบคุมในการวิเคราะห์ (Control in analysis)

  28. 1.การควบคุมก่อนการทดลอง (Before-experiment control) 1.1 การกำหนดกลุ่มโดยวิธีสุ่ม (Randomization) เป็นวิธีการกำหนดกลุ่มของผู้ถูกทดลอง (subject) เป็นกลุ่มทดลองและกลุ่มควบคุมโดยวิธีสุ่ม ซึ่งทำให้เชื่อมั่นว่าจะได้กลุ่มต่างๆ ซึ่งมีลักษณะคล้ายคลึงกันมากที่สุด ประกอบด้วย • การสุ่มอย่างง่าย (simple randomization) โดยให้ตารางเลขสุ่ม การจับฉลาก การโยนหัวก้อย การสุ่มแบบนี้การกระจายของปัจจัยต่างๆ ในสองกลุ่มอาจแตกต่างกันได้ • การสุ่มโดยการจัดพวกหรือกลุ่มย่อย (Stratified randomization) วิธีนี้ แบ่งกลุ่มผู้ถูกทดลองตามอายุ เพศ หรือตัวแปรอื่นๆ ซึ่งมีอิทธิพลต่อการผลการทดลองก่อน แล้วจึงทำการสุ่ม ทำให้ได้กลุ่มต่างๆ มีลักษณะคล้ายคลึงกันมากยิ่งขึ้น

  29. 1.การควบคุมก่อนการทดลอง (Before-experiment control) 1.2 การกำหนดกลุ่มแบบบอด (Blind assignment) ผู้ถูกทดลองจะไม่ทราบว่าตนเองอยู่ในกลุ่มทดลองไหน และไม่ทราบว่าตนเองได้รับการรักษาหรือป้องกันด้วยวิธีใด เช่น การทดลองเกี่ยวกับประสิทธิภาพของวัคซีน ใช้หลอดวัคซีนจริงและวัคซีนหลอกที่บรรจุอยู่มีลักษณะคล้ายคลึงกัน การกำหนดกลุ่มแบบนี้ ควรทำด้วยความระมัดระวังและทำเมื่อจำเป็น และเมื่อสิ้นสุดการทดลองแล้วควรจะบอกกลุ่มที่ได้รับยาหลอกหรือวัคซีนหลอก (placebo) ให้ทราบ มิฉะนั้นผู้ถูกทดลองเหล่านี้อาจนึกว่าตนเองได้รับการฉีดวัคซีน และมีภูมิคุ้มกันโรคอยู่เสมอ ซึ่งอาจมีผลเสียหายแก่ผู้ทดลองได้

  30. 2.การควบคุมระหว่างการทดลอง (During-experiment control) 2.1 การควบคุมการผันแปรของเครื่องมือ (Machine variation) เครื่องมือ หรืออุปกรณ์ทางการแพทย์ต่างๆ ที่ใช้ในการตรวจร่างกาย ตรวจหาค่าทางห้องปฏิบัติการ มักมีความผันแปรเกิดขึ้นได้เสมอ ดังนั้นจึงจำเป็นต้องมีการปรับมาตรฐานของเครื่องมือต่างๆ ก่อนนำออกไปใช้รวบรวมข้อมูล นอกจากนี้ในระหว่างการทดลองก็ควรจะต้องมีการปรับมาตรฐานของเครื่องมือเป็นระยะๆ ตามความเหมาะสม

  31. 2.การควบคุมระหว่างการทดลอง (During-experiment control) 2.2 การควบคุมการผันแปรทางชีวภาพ (Biological variation) ในการศึกษาเกี่ยวกับมนุษย์หรือสัตว์ทดลองต่างๆ ย่อมมีการผันแปรทางชีวภาพเกิดขึ้นเสมอ เช่น การวัดความดันโลหิตในท่านั่ง จะได้สูงกว่าในท่านอน การวัดความดันโลหิตทันทีที่พบกัน จะได้ระดับความดันโลหิตสูงกว่าเมื่อได้พัก 5-10 นาที การผันแปรนี้จะมีพิสัย (Range) ค่อนข้างกว้าง เมื่อได้ทำการวัดบ่อยขึ้นจะมีแนวโน้มเข้าสู่ส่วนกลาง (Regression toward the mean) ในการทดลองจึงควรจะต้องวางมาตรการในการควบคุมความผันแปรทางชีวภาพที่จะเกิดขึ้น

  32. 2.การควบคุมระหว่างการทดลอง (During-experiment control) 2.3 การควบคุมการผันแปรของสิ่งแวดล้อม (Environmental variation) การทดลองคลินิค และการทดลองสนามที่ใช้ระยะเวลานาน อาจมีการเปลี่ยนแปลงของสิ่งแวดล้อมของกลุ่มทดลองและกลุ่มควบคุมได้ ในการศึกษาจึงควรจะได้ศึกษาไปพร้อมกัน ในกรณีที่กลุ่มทดลองและกลุ่มควบคุมทำการศึกษาในต่างชุมชนกัน จะต้องนำการเปลี่ยนแปลงของสิ่งแวดล้อมมาพิจารณาร่วมด้วย

  33. 2.การควบคุมระหว่างการทดลอง (During-experiment control) 2.4 การควบคุมความสมดุลของอคติ (Balancing of bias) ในการทดลองคลินิคและการทดลองสนาม ผู้ดำเนินการทดลองในกลุ่มทดลองและกลุ่มควบคุมจะต้องมีทักษะในการดำเนินการเท่าเทียมกัน เช่น ผู้ที่ทำการทดลองผ่าตัดวิธีเก่า และวิธีใหม่จะต้องมีฝีมือและทักษะใกล้เคียงกัน การดำเนินการต่างๆ ในการสนับสนุนการทดลองในกลุ่มต่างๆ จะต้องมีลักษณะคล้ายคลึงกันยกเว้นปัจจัยที่ทำการศึกษา

  34. 2.การควบคุมระหว่างการทดลอง (During-experiment control) 2.4 การควบคุมความสมดุลของอคติ (Balancing of bias) ในการทดลองคลินิคและการทดลองสนาม ผู้ดำเนินการทดลองในกลุ่มทดลองและกลุ่มควบคุมจะต้องมีทักษะในการดำเนินการเท่าเทียมกัน เช่น ผู้ที่ทำการทดลองผ่าตัดวิธีเก่า และวิธีใหม่จะต้องมีฝีมือและทักษะใกล้เคียงกัน การดำเนินการต่างๆ ในการสนับสนุนการทดลองในกลุ่มต่างๆ จะต้องมีลักษณะคล้ายคลึงกันยกเว้นปัจจัยที่ทำการศึกษา

  35. 3.การควบคุมหลังการทดลอง (After-experiment control) 3.1 การเลือกผลสำหรับวัด (Selection of outcome) ในการทดลองต่างๆ ผลที่เกิดขึ้นมักมีหลายอย่าง แม้ในการทดลองง่ายๆ เกี่ยวกับวัคซีนป้องกันโรค ผลที่เกิดขึ้นอาจเกี่ยวกับจำนวนผู้ป่วย ความรุนแรงของโรค ภาวะแทรกซ้อนของโรคที่วัคซีนสามารถป้องกันได้ ในการเลือกจะต้องพิจารณาดูว่าผลอะไรที่มีความสำคัญต่อการทดลอง และวัดให้ตรงกับวัตถุประสงค์ของการทดลอง ควรมีเกณฑ์การวัดหรือวินิจฉัยที่ถูกต้องสมบูรณ์

  36. 3.การควบคุมหลังการทดลอง (After-experiment control) 3.2 การวัดผลแบบบอด (Blind assessment) ในการวัดผลเพื่อป้องกันอคติ (Bias) ที่อาจเกิดขึ้นได้ ผู้ที่ทำการทดลองหรือผู้ที่ทำการวัดผลจะต้องไม่ทราบว่าผู้ที่ถูกทดลองอยู่ในกลุ่มทดลอง (Experimental group) หรือกลุ่มควบคุม (Control group) การวัดผลแบบนี้จะทำให้ได้ผลสมบูรณ์และถูกต้องมากยิ่งขึ้น ในการวัดผลบางอย่าง เช่น การตรวจร่างกาย การตรวจอื่นๆ จำเป็นที่จะต้องไม่ให้ผู้ที่ทำการทดลอง และผู้ถูกทดลองอยู่ในกลุ่มใด แบบนี้เรียกว่า Double-blind procedure (Double-masked procedure) แบบนี้ช่วยลดอคติในการค้นหาผล

  37. 3.การควบคุมหลังการทดลอง (After-experiment control) 3.3 การควบคุมในการวิเคราะห์ (Control in analysis) ในการวิเคราะห์เบื้องต้น หรือวิเคราะห์อย่างง่าย (Simple analysis) จะต้องกำหนดเกณฑ์ต่างๆ ไว้อย่างชัดเจนและถูกต้อง กำหนดผลที่เกิดขึ้นให้ถูกประเภทในการวิเคราะห์ขั้นต่อไปจะต้องมีการวิเคราะห์โดยการจัดพวกหรือกลุ่มย่อย (Stratified analysis) โดยควบคุมปัจจัยซ่อนเร้นหรือปัจจัยร่วม (confounding factors) เช่น อายุ เพศ ฐานะทางเศรษฐกิจและสังคม ควบคุมปัจจัยที่มีผลต่อการรักษา (Prognosis factors) เช่น ระยะของโรคในโรคมะเร็ง ถ้าไม่ได้มีการควบคุมตอนออกแบบ (Control in design) หรือการกำหนดกลุ่มกระทำการควบคุมในการวิเคราะห์ด้วย

  38. ปัญหาด้านจริยธรรม (Ethical Problem) การทดลองคลินิคและการทดลองสนาม นับเป็นการศึกษาที่มีปัญหาทางด้านจริยธรรมมากกว่าการศึกษาแบบอื่นๆ เนื่องจากยาใหม่ วัคซีนใหม่ วิธีการรักษา หรือป้องกันแบบใหม่ที่นำมาทดลองยังไม่ทราบว่ามีประสิทธิภาพดีกว่าแบบเดิมมากน้อยเพียงใด และมีอันตรายหรือโรคแทรกซ้อนมากน้อยเพียงใด ถึงแม้ว่าจะได้ทำการตรวจสอบในห้องปฏิบัติการ และในสัตว์ทดลองแล้วก็ตาม ในการทดลองในการทดลองกัยคนจำนวนมาก อาจมีปัญหาต่างๆ เกิดขึ้นได้เสมอ

  39. ในการทดลองคลินิค และการทดลองสนาม จะต้องคำนึงถึงสิ่งต่อไปนี้ • การทดลองที่จะทำมีหลักฐานยืนยันว่ามีความปลอดภัยเพียงพอ • วิธีการรักษาหรือป้องกันที่ทดลองนั้นคาดว่าจะมีประสิทธิภาพสูง • ผลการทดลองจะได้ความรู้ใหม่ที่เป็นประโยชน์แก่มวลมนุษย์ • เลือกมาตรการให้ผู้ที่ถูกทดลองเสี่ยงอันตรายน้อยที่สุด • จำนวนคนที่ใช้ในการทดลองควรจำกัดให้น้อยที่สุดตามความจำเป็นทางสถิติ • ได้รับความยินยอมจากผู้เข้าร่วมโปรแกรมทดลอง • ดำเนินการทดลองตามหลักวิทยาศาสตร์ • มีมาตรการในการแก้ไขสิ่งผิดปกติ หรือภาวะแทรกซ้อนสำหรับผู้ที่ถูกทดลอง • หยุดดำเนินการวิจัยทันทีที่มีข้อชี้บ่งว่ามีอันตรายเกิดขึ้น

  40. Reference • ทัศสนี นุชประยูร เติมศรี ชำนิจาระกิจ การวิจัยชุมชนทางการแพทย์ กรุงเทพมหานคร ภาควิชาเวชศาสตร์ป้องกัน คณะแพทยศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย 2528 • ไพบูลย์ โล่ห์สุนทร หน่วยที่ 2 รูปแบบการวิจัยทางวิทยาศาสตร์สุขภาพ ในเอกสารการสอนชุดวิชา 50103 สถิติและการวิจัยสำหรับวิทยาศาสตร์สุขภาพ มหาวิทยาลัยสุโขทัยธรรมาธิราช กรุงเทพมหานคร บริษัทวิคตอรี่ เพาเวอร์พอยท์ จำกัด 2527 • ไพบูลย์ โล่ห์สุนทร ระบาดวิทยา ภาควิชาเวชศาสตร์ป้องกัน คณะแพทยศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย 2540 • สมชาย สุพันธ์วานิช หลักระบาดวิทยา กรุงเทพมหานคร สำนักพิมพ์ศูนย์ส่งเสริมวิชาการ 2529

More Related