1 / 50

บทที่ 5

บทที่ 5. การกำหนดนโยบาย การนำนโยบายไปปฏิบัติ และการประเมินผลนโยบาย. หัวข้อ. 1. การกำหนดนโยบาย - การระบุปัญหา - การพัฒนาทางเลือก - การเสนอทางเลือก 2. การนำนโยบายไปปฏิบัติ - ความหมายและลักษณะการนำนโยบายไปปฏิบัติ - ความสัมพันธ์ระหว่างการนำนโยบายไปปฏิบัติและขั้นตอนอื่นในกระบวนการนโยบาย

leann
Download Presentation

บทที่ 5

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. บทที่ 5 การกำหนดนโยบาย การนำนโยบายไปปฏิบัติ และการประเมินผลนโยบาย อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  2. หัวข้อ • 1. การกำหนดนโยบาย -การระบุปัญหา -การพัฒนาทางเลือก -การเสนอทางเลือก • 2.การนำนโยบายไปปฏิบัติ -ความหมายและลักษณะการนำนโยบายไปปฏิบัติ -ความสัมพันธ์ระหว่างการนำนโยบายไปปฏิบัติและขั้นตอนอื่นในกระบวนการนโยบาย -ปัจจัยกำหนดความสำเร็จหรือล้มเหลวของการนำนโยบายไปปฏิบัติ • 3.การประเมินผลนโยบาย -ความหมายและลักษณะของการประเมินผลนโยบาย -ประเภทของการประเมินผลนโยบาย -วิธีการประเมินผลนโยบาย อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  3. การกำหนดนโยบาย อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  4. 1. การระบุปัญหา - • จะต้องระบุให้ถูกต้องว่า อะไรคือ “อาการของปัญหาหรือตัวปัญหา” อะไรคือ “สาเหตุของปัญหา” เพราะจะทำให้การแก้ปัญหาเป็นไปอย่างถูกต้อง • ให้นักศึกษายกตัวอย่างปัญหาทางเศรษฐกิจและสังคม และสาเหตุปัญหามา สัก 3 ปัญหา อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  5. - ลักษณะของปัญหานโยบาย • ลักษณะของปัญหานโยบาย โดยทั่วไป -ปัญหานโยบายเป็นปัญหาที่มีความสัมพันธ์กับปัญหาอื่น (interdependence) -ปัญหานโยบายเป็นปัญหาที่มีความสัมพันธ์กับตัวผู้กำหนดนโยบาย (subjectivity) -ปัญหานโยบายเป็นเรื่องของการสร้างสรรค์และคิดคำนึง (artificiality) -ปัญหานโยบายเปลี่ยนแปลงได้ตามสถานการณ์และเวลา (dynamism) • ลักษณะของปัญหานโยบาย ตามความยากง่ายในการแก้ไขปัญหา -ปัญหาที่มีโครงสร้างดีเยี่ยม (well-structured problem) -ปัญหาที่มีโครงสร้างดีปานกลาง (moderately-structured problem) -ปัญหาที่มีโรงสร้างไม่ชัดเจน (ill-structured problem) อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  6. - • ลักษณะของปัญหานโยบาย ตามความยากง่ายในการแก้ไขปัญหา อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  7. - วิธีการระบุประเด็นปัญหา 5 แนวทาง • ความคิดสร้างสรรค์เป็นญาณ (intuition) • ความคิดสร้างสรรค์เป็นการสังเคราะห์ (synthesis) • ความคิดสร้างสรรค์เป็นจินตนาการ (imagination) • ความคิดสร้างสรรค์เป็นการเปลี่ยนความสนใจ (attention) • ความคิดสร้างสรรค์เกิดจากความขัดแย้ง (conflict) อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  8. - เทคนิควิธีการระบุประเด็นปัญหานโยบาย • วิธีการวิเคราะห์แยกประเภท (classification analysis) >ประเภทต่างๆที่แยกควรสอดคล้องกับเนื้อหาหรือเรื่องที่พิจารณา >การแยกประเด็นต้องให้ได้ประเภทต่างๆที่ครอบคลุมปัญหาทั้งหมด >ประเภทต่างๆที่แยกควรให้เป็นกลุ่มที่ชัดเจนเด็ดขาดจากกันไม่คาบเกี่ยวกัน >หลักเกณฑ์การแยกประเภทควรเป็นอย่างเดียวกันตลอดทุกกลุ่ม >การแยกกลุ่มควรให้กลุ่มต่างๆมีความแตกต่างกันอย่างเป็นระบบหรือมีลำดับขั้นที่เห็นได้เด่นชัด อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  9. - เทคนิควิธีการระบุประเด็นปัญหานโยบาย(ต่อ) • วิธีการสร้างภาพเหมือนหรือสถานการณ์จำลอง (synectics) >การสร้างภาพเหมือนส่วนตัวโดยสมมุติตัวเองเข้าไปอยู่ในเหตุการณ์ >การสร้างภาพเหมือนโดยตรงโดยใช้สถานการณ์จริงที่ใกล้เคียงกันมาเปรียบเทียบ >การสร้างภาพเหมือนจากสัญลักษณ์ที่เห็นได้เด่นชัดมาพิจารณาสถานการณ์ >การสร้างภาพเหมือนโดยการจินตนาการขึ้นมาเอง อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  10. 2. การพัฒนาทางเลือก 3 วิธี - • การประเมินความเป็นไปได้ (feasibility assessment techniques) • การประเมินโดยใช้โปรแกรมเส้นตรง (linear programming) • การวิเคราะห์ต้นทุน-ผลประโยชน์ (cost-benefit analysis) อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  11. การประเมินความเป็นไปได้ (feasibility assessment techniques) - • จุดยืนในประเด็นนโยบาย +1 คือ การสนับสนุน 0 คือ การวางตัวเป็นกลาง -1 คือ การคัดค้าน • ทรัพยากรที่มีอยู่ 0 คือ ไม่ใช้ทรัพยากรที่มีอยู่เพื่อผลักดันทางเลือกนโยบาย 1 คือ นำทรัพยากรทีมีอยู่ทั้งหมดมาเพื่อผลักดันทางเลือกนโยบาย • ลำดับความสำคัญมากน้อยของทรัพยากรที่มีอยู่ของแต่ละกลุ่ม ดัชนี แสดง อำนาจหรืออิทธิพลที่แต่ละกลุ่มมีอยู่ในส่วนที่เกี่ยวข้องกับนโยบายที่พิจารณา อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  12. ตัวอย่างการพิจารณาทางเลือกการดำเนินนโยบายการคลังตัวอย่างการพิจารณาทางเลือกการดำเนินนโยบายการคลัง - • ทางเลือกที่ 1 การเพิ่มภาษี • ทางเลือกที่ 2 การตัดงบประมาณ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  13. ทางเลือกที่ 1 การเพิ่มภาษี อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  14. ดัชนีแสดงค่าความเป็นไปได้ = = =-0.13 อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  15. ทางเลือกที่ 2 การตัดงบประมาณ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  16. ดัชนีแสดงค่าความเป็นไปได้ = = =0.11 อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  17. 3. การเสนอทางเลือก - • ประสิทธิผล >> ความสามารถในการบรรลุวัตถุประสงค์ • ประสิทธิภาพ>> ความสามารถในการผลผลิตผลผลิตและบริการ ดูปริมาณผลผลิต และต้นทุนการผลิต • ความพอเพียง >> ความสามารถบรรลุวัตถุประสงค์ภายใต้ทรัพยากรที่มีอยู่ วัดจากทรัพยากรที่ใช้คืองบประมาณ • ความเป็นธรรม >> การกระจายตัวของผลการดำเนินการ • ความสามารถในการตอบสนอง >> ตอบสนองกลุ่มต่างๆ • ความเหมาะสม >> การบรรลุวัตถุประสงค์และเป้าหมายนโยบาย อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  18. อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  19. การนำนโยบายไปปฏิบัติ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  20. หัวข้อ • 1. ความหมายของการนำนโยบายไปปฏิบัติ • 2.ลักษณะของการนำนโยบายไปปฏิบัติ • 3.ความสัมพันธ์ระหว่างการนำนโยบายไปปฏิบัติและขั้นตอนอื่นในกระบวนการนโยบาย • 4.ปัจจัยกำหนดความสำเร็จหรือล้มเหลวของการนำนโยบายไปปฏิบัติ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  21. 1. ความหมายของการนำนโยบายไปปฏิบัติ • การนำนโยบายไปปฏิบัติ เป็นการดำเนินการให้สำเร็จลุล่วงตามเป้าหมายของนโยบาย โดยมีความหมายว่า ก่อนนำนโยบายไปปฏิบัติต้องมีตัวตนนโยบายก่อนและต้องมีเป้าหมายและวัตถุประสงค์กำหนดไว้ด้วย นั่นคือ การนโยบายไปปฏิบัติเป็นขั้นตอนหนึ่งในกระบวนการนโยบาย โดยขั้นตอนที่สืบเนื่องมาจากการกำหนดนโยบาย โดยการนำนโยบายไปปฏิบัติเป็นกระบวนการ นั่นคือ มีความต่อเนื่องไม่หยุดนิ่งมีขั้นตอนในการดำเนินกิจกรรมไม่ใช่กิจกรรมที่เกิดขึ้นชั่วคราวแล้วยุติไป มิใช่กิจกรรมที่ทำบ้างไม่ทำบ้าง แต่เป็นกิจกรรมที่ทำอย่างต่อเนื่อง แต่ละขั้นตอนมีความสัมพันธ์กันตลอดเวลา อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  22. 2.ลักษณะของการนำนโยบายไปปฏิบัติ2.ลักษณะของการนำนโยบายไปปฏิบัติ • การนำนโยบายไปปฏิบัติเป็นกระบวนการที่มีผู้เกี่ยวข้องสำคัญๆมากมาย >>ประชาชน เอกชน หน่วยงานราชการ ที่มีบทบาทหน้าที่เกี่ยวข้องทั้งทางตรงและทางอ้อม • ผู้เกี่ยวข้องกับการนำนโยบายไปปฏิบัติ มักมีวัตถุประสงค์หลากหลายและมักต่างกัน >>แตกต่างกันตามความต้องการตนเอง หน่วยงาน และสังคม การตอบสนองวัตถุประสงค์องค์กร วัตถุประสงค์ของนโยบายรัฐบาล ดังนั้นจึงมีทั้งสอดคล้องและขัดแย้งกัน • การนำนโยบายไปปฏิบัติ มักมีการขยายขอบเขตของนโยบายในเวลาต่อมาอันเนื่องมาจากภารกิจเพิ่มขึ้น>>เช่นภายหลังการนำนโยบายไปปฏิบัติพบว่าพบว่าประเด็นปัญหาได้ขยายตัวขึ้นจำเป็นต้องขยายขอบเขตนโยบายออกไป นอกจากนี้อาจขยายเพิ่มจากการที่ผลการปฏิบัติประสบความสำเร็จก็ได้ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  23. 2.ลักษณะของการนำนโยบายไปปฏิบัติ(ต่อ)2.ลักษณะของการนำนโยบายไปปฏิบัติ(ต่อ) • การนำนโยบายไปปฏิบัติเป็นกระบวนการของความสำพันธ์ระหว่างหน่วยงานจากหลายกระทรวงในหลายระดับ>>ดังนั้นจึงต้องมีการประสานงานกันระหว่างหน่วยงานที่ดีมีประสิทธิภาพ • การนำนโยบายไปปฏิบัติอาจประสบกับปัจจัยที่อยู่นอกเหนือการควบคุม ซึ่งจะทำให้การดำเนินงานพบกับความยุ่งยาก>>ทั้งปัจจัยทางการเมือง เศรษฐกิจ สังคม เทคโนโลยี ภัยธรรมชาติ เป็นต้น อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  24. 3.ความสัมพันธ์ระหว่างการนำนโยบายไปปฏิบัติและขั้นตอนอื่นในกระบวนการนโยบาย3.ความสัมพันธ์ระหว่างการนำนโยบายไปปฏิบัติและขั้นตอนอื่นในกระบวนการนโยบาย การกำหนดนโยบาย-การระบุประเด็นปัญหา-การพัฒนาทางเลือก-การเสนอทางเลือก การนำนโยบายไปปฏิบัติ -การแปลความกฎหมาย/นโยบายรูปแบบอื่น-การรวบรวมทรัพยากร-การวางแผน-การจัดองค์กร-การดำเนินการ การประเมินผลนโยบาย-ปรับเปลี่ยน/ยกเลิกนโยบาย ผลการดำเนินการระยะสั้น ผลการดำเนินการระยะยาว โครงการ/แผนปฏิบัติการ กฎหมาย/นโยบาย/แนวการดำเนินการ/ผลที่คาดหวัง อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  25. 4.ปัจจัยกำหนดความสำเร็จหรือล้มเหลวของการนำนโยบายไปปฏิบัติ4.ปัจจัยกำหนดความสำเร็จหรือล้มเหลวของการนำนโยบายไปปฏิบัติ • 1.ลักษณะของนโยบาย>>การปฏิบัติตามนโยบายจะประสบความสำเร็จมากที่สุดเมื่อนโยบายนั้นเรียกร้องให้มีการเปลี่ยนแปลงสิ่งต่างๆน้อยที่สุดและมีความเห็นพ้องต้องกันในวัตถุประสงค์ในระดับสูงระหว่างฝ่ายปฏิบัติและฝ่ายผู้กำหนดนโยบายหรือระหว่างฝ่ายประชาชนผู้มีส่วนได้ส่วนเสียในนโยบายกับฝ่ายรัฐผู้กำหนดนโยบาย สาธารณชนสามารถรับรู้และเปรียบเทียบได้ว่านโยบายที่กำหนดมีประโยชน์มากกว่านโยบายอื่น ความสอดคล้องกับค่านิยม ประสบการณ์ และความต้องการของผู้ที่จะรับผลกระทบจากนโยบาย มีความเป็นไปได้ในการทดลองปฏิบัติ มีข้อมูลย้อนกลับสะท้อนการสำเร็จหรือล้มเหลวจากการปฏิบัติ • 2.วัตถุประสงค์ของนโยบาย>> ต้องมีความชัดเจน สอดคล้องเป็นอันหนึ่งอันเดียวกัน ง่ายแก่การเข้าใจของผู้ปฏิบัติ มีตัวชี้วัดความสำเร็จที่ชัดเจน อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  26. 4.ปัจจัยกำหนดความสำเร็จหรือล้มเหลวของการนำนโยบายไปปฏิบัติ(ต่อ)4.ปัจจัยกำหนดความสำเร็จหรือล้มเหลวของการนำนโยบายไปปฏิบัติ(ต่อ) • 3.ความเป็นไปได้ทางการเมือง >>ได้รับการสนับสนุนจากทุกฝ่าย ทั้งฝ่ายการเมือง ชนชั้นนำ สื่อมวลชน ประชาชนผู้ออกเสียง • 4.ความเป็นไปได้ทางเทคนิคหรือทฤษฎี >>โดยนโยบายจะต้องไม่ยุ่งยากในการเข้าใจและการปฏิบัติ หากจะต้องมีการเปลี่ยนแปลงการปฏิบัติจากเดิมจะต้องมีความชัดเจนในขั้นตอนการปฏิบัติ มีการวางแผนที่ดีทั้งแผนหลักในการปฏิบัติและแผนสำรองเพื่อป้องกันความล้มเหลว มีการปรับใช้เทคโนโลยีให้เหมาะสมกับพื้นที่และงาน • 5.ความเพียงพอของทัพยากร >>ทั้งทางงบประมาณ บุคลากรที่มีคุณภาพ การบริการทางวัสดุอุปกรณ์และสถานที่ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  27. 4.ปัจจัยกำหนดความสำเร็จหรือล้มเหลวของการนำนโยบายไปปฏิบัติ(ต่อ)4.ปัจจัยกำหนดความสำเร็จหรือล้มเหลวของการนำนโยบายไปปฏิบัติ(ต่อ) • 6.ลักษณะของหน่วยงานที่นำนโยบายไปปฏิบัติ >>เป็นหน่วยงานที่มีอยู่แล้ว และสนับสนุนนโยบายทั้งงบประมาณและกำลังคน มีลำดับชั้นการบังคับบัญชาน้อย การสื่อสารมีประสิทธิภาพ ผู้นำมีภาวะความเป็นผู้นำ • 7. ทัศนคติของผู้นำนโยบายไปปฏิบัติ >>มีทัศนคติที่ดีสอดคล้องกับวัตถุประสงค์ของนโยบาย นโยบายต้องไม่ขัดแย้งกับการปฏิบัติงานเดิมๆค่านิยม ตลอดจนอำนาจ ผลประโยชน์และศักดิ์ศรีของผู้ปฏิบัติ • 8. ความสัมพันธ์ระหว่างกลไกต่างๆที่นำนโยบายไปปฏิบัติ >> จำนวนหน่วยงานที่เกี่ยวข้องไม่มาก จำนวนจุดที่ตัดสินใจในการดำเนินงานไม่มาก มีความสัมพันธ์ที่ดีต่อกันอยู่เดิมแล้ว และไม่มีการแทรกแซงจากหน่วยงานระดับบน อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  28. การประเมินผลนโยบาย อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  29. หัวข้อ • 1. ความหมายของการประเมินผลนโยบาย • 2.ลักษณะของการประเมินผลนโยบาย • 3.ประเภทขงการประเมินผลนโยบาย -การประเมินผลแบบเทียม (Psuedo evaluation) -การประเมินผลแบบเป็นทางการ (Formal evaluation) -การประเมินผลแบบพิจารณาความเหมาะสม (Decision theoretical evaluation) • 4.วิธีการประเมินผลนโยบาย -วิธีเดลฟี่เชิงนโยบาย (Policy Delphi)-การวิเคราะห์อนุกรมเวลาแบบเป็นช่วง (Interuped Time Series Analysis) -การเชิงถดถอยแบบไม่ต่อเนื่อง (Regresion-discontinuity Analysis) อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  30. 1. ความหมายของการประเมินผลนโยบาย คำที่ใช้เรียกการประเมินผลนโยบาย (Policy evaluation) • การประเมินผลระหว่างการดำเนินการ ( formative evalyation ) • การประเมินผลสรุปรวบยอด ( summativeevalyation ) • การประเมินผลย้อนหลัง ( retrospectiveevalyation ) • การประเมินผลล่วงหน้า( evaluabilityassessment ) • การประเมินความสามารถประเมินผล ( prospectiveevalyation ) และ • การประเมินผลกระทบ ( impactevalyation ) อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  31. นิยามการประเมินผลนโยบายนิยามการประเมินผลนโยบาย • การประเมินผลเกี่ยวข้องกับกระบวนการวัดคุณค่าของผลของการดำเนินการตามนโยบาย เพื่อที่จะนำมาเปรียบเทียบกับเป้าหมายหรือวัตถุประสงค์ที่กำหนดไว้ การปฏิบัติ การวางแผน ผลการดำเนินการ วัตถุประสงค์ เป้าหมาย การประเมินผล อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  32. 2.ลักษณะของการประเมินผลนโยบาย2.ลักษณะของการประเมินผลนโยบาย โจเซฟ ดี กองตัวส์ ( JosephD. Comtois ) • เป็นสหสาขาวิชา • เป็นที่ยอมรับทั้งผู้ประเมินเองและผู้มีอำนาจตัดสินใจ • นำยุทธวิธีต่างๆมาผสมผสานกันอย่างเหมาะสม • กระทำอย่างเป็นกลางให้มากที่สุดเท่าที่จะมาได้ • การรวบรวมข้อมูลข่าวสารต่างๆต้องเน้นการติดต่อสื่อสารระหว่างบุคคลภายในหน่วยงาน • วิธีการที่ใช้ต้องยืดหยุ่นและเปิดกว้างเพียงพอที่จะยอมรับระเบียบวิธีการศึกษาวิจัยทั้งเชิงปริมาณ และเชิงคุณภาพ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  33. โรเบิร์ต เอฟ คลาก ( RobertF.Clark ) • การใช้วิธีวิจัยเชิงทดลองในการประเมินผล ( experimentaldesignresearch ) >> โดยการแบ่งกลุ่มทดลอง และกลุ่มควบคุม แล้วทำการประเมินผล โดยผู้ประเมินต้องควบคุมตัวแปรได้ • การเปิดโอกาสให้ผู้รับผิดชอบในนโยบาย เข้ามามีส่วนร่วมอย่างใกล้ชิดตั้งแต่การเริ่มการวางแผนการประเมิน การกำหนดยุทธวิธี การออกแบบวิธีการประเมิน ไปจนถึงการลงมือเก็บรวบรวมข้อมูล การวิเคราะห์และตีความหมายของข้อมูล >> อย่างไรก็ตามอาจเกิดความล่าช้าได้ • ผลที่ได้จากการประเมินมีผลกระทบต่อนโยบายหรือโครงการใดโครงการหนึ่งโดยเฉพาะ >>นำสู่การปรับปรุงแก้ไขนโยบายหรือโครงการต่อไป อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  34. วิล เลียมดูนน์ ( WilliumDunn ) • การเน้นคุณค่า ( value - focus )>> ว่านโยบายสมควรสนับสนุนต่อไปหรือไม่ • ความสัมพันธ์ระหว่างข้อเท็จจริงและคุณค่า ( fact - value interdependence ) >>ข้อเท็จจริงนำไปสู่การตัดสินในคุณค่าของนโยบาย • ความเกี่ยวเนื่องทั้งปัจจุบันและอดีต ( presentandpastorientation )>> เป็นกระบวนการที่เกิดหลังการนำนโยบายไปปฏิบัติ โดยการเปรียบเทียบสิ่งที่คาดหวังกับสิ่งที่เกิดขึ้นจริง • ความมีคุณค่าซ้อน( value - duality )>>โดยตัวมันเองมีคุณค่าเชิงนโยบาย และมีคุณค่าต่อสิ่งอื่นด้วย อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  35. 3.ประเภทขงการประเมินผลนโยบาย3.ประเภทขงการประเมินผลนโยบาย วิธีการประเมินผลนโยบายจากวิธีการประเมิน • การประเมินเชิงปริมาณ และการประเมินเชิงคุณภาพ วิธีการประเมินผลนโยบายจากบุคคลผู้ประเมิน • การประเมินโดยหน่วยราชการ การประเมินโดยองค์กรอิสระ และการประเมินโดยนักวิชาการ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  36. ประเภทของการประเมินผลนโยบายตามลักษณะการประเมินผลประเภทของการประเมินผลนโยบายตามลักษณะการประเมินผล 1.การประเมินผลแบบเทียม( Pseudo - evalyation ) • การประเมินผลซึ่งใช้วิธีการที่เป็นวิทยาศาสตร์ในการสร้างข่าวสารที่ถูกต้องและเชื่อถือได้เกี่ยวกับนโยบาย โดยไม่พยายามที่จะพิจารณาว่า ผลดังกล่าวมีคุณค่า หรือประโยชน์มากน้อยเพียงใดต่อประชาชนกลุ่มต่างๆในสังคมและต่อประเทศชาติโดยส่วนรวม • ผู้ประเมินมักใช้วิธีการต่างๆหลายวิธี เพื่ออธิบายผลของนโยบายที่เกิดขึ้นว่ามาจากปัจจัยสำคัญอะไรบ้าง วิธีการต่างๆที่ใช้มักจะเน้นการวิจัยทดลอง การวิจัยกึ่งทดลองและการใช้แบบสอบถามในการเก็บรวบรวมข้อมูล วิธีการทางสถิตต่างๆ มักจะถูกนำมาประยุกต์ใช้ในการประเมินผล มาว่าจะเป็นการสุ่มตัวอย่าง การวิเคราะห์ข้อมูล หรือการตีความข้อมูล อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  37. รูปแบบที่ใช้ในการประเมินผลแบบเทียมรูปแบบที่ใช้ในการประเมินผลแบบเทียม • รูปแบบการทำบัญชีระบบสังคม( socialsystemsaccounting )>>เน้นการสร้างดัชนีสังคม ( socialindicator )ขึ้นมา เพื่อแสดงการเปลี่ยนแปลงต่างๆ ในสังคมและเป็นตัววัดเพื่อประเมินผลนโยบาย ทั้งในทางเศรษฐกิจ สังคม และการเมือง >> ผลิตภัณฑ์มวลรวมประชาชาติ อัตราการว่างงาน >> ตัวชี้วัดแบบปรนัย วัดมาเป็นตัวเลขได้ เป็นรูปธรรม เช่น จำนวนรายได้ ส่วนตัวชี้วัดแบบอัตนัย เป็นเชิงนามธรรม เช่น ทัศนคติของปะชาชน • รูปแบบการทดลองทางสังคม ( socialexperimentation )>>เน้นการทดลองใช้นโยบายหนึ่งๆในกลุ่มเป้าหมายตัวอย่าง แล้วประเมินผลที่เกิดขึ้นจากการดำเนินการตามนโยบายนั้น อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  38. รูปแบบที่ใช้ในการประเมิน (ต่อ) • รูปแบบการตรวจสอบทางสังคม ( socialauditing ) >> เน้นการพิจารณาความสัมพันธ์ระหว่างปัจจัยนำเข้า กระบวนการในการดำเนินการตามนโยบายและผลของนโยบาย >> ทำให้ทราบเหตุการณ์และกิจกรรมต่างๆทั้งหมดที่เกิดขึ้นในกระบวนการแปรสภาพซึ่งเน้นการเข้าไปมีส่วนร่วมในเหตุการณ์ของผู้ประเมิน เน้นการสังเกต การสัมภาษณ์ • รูปแบบการวิจัยสะสมทางสังคม ( socialresearchaccumulation )>> เน้นการรวบรวมสะสมข่าวสารข้อมูลต่างๆ เกี่ยวกับผลการดำเนินการตามนโยบายที่ผ่านมา แล้วนำมาเปรียบเทียบและประเมินเก็บสะสมไว้ประกอบการประเมินผลนโยบายครั้งต่อๆไป >> ข้อมูลที่ได้จาก 1)กรณีตัวอย่าง 2)รายงานการวิจัย อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  39. 2. การประเมินผลแบบเป็นทางการ ( Formal evaluation ) • การประเมินผลซึ่งใช้วิธีการที่เป็นวิทยาศาสตร์ในการสร้างข่าวสารที่ถูกต้องและเชื่อถือได้เกี่ยวกับนโยบายโดยประเมินผลนโยบายจากวัตถุประสงค์หรือเป้าหมายของนโยบายที่กำหนดไว้อย่างเป็นทางการ • ใช้ข้อมูลต่างๆที่เป็นกฎหมาย ในเค้าโครงนโยบายรวมทั้งข้อมูลที่ได้จากการสัมภาษณ์ผู้กำหนดนโยบายและผู้นำนโยบายไปปฏิบัติเป็นข้อมูลในการระบุและนิยามวัตถุประสงค์รวมทั้งเป้าหมายที่เป็นทางการของนโยบาย • เกณฑ์ที่ใช้ในการประเมินจึงเน้นเกณฑ์ประสิทธิภาพหรือประสิทธิผลของนโยบายเป็นหลัก อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  40. รูปแบบที่ใช้ในการประเมินผลแบบเป็นทางการรูปแบบที่ใช้ในการประเมินผลแบบเป็นทางการ • การประเมินพัฒนาการของการปฏิบัติ (developmentalevaluation )>> เพื่อประเมินการทำงานประจำวันของผู้นำนโยบายไปปฏิบัติโดยเฉพาะ ผู้ประเมินสามารถควบคุมการดำเนินการตามนโยบายได้โดยตรง มีการวัดประสิทธิภาพและสัมฤทธิผลในการทำงานที่เกิดขึ้นเป็นระยะตลอดเวลา • กระบวนการของการนำนโยบายไปปฏิบัติที่ผ่านมา (retrospectiveprocessevaluation)>> ใช้ประเมินนโยบายที่ได้รับการนำไปปฏิบัติแล้วระยะเวลาหนึ่ง การประเมินผลแบบนี้เน้นการพิจารณาปัญหาและอุปสรรคที่เกิดขึ้นเมื่อนำนโยบายไปปฏิบัติและไม่ยินยอมให้ผู้ประเมินควบคุมกิจกรรมใดๆในส่วนที่เกี่ยวกับปัจจัยนำเข้าของนโยบาย มักใช้วิธีมองกลับมาพิจารณาเหตุการณ์และกิจกรรมต่างๆที่เกิดขึ้นเรียบร้อยแล้ว อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  41. รูปแบบที่ใช้ในการประเมินผลแบบเป็นทางการ(ต่อ)รูปแบบที่ใช้ในการประเมินผลแบบเป็นทางการ(ต่อ) • การประเมินผลโดยใช้รูปแบบการทดลอง (experimentalevaluation )>> เป็นการประเมินผลที่ประเมินผลสามารถควบคุมปัจจัยนำเข้าและกระบวนการแปรสภาพนโยบายได้ ขั้นตอนในการประเมินผลแบบนี้ จึงคล้ายกับขั้นตอนที่ใช้ในการทดลองในห้องปฏิบัติการทางวิทยาศาสตร์ เพื่อทดสอบว่าผลของนโยบายที่เกิดขึ้นนั้นเนื่องมาจากนโยบายนั้นใช่หรือไม่ • การประเมินผลลัพธ์ของการนำนโยบายไปปฏิบัติที่ผ่านมา (retrospectiveoutcomeevaluation)>> เพื่อศึกษาผลกระทบสุทธิของนโยบายที่ดำเนินไปว่ามีผลลัพธ์เกิดขึ้นอย่างไรเมื่อปัจจัยอื่นๆที่อาจมีอิทธิพลต่อผลกระทบดังกล่าวคงที่ โดยการประเมินในระยะเวลาหนึ่งโดยเฉพาะ หรือในช่วงระยะเวลาติดต่อกันการเปรียบเทียบว่าลักษณะของปัจจัยนำเข้าและกระบวนการแประสภาพอย่างไรที่ก่อให้เกิดผลที่พึ่งปรารถนา เปรียบเทียบผลของนโยบายหลายช่วงเวลาว่ามีความแตกต่างกันอย่างไรบ้าง อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  42. 3.การประเมินผลแบบพิจารณาความเหมาะสม ( decisiontheoretical evaluation ) • เน้นการพยายามที่จะนำเอาวัตถุประสงค์และเป้าหมายของนโยบายทั้งที่เป็นทางการและที่แอบแฝงอยู่ในรูปของทัศนะของประชาชนผู้มีส่วนได้ส่วนเสียต่างๆมาพิจารณาเป็นเกณฑ์ร่วมกับวัตถุประสงค์และเป้าหมายที่กำหนดเป็นทางการโดยผู้กำหนดนโยบายและผู้นำนโยบายไปปฏิบัติเกณฑ์ที่ใช้ในการประเมินวิธีจึงกว้างขวางและครอบคลุมมากกว่าเกณฑ์ที่ใช้ในการประเมินวิธีอื่น • ช่วยให้ประชาชนกลุ่มต่างๆยอมรับและนำผลการประเมินไปใช้ประโยชน์มากขึ้น ช่วยให้วัตถุประสงค์หรือเป้าหมายี่กว้างเกินไปจนคลุมเครือให้รับการนิยามใหม่ให้เฉพาะเจาะจงขึ้น ช่วยให้ทราบถึงวัตถุประสงค์หรือเป้าหมายทั้งหลายที่อาจขัดแย้งกันดังกล่าวเปิดเผยและรับรู้ร่วมกันย่อมทำให้การประเมินผลนโยบายถูกต้องและรัดกุมยิ่งขึ้น อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  43. รูปแบบที่ใช้ในการประเมินผลแบบพิจารณาความเหมาะสมรูปแบบที่ใช้ในการประเมินผลแบบพิจารณาความเหมาะสม • การประเมินความสามารถที่จะประเมินได้ ( evaluabilityassessment >>มุ่งตอบคำถามที่สำคัญว่า นโยบายนั้นสามารถประเมินผลได้หรือไม่ โดยต้องระบุเนื้อหาและวัตถุประสงค์ของนโยบายให้ชัดเจน รวบรวมข่าวสารทั้งหลายทั้งปวงที่เกี่ยวข้องกับนโยบาย สร้างตัวแบบเพื่ออธิบายผลของนโยบายที่อธิบายให้ทราบถึงกิจกรรมต่างๆและผลลัพธ์ที่เกิดขึ้น ประเมินความเป็นไปได้ของการประเมินผล และรายงานผลการประเมิน • การวิเคราะห์อรรถประโยชน์แบบพหุลักษณ์ ( multi – attributeutilityanalysis )>>มุ่งตอบคำถามว่า ผู้มีส่วนได้ส่วนเสียในนโยบายมีทัศนะและการรับรู้เช่นไร ในเรื่องอรรถประโยชน์ของนโยบายและความเป็นไปได้ที่ผลของนโยบายจะเกิดขึ้น โดยต้องระบุผู้มีส่วนได้ส่วนเสียในนโยบายให้ชัดเจน แจกแจงให้ชัดเจนว่ามีการดำเนินการตามนโยบายประเภทใดบ้าง ที่ประชาชนที่เกี่ยวข้อง แจกแจงผลของนโยบายต่างๆที่อาจเกิดขึ้นได้จากการดำเนินการแต่ละประเภท อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  44. ที่อาจเกิดขึ้นได้จากการดำเนินการแต่ละประเภท แยกแยะให้เห็นชัดเจนว่าผลของนโยบายแต่ละข้อนั้นมีคุณประโยชน์ที่ได้รับและผลเสียที่อาจเกิดขึ้น จัดลำดับความสำคัญของแต่คุณลักษณะ ให้น้ำหนักของแต่ละคุณลักษณะ ทำค่าของน้ำหนักที่คำนวณได้ให้เป็นคะแนนมาตรฐานเดียวกัน คำนวณความเป็นไปได้ที่ผลของนโยบายแต่ละเรื่องจะสามารถบรรลุคุณลักษณะแต่ละชนิด คำนวณอรรถประโยชน์ของผลของนโยบายแต่ละเรื่องโดยใช้สูตร Ui = Wj* Uij เมื่อ Ui = อรรถประโยชน์ร่วมของนโยบายเรื่องที่ i Wj = ค่าคะแนนมาตรฐานของคุณลักษณะเรื่องที่ j ประเมินและรายงานผลโดยชี้ให้เห็นว่าผลของนโยบายใดก่อให้เกิดประโยชน์สูงสุดต่อประชาชนผู้มีส่วนได้ส่วนเสีย อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  45. 4. วิธีการประเมินผลนโยบาย 1.วิธีเดลฟีเชิงนโยบาย ( Policy Delohi ) • เน้นการนำเอาข้อคิดและความเห็นของผู้เชี่ยวชาญที่มีประสบการณ์สูงในเนื้อหาและเรื่องราวของนโยบายที่กำลังประเมินมาประมวลและเปรียบเทียบกันเพื่อหาข้อสรุปเกี่ยวกับผลนโยบาย • หัวใจของวิธีการของเดลฟี คือ การพยายามสรุปความคิดเห็นที่ผู้เชี่ยวชาญทุกคนเห็นพ้องต้องกันซึ่งเชื่อว่าจะเกิดขึ้นภายหลังจากทำการสอบถามแล้วหลายๆรอบ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  46. หลักสำคัญวิธีเดลฟีทั่วไปหลักสำคัญวิธีเดลฟีทั่วไป • ชื่อผู้เชี่ยวชาญต้องปกปิดเป็นความลับ (anomymity ) • การถามความคิดเห็นผู้เชี่ยวชาญควรถามซ้ำหลายๆครั้ง ( iteration ) • ข้อมูลย้อนกลับไปยังผู้เชี่ยวชาญควรถูกควบคุมและป้องกันมิให้ทราบรายละเอียดของข้อมูลที่ประมวลแล้วยกเว้นภาพรวมของข้อมูล( controlledfeedback ) • การสรุปภาพรวมต้องแสดงเป็นสถิติ( statisticalgroup response ) • ข้อสรุปที่จะนำเสนอสู่ภายนอก ต้องเป็นข้อสรุปที่เห็นพ้องต้องกันของผู้เชี่ยวชาญทุกคน( expertconsensus ) อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  47. หลักสำคัญวิธีเดลฟีเชิงนโยบายหลักสำคัญวิธีเดลฟีเชิงนโยบาย • การปกปิดชื่อผู้เชี่ยวชาญในระยะเริ่มแรก( selective anomymity ) • การใช้ผู้เชี่ยวชาญที่มาจากต่างสถาบันหรือต่างหน่วยงานกัน(informedmultipleadvocacy )>> เพราะจะทำให้การประเมินไม่ลำเอียงหรือถูกโน้มเอียงไปทางใดทางหนึ่ง • การวิเคราะห์ข้อมูลทางสถิติใช้การวิเคราะห์แบบแยกกลุ่ม ( polarized statistiscal response ) แทนการเสนอภาพรวมของกลุ่มเดียว • การจัดความเห็นที่ขัดแย้งกันให้มีระบบมีโครงสร้างที่ชัดเจนอธิบายได้ ( structured confict ) • การเปิดโอกาสให้มีการแลกเปลี่ยนความเห็นระหว่างผู้เชี่ยวชาญผ่านเครือข่ายคอมพิวเตอร์(computerconferencing) อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  48. ขั้นตอนของวิธีเดลฟีเชิงนโยบายขั้นตอนของวิธีเดลฟีเชิงนโยบาย • การชี้ประเด็นที่ต้องการประเมิน >> ว่ามีวัตถุประสงค์หรือขอบข่ายที่ต้องการประเมินคืออะไร เพื่อให้ผู้เชี่ยวชาญที่จะเข้ามาประเมินมีความเข้าใจตรงกัน เพื่อป้องกันปัญหาการพูดคนละเรื่อง • การคัดเลือกผู้เชี่ยวชาญ >> คัดเลือกตัวแทนของหลายๆกลุ่มที่สนใจ • การสร้างแบบสอบถาม >> ควรเปิดโอกาสให้ผู้เชี่ยวชาญแสดงความคิดเห็นโดยเสรี ทั้งทางผลกระทบ การจัดลำดับ การบรรลุผล การแก้ไข • การวิเคราะห์ผลในรอบแรก การปรับเปลี่ยนแบบสอบถาม >> เพื่อแสดงเหตุผลข้อสนับสนุนและข้อมูลต่างๆ • การจัดประชุมกลุ่มผู้เชี่ยวชาญ >> เพื่อให้สนับสนุนหรือหักล้างข้อมูลซึ่งกันและกัน • การสรุป >> นำผลที่ได้จากการประชุมสรุปเป็นรายงาน อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  49. 2. การวิเคราะห์อนุกรมเวลาแบบเป็นช่วง (Interuped Time Series Analysis) • โดยช่วยแสดงให้เห็นการเปลี่ยนแปลงต่างๆที่เกิดขึ้นภายหลังการนำนโยบายไปปฏิบัติในรูปของตาราง และ/หรือ ค่าสถิติและกราฟแบบต่างๆ เหมาะสำหรับการประเมินผลนโยบายที่มีกลุ่มเป้าหมายหลักเพียงกลุ่มเดียวหรือมีขอบเขตการดำเนินงานที่แน่นอนเพียงแห่งเดียว • การวัดนโยบายทั้งก่อนและหลังการนำนโยบายไปปฏิบัติ • เช่น 1)การประเมินผลการดำเนินนโยบายปราบปรามยาเสพติดของรัฐบาลทักษิณ1 โดยวัดจากยอดการจับกุมและการระบาดของยาเสพติดก่อนและหลังการดำเนินการตามนโยบาย 2)การประเมินผลนโยบายแก้ไขปัญหาความยากจนของรัฐบาลทักษิณ1 โดยวัดจากจำนวนคนจนที่ลดลง อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

  50. 3. การเชิงถดถอยแบบไม่ต่อเนื่อง (Regresion-discontinuity Analysis) • ช่วยให้ผู้ประเมินผลสามารถคำนวณและเปรียบเทียบผลโดยประมาณของนโยบายที่เกิดขึ้นในกลุ่มเป้าหมายที่กำหนดไว้และกลุ่มเปรียบเทียบที่นำมาพิจารณา วิธีการนี้เหมาะสำหรับการประเมินผลตามแนวการทดลองทางสังคม โดยเฉพาะอย่างยิ่งการทดลองที่มีการกำหนดกลุ่มเป้าหมายและกลุ่มควบคุมไว้เรียบร้อยแล้ว วิธีการประเมินผลนโยบายแบบนี้จึงเหมาะสำหรับการประเมินผลนโยบายที่มุ่งช่วยเหลือกลุ่มเป้าหมายหนึ่งๆในสังคมโดนเฉพาะ • อาจแยกเป็นกลุ่มทดลอง และกลุ่มควบคุม • ใช้การประมาณการด้วยวิธีถดถอยแบบกำลังสองน้อยที่สุด • Y = a + bX เมื่อ Y ตัวแปรตาม , X เป็นตัวแปรต้น , a เป็นค่าคงที่ , b เป็นค่าสัมประสิทธิ์ตัวแปรอิสระ • เช่น การประเมินผลการใช้จ่ายของรัฐบาลต่อการเจริญเติบโตทางเศรษฐกิจ อาจารย์มานิตย์ ผิวขาว สาขาเศรษฐศาสตร์ วิทยาเขตหนองคาย มหาวิทยาลัยขอนแก่น

More Related