research and development r d n.
Download
Skip this Video
Download Presentation
การวิจัยและพัฒนานวัตกรรม ( Research and Development หรือ R &am

Loading in 2 Seconds...

play fullscreen
1 / 73

การวิจัยและพัฒนานวัตกรรม ( Research and Development หรือ R &am - PowerPoint PPT Presentation


  • 125 Views
  • Uploaded on

การวิจัยและพัฒนานวัตกรรม ( Research and Development หรือ R & D ). ดร.วรยุทธ์ ทิพย์เที่ยงแท้. R1. D1. R2. D2. วิเคราะห์ความต้องการจำเป็น นักเรียน ครู การเรียนการสอน อื่น ๆ ศึกษาข้อมูลพื้นฐาน ศึกษาค้นคว้าเอกสาร สังเกต สอบถาม สัมภาษณ์ ออกแบบ กำหนดวัตถุประสงค์ ศึกษาหลักการทฤษฎี

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'การวิจัยและพัฒนานวัตกรรม ( Research and Development หรือ R &am' - kasimir-steele


Download Now An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
research and development r d

การวิจัยและพัฒนานวัตกรรม(Research and Development หรือ R & D)

ดร.วรยุทธ์ ทิพย์เที่ยงแท้

slide2

R1

D1

R2

D2

  • วิเคราะห์ความต้องการจำเป็น
  • นักเรียน
  • ครู
  • การเรียนการสอน
  • อื่น ๆ
  • ศึกษาข้อมูลพื้นฐาน
  • ศึกษาค้นคว้าเอกสาร
  • สังเกต
  • สอบถาม
  • สัมภาษณ์
  • ออกแบบ
  • กำหนดวัตถุประสงค์
  • ศึกษาหลักการทฤษฎี
  • ตัดสินใจเลือกนวัตกรรม
  • กำหนดลักษณะ/โครงสร้างองค์ประกอบนวัตกรรม
  • พัฒนานวัตกรรม
  • วางแผนการพัฒนา
  • สร้างนวัตกรรมต้นแบบ/สื่อ
  • ตรวจสอบนวัตกรรมโดยผู้เชี่ยวชาญ
  • ทดลองใช้ 1ต่อ 1/ปรับปรุง
  • ทดลองใช้กลุ่มเล็กไม่เกิน 10คน /ปรับปรุง
  • ทดลองใช้กลุ่มใหญ่ไม่ต่ำกว่า 30 คน
  • นำไปใช้จริง
  • กลุ่มตัวอย่าง
  • เครื่องมือที่ใช้เก็บข้อมูล
  • แบบแผนการทดลอง
  • วิธีดำเนินการ
  • วิเคราะห์ข้อมูลที่ใช้
  • ผลการพัฒนาเป็นอย่างไร
  • ประเมินผล
  • *ปัญหาในสถานการณ์จริง
  • การแก้ปัญหา
  • จัดสัมมนา
  • สนทนากลุ่ม
  • จิตปัญญาศึกษา
  • *การเผยแพร่นวัตกรรม
  • เอกสาร
  • เว็บไซต์

กรอบแนวคิดในการวิจัย

slide3
การวิจัยและพัฒนามีหลายรูปแบบการวิจัยและพัฒนามีหลายรูปแบบ
  • Generic Model
  • Applied Model
  • Basic Model

ฯลฯ

generic model addie
Generic Model (ADDIE)
  • Analysis (วิเคราะห์ความต้องการจำเป็น

ในการพัฒนา)

  • Design (ออกแบบ)
  • Development (พัฒนา)
  • Implementation (นำไปใช้)
  • Evaluation (ประเมินผล)

(Donald Clark. 2003 : 12)

slide5

Analyze

Implement Evaluate Design

Develop

(Donald Clark. 2003 : 12)

slide7

วิเคราะห์อะไร ?

  • นักเรียน
  • ครู
  • การเรียนการสอน
  • อื่นๆ
slide8

วิเคราะห์อย่างไร ?

  • ศึกษาข้อมูลพื้นฐาน
  • ประเมินความต้องการจำเป็น

(Needs Assessment)

N = สิ่งที่คาดหวัง-สิ่งที่เป็นจริง

slide9
การศึกษาข้อมูลพื้นฐานการศึกษาข้อมูลพื้นฐาน
  • ศึกษาค้นคว้าเอกสาร
  • สังเกต
  • สอบถาม
  • สัมภาษณ์
slide10
การประเมินความต้องการจำเป็นการประเมินความต้องการจำเป็น

1. กำหนดสิ่งที่คาดหวัง โดย

-วิเคราะห์คำอธิบายรายวิชา

-วิเคราะห์โครงสร้างรายวิชา

-วิเคราะห์แผนการจัดการเรียนรู้

-กำหนดสิ่งที่คาดหวัง

slide11
ตัวอย่างการกำหนดสิ่งที่คาดหวังตัวอย่างการกำหนดสิ่งที่คาดหวัง
  • นักเรียนไม่ต่ำกว่าร้อยละ 80 คิดแก้ปัญหาเป็น
  • นักเรียนไม่ต่ำกว่าร้อยละ 80มีทักษะการใช้ภาษาอังกฤษเพื่อการสื่อสารในชีวิตประจำวัน
  • นักเรียนไม่ต่ำกว่าร้อยละ 80 รับผิดชอบเข้าชั้นเรียนและส่งงานตรงเวลา
slide12
2. ตรวจสอบสภาพที่เป็นจริง
  • สังเกต
  • สอบถาม
  • สัมภาษณ์
  • ทดสอบ
  • ตรวจสอบเอกสารหลักฐาน
slide13
ตัวอย่างผลการตรวจสอบสภาพที่เป็นจริงตัวอย่างผลการตรวจสอบสภาพที่เป็นจริง
  • นักเรียนร้อยละ 80 คิดแก้ปัญหาเป็น
  • นักเรียนร้อยละ 20 มีทักษะการพูดภาษอังกฤษ
  • นักเรียนร้อยละ 30 มีความรับผิดชอบเข้าชั้นเรียนและส่งงานตรงเวลา
slide14
3.เปรียบเทียบสิ่งที่เป็นจริงกับสิ่งที่ คาดหวัง
  • ความเป็นจริงต่ำกว่าสิ่งที่คาดหวัง แสดงว่ามีปัญหา
  • ความเป็นจริงเท่ากับหรือสูงกว่าสิ่งที่คาดหวัง แสดงว่าไม่มีปัญหา
slide15
4. ระบุปัญหาที่ต้องการแก้ไข
  • นักเรียนส่วนใหญ่ร้อยละ 80 ไม่มีทักษะการพูดภาษอังกฤษในการสื่อสาร
  • นักศึกษาส่วนใหญ่ร้อยละ 70 ไม่มีความรับผิดชอบในการเข้าชั้นเรียนและส่งงาน
slide16
5. วิเคราะห์สาเหตุของปัญหา
  • ความรู้ประสบการณ์ของผู้สอน(ผู้วิจัย)
  • ปรึกษาผู้เชี่ยวชาญ ผู้ทรงคุณวุฒิ
  • ศึกษาเอกสารและงานวิจัยที่เกี่ยวข้อง
slide17
จบขั้นวิเคราะห์ได้อะไร?จบขั้นวิเคราะห์ได้อะไร?
  • ทราบปัญหาที่แท้จริงที่ต้องแก้ไข
  • ทราบเป้าประสงค์ที่ต้องการบรรลุถึง
  • ทราบสาเหตุของปัญหา
  • ได้ข้อมูลพื้นฐานสำหรับการออกแบบ
slide19
ขั้นตอนการออกแบบ
  • กำหนดวัตถุประสงค์ของการใช้นวัตกรรม
  • ศึกษาทฤษฏีหลักการแนวคิดที่เกี่ยวข้องกับนวัตกรรม
  • ตัดสินใจเลือกนวัตกรรมที่จะใช้แก้ปัญหา
  • กำหนดลักษณะ/โครงสร้าง/องค์ประกอบของนวัตกรรม
slide20
1 .กำหนดวัตถุประสงค์ของการใช้นวัตกรรม

เป้าประสงค์ วัตถุประสงค์

ของการแก้ปัญหา ของการใช้นวัตกรรม

slide21
2.ศึกษาทฤษฏีหลักการแนวคิดที่เกี่ยวข้องกับนวัตกรรม2.ศึกษาทฤษฏีหลักการแนวคิดที่เกี่ยวข้องกับนวัตกรรม
  • ประเภท
  • ลักษณะเฉพาะ
  • ข้อบ่งใช้
  • ฯลฯ
slide22
3 .ตัดสินใจเลือกนวัตกรรมที่จะใช้แก้ปัญหา

ปัญหา เป้าประสงค์

สาเหตุของปัญหา นวัตกรรม

แนวคิดหลักการทฤษฏี แนวทางแก้ปัญหา

slide23
3.กำหนดลักษณะ/โครงสร้างของนวัตกรรม3.กำหนดลักษณะ/โครงสร้างของนวัตกรรม
  • ชื่อนวัตกรรม
  • ลักษณะ
  • โครงสร้าง/องค์ประกอบ
slide24
จบขั้นออกแบบแล้วได้อะไร?จบขั้นออกแบบแล้วได้อะไร?
  • แบบจำลองของนวัตกรรมที่จะพัฒนา
  • สื่อ/อุปกรณ์ประกอบการใช้นวัตกรรม (ถ้ามี)
slide26
ขั้นตอนการพัฒนานวัตกรรมขั้นตอนการพัฒนานวัตกรรม
  • วางแผนพัฒนานวัตกรรม
  • สร้างนวัตกรรมต้นแบบ / สื่อ
  • ตรวจสอบคุณภาพนวัตกรรมเบื้องต้น
  • ทดลองใช้ 1 ต่อ 1 / ปรับปรุง
  • ทดลองใช้กลุ่มเล็ก(ไม่เกิน 10 คน) / ปรับปรุง
  • ทดลองใช้กลุ่มใหญ่ (ไม่ต่ำกว่า 30 คน)
slide27
1. วางแผนพัฒนานวัตกรรม

1.1 กำหนดขั้นตอนการสร้างนวัตกรรม

  • ขึ้นอยู่กับประเภทของนวัตกรรม
  • ขึ้นอยู่กับแนวคิดหลักการทฤษฏี
  • ขึ้นอยู่กับการประยุกต์ของผู้วิจัย
slide28
1.2 กำหนดเกณฑ์การประเมินประสิทธิภาพ
  • นิยามให้ชัดว่า ประสิทธิภาพ หมายถึงอะไร
  • ประสิทธิภาพต้องสอดคล้องปัญหาที่ต้องการแก้ไข
  • นวัตกรรมมีประสิทธิภาพแสดงว่าสามารถใช้แก้ปัญหาได้
slide29
ตัวอย่างเกณฑ์การประเมินประสิทธิภาพตัวอย่างเกณฑ์การประเมินประสิทธิภาพ
  • ร้อยละ
  • คะแนนก่อนหลัง
  • ประสิทธิภาพE1/E2
  • ดัชนีประสิทธิผล
  • สถิติ t-test
slide30
2. สร้างนวัตกรรมต้นแบบ
  • สร้างให้มีลักษณะโครงสร้างองค์ประกอบครบถ้วนตามแบบ
  • สร้างตามขั้นตอนที่วางแผนไว้
slide31
3.ตรวจสอบคุณภาพนวัตกรรมเบื้องต้น(โดยผู้วิจัยและผู้เชี่ยวชาญ)3.ตรวจสอบคุณภาพนวัตกรรมเบื้องต้น(โดยผู้วิจัยและผู้เชี่ยวชาญ)
  • ความเที่ยงตรงเชิงพินิจ(Facevalidity)
  • ความเที่ยงตรงเชิงเนื้อหา (Content validity)
  • ความเที่ยงตรงเชิงโครงสร้าง (Construct validity)
slide32
ดัชนีความสอดคล้อง (IOC) สำหรับวิเคราะห์ความคิดเห็นของผู้เชี่ยวชาญ

IOC = R

N

เมื่อIOC แทน ดัชนีความสอดคล้อง

R แทน ผลรวมคะแนนความคิดเห็น

N แทน จำนวนผู้เชี่ยวชาญ

slide33
แบบประเมินสำหรับผู้เชี่ยวชาญแบบประเมินสำหรับผู้เชี่ยวชาญ
  • การคำนวณค่า IOCควรสร้างแบบประเมินให้ผู้เชี่ยวชาญประเมิน
  • ผู้เชี่ยวชาญตอบว่าเห็นด้วยให้ +1 คะแนน ตอบว่าไม่แน่ใจให้ 0 คะแนน ตอบว่า ไม่เห็นด้วยให้ -1 คะแนน จากนั้นคำคะแนนไปคำนวณหาค่า IC ตามสูตร
slide34

องค์ประกอบผลการประเมินความสอดคล้อง ข้อเสนอแนะ

ของแบบฝึกเหมาะสม ไม่แน่ใจ ไม่เหมาะสม

หลักการ //// // /

วัตถุประสงค์ ///// / /

เนื้อหาสาระ………..………………………………………………………………………………………..

ฯลฯ

slide35

ค่า IOCของหลักการ = .............

  • ค่า IOCของวัตถุประสงค์ = ............
4 1 1
4. ทดลองใช้ 1 ต่อ 1
  • กลุ่มตัวอย่าง 1 คน
  • นำนวัตกรรมไปใช้
  • สังเกต สอบถาม บันทึกข้อมูล ในเรื่องความเหมาะสมของภาษา ความเหมาะสมขององค์ประกอบนวัตกรรม
  • ปรับปรุงแก้ไข
slide37
5. ทดลองใช้กลุ่มเล็ก
  • กลุ่มตัวอย่าง 5-10 คน
  • นำนวัตกรรมไปใช้
  • สังเกต สอบถาม บันทึกข้อมูล ความเหมาะสมของเวลา ปฏิสัมพันธ์ระหว่างกลุ่ม
  • ปรับปรุงแก้ไข
slide38
6. ทดลองใช้กลุ่มใหญ่
  • กลุ่มตัวอย่างประมาณ 30 คน
  • นำนวัตกรรมไปใช้
  • ใช้เครื่องมือเก็บข้อมูลที่มีคุณภาพ เน้นวิธีเชิงปริมาณ เช่น แบบทดสอบ แบบสอบถาม ในด้านประสิทธิภาพของการใช้นวัตกรรม
  • วิเคราะห์ข้อมูล
  • สรุปผลประสิทธิภาพ
slide39
รายละเอียดของการทดลองกลุ่มใหญ่รายละเอียดของการทดลองกลุ่มใหญ่
  • กลุ่มตัวอย่าง
  • เครื่องมือที่ใช้เก็บรวบรวมข้อมูล
    • ขั้นตอนการสร้างเครื่องมือ
    • วิธีหาคุณภาพ
  • แบบแผนการทดลอง
  • วิธีดำเนินการทดลอง
  • การวิเคราะห์ข้อมูลและสถิติที่ใช้
slide40
กลุ่มตัวอย่าง

ประชากร

(Population)

กลุ่มตัวอย่าง

(Sample)

sampling
Sampling
  • Simple Random Sampling
  • Cluster Random Sampling
  • Purposive Sampling
random assignment
Random Assignment

population

Or

sample

Group 1 Group 2

slide43
เครื่องมือที่ใช้ในการเก็บรวบรวม ข้อมูล
  • เครื่องมือต้องสอดคล้องกับวัตถุประสงค์การวิจัยและตัวแปร
  • เครื่องมือต้องผ่านการหาคุณภาพ
slide44

แบบทดสอบ K&P(ความรู้&ทักษะแบบทดสอบ K&P(ความรู้&ทักษะ

  • แบบสอบถาม
  • แบบสัมภาษณ์ A (คุณธรรม จริยธรรม)
  • แบบมาตรประมาณค่า
  • แบบตรวจสอบรายการ ความสามารถ
  • แบบสังเกต
  • Rubrics
slide45
ขั้นตอนการสร้างเครื่องมือทั่วไปขั้นตอนการสร้างเครื่องมือทั่วไป
  • วิเคราะห์หลักสูตร
  • ศึกษาทฤษฎีหลักการสร้างเครื่องมือประเภทนั้น
  • เขียนข้อคำถาม
  • ตรวจสอบความเที่ยงตรง เช่นContent validity
  • ทดลองใช้(Try out)
  • หาคุณภาพรายข้อ เช่นDifficulty, Discrimination
  • หาคุณภาพทั้งฉบับ เช่นReliability
slide46
คุณภาพของแบบทดสอบ(Test)
  • ความเที่ยงตรง(Validity)
  • ความยากง่าย(Difficulty)
  • อำนาจจำแนก(Discrimination)
  • ความเชื่อมั่น(Reliability)
rating scale
คุณภาพของแบบมาตรประมาณค่า(Rating Scale)
  • ความเที่ยงตรง(Validity)
  • อำนาจจำแนก(Discrimination)
  • ความเชื่อมั่น(Reliability)
slide48
คุณภาพของแบบสัมภาษณ์ แบบตรวจสอบรายการ แบบสังเกต
  • ความเที่ยงตรง(Validity)
slide49

แบบแผนการทดลอง

The One-Group, Pretest-Posttest

Design

O1 X O2

slide50

The Nonequivalent, Pretest-Posttest

Design

O1 X O2

O3 X O4

slide51

The Equivalent-Materials,

Single-Group, Pretest-Posttest

Design

MA O1 X O2 ; MB O3 X O4

slide52
การดำเนินการทดลองและเก็บรวบรวมข้อมูลการดำเนินการทดลองและเก็บรวบรวมข้อมูล
  • เตรียมความพร้อมประชากร/กลุ่มตัวอย่าง
  • ดำเนินการทดลองตามแบบแผนการทดลอง
  • เก็บรวบรวมข้อมูลด้วยเครื่องมือที่เหมาะสม
slide53
การวิเคราะห์ข้อมูลและสถิติที่ใช้การวิเคราะห์ข้อมูลและสถิติที่ใช้
  • ถ้าทดลองโดยตรงกับประชากร ไม่มีการสุ่มตัวอย่าง ใช้สถิติเชิงพรรณนา (Descriptive statistics) เช่น Mean, SD, frequency, percentage
  • ถ้าทดลองกับกลุ่มตัวอย่าง มีการสุ่ม ใช้สถิติเชิงอนุมาน(Inferential statistics) เช่น t-test, F-test
slide54

random sampling

Population Sample

sampling error

Parameter Statistics

infer

slide55
ตัวอย่างสถิติที่ใช้กับการทดลองกลุ่มใหญ่ตัวอย่างสถิติที่ใช้กับการทดลองกลุ่มใหญ่
  • ค่าดัชนีประสิทธิผล (EI)

คะแนนเฉลี่ยหลังเรียน - คะแนนเฉลี่ยก่อนเรียน

คะแนนเต็มหลังเรียน - คะแนนเฉลี่ยก่อนเรียน

เกณฑ์การตัดสิน .50 ขึ้นไป

e1 e2
ประสิทธิภาพE1/E2

E1 = X

N × 100

A

เมื่อE1 คือ ประสิทธิภาพกระบวนการ

X คือ ผลรวมของคะแนนที่ได้จากการวัด

ระหว่างเรียน

A คือ คะนนเต็มของแบบวัดระหว่างเรียน

N คือ จำนวนตัวอย่างทั้งหมด

slide57

E2 = Y

N × 100

B

เมื่อE2 คือ ประสิทธิภาพของผลลัพธ์

Y คือ ผลรวมของคะแนนที่ได้จากการวัดหลังเรียน

B คือ คะนนเต็มของแบบวัดหลังเรียน

N คือ จำนวนตัวอย่างทั้งหมด

slide58

t-test Dependent sample

t = D

nD - (D) n - 1

2

2

slide59
การวิจัยและพัฒนาตามปกติทั่วไปการวิจัยและพัฒนาตามปกติทั่วไป

กลุ่มเป้าหมายที่มีปัญหา กลุ่มตัวอย่าง

(นักเรียน4ห้อง 160 คน) (นักเรียน 40 คน)

นำไปใช้แก้ปัญหาจริง ทดลองใช้เพื่อ

ตรวจสอบประสิทธิภาพ

slide60
การวิจัยในชั้นเรียน

กลุ่มเป้าหมายที่มีปัญหา กลุ่มตัวอย่าง

(นักเรียน 5 คน) (นักเรียน 5 คน)

นำไปใช้แก้ปัญหาจริง ทดลองใช้เพื่อ

ตรวจสอบประสิทธิภาพ

slide61
สรุปผลประสิทธิภาพการใช้นวัตกรรมสรุปผลประสิทธิภาพการใช้นวัตกรรม
  • นวัตกรรมมีประสิทธิภาพ แสดงว่า นวัตกรรมสามารถใช้แก้ปัญหากับกลุ่มตัวอย่างได้ ควรนำไปใช้แก้ปัญหาจริงต่อไป
  • ถ้ากลุ่มตัวอย่างที่ใช้ในการทดลอง เป็นกลุ่มเดียวกับกลุ่มเป้าหมายที่มีปัญหา แสดงว่าหลังการทดลองใช้นวัตกรรม ปัญหาของกลุ่มเป้าหมายได้รับการแก้ไขแล้ว การวิจัยและพัฒนาในกรณีนี้ถือว่าจบแล้ว ไม่มีขั้นตอนการนำนวัตกรรมไปใช้แก้ปัญหาอีก
slide62
จบขั้นพัฒนาแล้วได้อะไร?จบขั้นพัฒนาแล้วได้อะไร?
  • นวัตกรรมที่สมบูรณ์แบบ

พร้อมนำไปใช้แก้ปัญหาจริง(ประชากร)

  • ปัญหาได้รับการแก้ไขในระดับการทดลอง (กลุ่มตัวอย่าง)
  • จบการวิจัยระยะแรก
slide63

ขั้นนำไปใช้และประเมินผลขั้นนำไปใช้และประเมินผล

slide64

วิเคราะห์ ปัญหา

ออกแบบ แนวทางแก้ปัญหา

พัฒนา นวัตกรรมที่มีประสิทธิภาพ

นำไปใช้และ ปัญหาในสถานการณ์จริง

ประเมินผล ได้รับการแก้ไข

slide65
การวางแผนนำนวัตกรรมไปใช้และประเมินผลการวางแผนนำนวัตกรรมไปใช้และประเมินผล
  • กำหนดกลุ่มเป้าหมาย
  • สร้างเครื่องมือเก็บรวบรวมข้อมูล
  • กำหนดแผนการใช้นวัตกรรม
  • ดำเนินการใช้นวัตกรรม/รวบรวมข้อมูล
  • วิเคราะห์ข้อมูล
  • สรุปและรายงานผล
slide66
1. การกำหนดกลุ่มเป้าหมาย
  • กลุ่มเป้าหมาย คือ กลุ่มที่มีปัญหา
  • กลุ่มเป้าหมายเป็นกลุ่มตัวอย่างที่เลือกจากประชากรในการวิจัย
  • กลุ่มเป้าหมายอยู่ในสภาพจริง ไม่ใช่ห้องทดลอง
slide67
2. การสร้างเครื่องมือเก็บรวบรวม ข้อมูล
  • ใช้เครื่องมือเดียวกับตอนทดลองใช้นวัตกรรม
slide68
3. แบบแผนการใช้นวัตกรรม
  • ลักษณะเช่นเดียวกับตอนการทดลองใช้นวัตกรรม
slide69
4. ดำเนินการใช้นวัตกรรม
  • ใช้กับกลุ่มเป้าหมายจริง
  • ใช้ในสถานการณ์จริง
  • ใช้ตามแผนปฏิบัติที่กำหนดไว้
  • เก็บรวบรวมข้อมูลเพื่อการประเมินผล
slide70
5. วิเคราะห์ข้อมูล
  • ค่าเฉลี่ย (Mean)
  • ค่าความเบี่ยงเบนมาตรฐาน(SD)
  • ความถี่ (Frequency)
  • ร้อยละ (Percentage)
  • ประสิทธิภาพ E1/E2
  • ดัชนีประสิทธิผล (EI)
slide71
6. สรุปและรายงานผล
  • กราฟ
  • ตารางวิเคราะห์ข้อมูล
  • การบรรยายข้อมูล
slide72
จบขั้นนำไปใช้และประเมินผลแล้วได้อะไร?จบขั้นนำไปใช้และประเมินผลแล้วได้อะไร?

ทราบว่าปัญหาทั้งหมดในภาพรวมได้รับการแก้ไขด้วยการใช้นวัตกรรมหรือไม่