1 / 39

ผศ. ดร. อรฉัตร จิตต์โสภักตร์ และ นางสาว ดวงกมล ดังโพนทอง

การค้นคืนภาพโดยใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกัน ร่วมกับ Moment Invariants Image Retrieval using Connected Color Region and Moment Invariants. ผศ. ดร. อรฉัตร จิตต์โสภักตร์ และ นางสาว ดวงกมล ดังโพนทอง การประชุมวิชาการทางคอมพิวเตอร์และเทคโนโลยีสารสนเทศ 2007. หัวข้อที่นำเสนอ.

savannah-walker
Download Presentation

ผศ. ดร. อรฉัตร จิตต์โสภักตร์ และ นางสาว ดวงกมล ดังโพนทอง

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. การค้นคืนภาพโดยใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกันร่วมกับMoment Invariants Image Retrieval using Connected Color Region and Moment Invariants ผศ. ดร. อรฉัตร จิตต์โสภักตร์ และ นางสาว ดวงกมล ดังโพนทอง การประชุมวิชาการทางคอมพิวเตอร์และเทคโนโลยีสารสนเทศ 2007

  2. หัวข้อที่นำเสนอ ที่มา และ ความน่าสนใจของงานวิจัย การค้นคืนรูปภาพ(Image Retrieval) • การเปรียบเทียบฮิสโตแกรม(Histogram Comparison) • การหาค่าความสัมพันธ์ของสีในพื้นที่ติดกัน(Connected Color Region) ผลงานวิจัย • การค้นคืนภาพโดยใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกันร่วมกับMoment Invariants • ขั้นตอนการเตรียมข้อมูล • ขั้นตอนการค้นคืนภาพ • ผลการทดลอง สรุป

  3. Query Image ฐานข้อมูล ที่มา และ ความน่าสนใจของงานวิจัย • ระบบ CBIR (Content-Based Image Retrieval) Retrieved Images Feature Extraction Similarity Measure ความเกี่ยวข้อง หรือ ความสัมพันธ์ คุณลักษณะพื้นผิว คุณลักษณะรูปร่าง คุณลักษณะสี

  4. การค้นคืนภาพ(Image Retrieval) • บทความนี้ได้จะนำเสนอกรรมวิธีค้นคืนภาพดังต่อไปนี้ • การเปรียบเทียบฮิสโตแกรม(Histogram comparison) การหาค่าความสัมพันธ์ของสีในพื้นที่ติดกัน(Connected Color Region :CCR) การใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกันร่วมกับ Moment Invariants • และแสดงการเปรียบเทียบข้อดี ข้อเสียของแต่ละวิธี

  5. ฐานข้อมูล รูปภาพ ฮิสโตแกรม การเปรียบเทียบฮิสโตแกรม(Histogram comparison) • เบื้องต้นรูปภาพทุกภาพจะถูกทำให้อยู่ในรูปแบบอิสโตแกรม • และการค้นคืนรูปภาพจะนำค่าของอิสโตแกรมมาเปรียบเทียบด้วยวิธีใดวิธีหนึ่ง ดังต่อไปนี้ • การวัดความเหมือนกันของค่าอิสโตแกรม(Histogram intersection) • การวัดความแตกต่างกันของค่าฮิสโตแกรม(Histogram dissimilarity)

  6. การเปรียบเทียบความเหมือนกันของฮิสโตแกรมการเปรียบเทียบความเหมือนกันของฮิสโตแกรม Query Image ค่าความเหมือนของภาพคำถาม กับ ภาพที่1 เท่ากับ 0.407084

  7. การเปรียบเทียบความเหมือนกันของฮิสโตแกรมการเปรียบเทียบความเหมือนกันของฮิสโตแกรม Query Image ค่าความเหมือนของภาพคำถาม กับ ภาพที่2 เท่ากับ 0.355581 S = 0.407084

  8. การเปรียบเทียบความเหมือนกันของฮิสโตแกรมการเปรียบเทียบความเหมือนกันของฮิสโตแกรม Query Image S = 0.407084 S = 0.355581

  9. การเปรียบเทียบความเหมือนกันของฮิสโตแกรมการเปรียบเทียบความเหมือนกันของฮิสโตแกรม ปัญหาของการค้นคืนด้วยการเปรียบเทียบฮิสโตแกรมสี • ไม่สามารถอ้างอิงข้อมูลเชิงตำแหน่ง (Spatial information) ของสีในวัตถุได้ • ไม่สามารถใช้แยกแยะ การกระจายตัว / เกาะกลุ่ม ของสีที่ แตกต่าง/คล้ายคลึง กันได้ • ภาพที่ถูกค้นคืนมานั้นมีโอกาสสูงที่ภาพจะมีความแตกต่างไปจากภาพที่ต้องการ

  10. การวัดความสัมพันธ์ของสีในพื้นที่ติดกัน (CCR) • จากปัญหาที่เกิดขึ้น Tae Yong Kim และ Joon H.Han จึงเสนอแนวคิดที่ใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกัน (Connected Color Region: CCR) เพื่อใช้แก้ปัญหาที่เกิดขึ้นในการใช้ฮิสโตแกรม กล่าวคือ CCR สามารถแยกแยะการกระจายตัวของสี ที่มีค่าฮิสโตแกรมที่เหมือนกันได้ โดยพิจารณาจากปริมาณของสีในแต่ละกลุ่ม และค่าสีที่ปรากฏร่วมสูงสุดของแต่ละกลุ่มสี

  11. R0,0 R0,1 R0,2 R0,3 R0,4 R0,5 R0,6 R0,7 R1,0 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R1,7 i R2,0 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R2,7 R3,0 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R3,7 R4,0 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R4,7 j การวัดความสัมพันธ์ของสีในพื้นที่ติดกัน (CCR) โดยมีอัลกอริทึมในการคำนวณหาค่า CCR ดังต่อไปนี้ Rส้ม,3 = { R3,3, R3,4, R3,5, R3,6, R4,3, R4,4, R4,5, R4,6 } Rส้ม,2 = { R3,0, R3,1, R3,2} Rส้ม,1 = { R0,0, R0,1, R0,2, R1,0, R1,1, R1,2, R2,0, R2,1 } Ri,j = {C1, C2,…..C215 }

  12. R0,0 R0,1 R0,2 R0,3 R0,4 R0,5 R0,6 R0,7 สีเทา R1,0 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R1,7 สีน้ำตาล R2,0 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R2,7 R3,0 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R3,7 R4,0 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R4,7 การวัดความสัมพันธ์ของสีในพื้นที่ติดกัน(CCR) พิจารณาสีที่ปรากฏร่วมสูงสุดของแต่ละกลุ่มสี สีส้มกลุ่มที่1 เกิดร่วมกับสีน้ำตาลมากที่สุด

  13. การวัดความสัมพันธ์ของสีในพื้นที่ติดกัน (CCR) • การวัดความเหมือนกันของภาพ เปรียบเทียบปริมาณการเกาะกลุ่มกันของแต่ละกลุ่มสี และ ข้อมูลเชิงตำแหน่งของสีที่ปรากฏในภาพ จากสีที่ปรากฏร่วมของแต่ละกลุ่มสี Query Image สีเหลือง 2 กลุ่ม สีเหลือง 2 กลุ่ม สีเหลือง 1 กลุ่ม สีดำ สีดำ สีดำ

  14. การวัดความสัมพันธ์ของสีในพื้นที่ติดกัน (CCR) • การวัดความเหมือนกันของภาพ เปรียบเทียบปริมาณการเกาะกลุ่มกันของแต่ละกลุ่มสี และ ข้อมูลเชิงตำแหน่งของสีที่ปรากฏในภาพ จากสีที่ปรากฏร่วมของแต่ละกลุ่มสี Query Image

  15. ผลการค้นคืนของ Histogram และ CCR Histogram CCR 2 x 2block CCR 4 x 4block CCR 8 x 8block CCR 16 x 16block

  16. กราฟแสดงค่าความแม่นยำและการเรียกคืนของภาพกราฟแสดงค่าความแม่นยำและการเรียกคืนของภาพ

  17. ผลการค้นคืนของ Histogram และ CCR Histogram CCR 2 x 2block CCR 4 x 4block CCR 8 x 8block CCR 16 x 16block

  18. กราฟแสดงค่าความแม่นยำและการเรียกคืนของภาพกราฟแสดงค่าความแม่นยำและการเรียกคืนของภาพ

  19. การวัดความสัมพันธ์ของสีในพื้นที่ติดกัน (CCR) • ปัญหาของการค้นคืนด้วย CCR บล็อกขนาดใหญ่ บล็อกขนาดเล็ก • สีของบล็อกไม่ละเอียด, สีอาจจะไม่ได้เกาะกลุ่มกันอย่างแท้จริง • ใช้เวลาในการค้นคืนน้อย • ขนาดของ memory ที่ใช้เก็บข้อมูลน้อย • ภาพที่ค้นคืนมาได้ มีการเกาะกลุ่มของสี ใกล้เคียงกับภาพคำถาม • สามารถระบุการเกาะกลุ่มของสีได้อย่างชัดเจน • ใช้เวลาในการค้นคืนมาก • ขนาดของ memory ที่ใช้เก็บข้อมูลมาก

  20. การค้นคืนภาพโดยใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกันร่วมกับ Moment Invariants • จากข้อจำกัดของเทคนิค CCR จึงทำให้เกิดงานวิจัยนี้ขึ้นมาโดยนำค่า Moment Invariants มาใช้ร่วมกับ CCR เพื่อช่วยให้การค้นคืนด้วยบล็อกขนาดใหญ่ มีประสิทธิภาพที่ดีขึ้น นั้นคือ สามารถให้ผลของการค้นคืนที่ใกล้เคียงกับการใช้ CCR ด้วยบล็อกขนาดเล็ก และใช้เวลาในการค้นคืนต่ำเมื่อเทียบกับผลที่ได้รับ

  21. การค้นคืนภาพโดยใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกันร่วมกับ Moment Invariants • โดยนำค่า Moment Invariants ของ Hu มาใช้พิจารณารูปร่างของการเกาะกลุ่มกันของกลุ่มสี ประกอบด้วย 2 ส่วนคือ • ขั้นตอนการเตรียมฐานข้อมูล • ขั้นตอนการค้นคืนโดยใช้ CCR ร่วมกับ Moment Invariants

  22. การค้นคืนภาพโดยใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกันร่วมกับ Moment Invariants • ขั้นตอนการเตรียมฐานข้อมูล Image RGB Color Histogram CCR Moment invariants DB ภาพสีที่มีขนาด 256 x 384 พิกเซล จำนวน 1,870 ภาพ ดอกไม้ จำนวน 341 ภาพ โดมิโน จำนวน 275 ภาพ ป้าย จำนวน 383 ภาพ ธง จำนวน 83 ภาพ ใบไม้ จำนวน 71 ภาพ ผลไม้ จำนวน 51 ภาพ สัตว์ จำนวน 77 ภาพ มนุษย์ จำนวน 401 ภาพ รถยนต์ จำนวน 188 ภาพ • ความสัมพันธ์ของสีในพื้นที่ติดกัน (Connected Color Region: CCR) ปริมาณของสีในแต่ละกลุ่ม และ สีที่ปรากฏร่วมมากที่สุดของแต่ละกลุ่มสี • แบ่งภาพออกเป็นบล็อกขนาด n x mพิกเซล (2 x 2 , 4 x 4 , 8 x 8 , 16 x 16) • Color Histogram คำนวณค่า moment invariants ของแต่ละกลุ่มสี ทำการจัดเก็บค่าทั้งหมดลงในฐานข้อมูล

  23. การค้นคืนภาพโดยใช้ค่าความสัมพันธ์ของสีในพื้นที่ติดกันร่วมกับ Moment Invariants • ขั้นตอนการค้นคืนภาพ Query Image วัดความเหมือนด้วย CCR Result Set DB วัดความเหมือนด้วย Moment Invariants Result set จัดลำดับความเหมือนของภาพด้วย Moment invariants ของแต่ละกลุ่มสีที่ปรากฏมากที่สุดในภาพ 2 อันดับแรก ผลของการค้นคืน วัดความเหมือนด้วยกรรมวิธีวัดค่าความสัมพันธ์ของสีในพื้นที่ติดกัน (CCR) เซ็ตของภาพที่มีความคล้ายคลึงกับภาพคำถาม

  24. ผลการค้นคืนของCCR และ Moment Invariants • CCR: 2 x 2 Block • CCR: 2 x 2 Block • + Moment Invariants • CCR: 4 x 4 Block • CCR: 4 x 4 Block • + Moment Invariants • CCR: 8 x 8 Block • CCR: 8 x 8 Block • + Moment Invariants • CCR: 16 x 16 Block • CCR: 16 x 16 Block • + Moment Invariants

  25. กราฟแสดงค่าความแม่นยำและการเรียกคืนของภาพกราฟแสดงค่าความแม่นยำและการเรียกคืนของภาพ

  26. การเปรียบเทียบเวลาในการประมวลผลการเปรียบเทียบเวลาในการประมวลผล

  27. สรุป • การค้นคืนด้วยการเปรียบเทียบฮิสโตแกรมนั้น ค่าความถูกต้องแม่นยำจะมีค่าไม่สูงมากเมื่อค่าของฮิสโตแกรมสีของภาพแต่ละประเภทมีค่าใกล้เคียงกันหรือคล้ายคลึงกัน • การค้นคืนด้วย CCR นั้นผลของการค้นคืนจะขึ้นอยู่ขนาดของบล็อกซึ่งขนาดของบล็อกมีผลต่อการแบ่งกลุ่มสีของภาพ และ เวลาที่ใช้ในการค้นคืน โดยที่จำนวนบล็อกที่แบ่งยิ่งมากทำให้ผลของการค้นคืนมีประสิทธิภาพมากในทางกลับกันก็ใช้เวลามากด้วย • การค้นคืนโดยใช้ Moment Invariants นั้น ช่วยทำให้การค้นคืนด้วยจำนวนบล๊อกน้อยมีประสิทธิภาพที่ดีขึ้น คือสามารถทำการค้นคืนภาพที่มีการกระจายตัวของสีหลักในรูปได้ดีใกล้เคียงกับการแบ่งบล๊อกจำนวนมาก ในเวลาที่น้อยลง

  28. ขอบคุณคะ

  29. Moment Invariants 1. แทนกลุ่มของสีทีมีการเกาะกลุ่ม2. แทนกลุ่มของสีที่แยกจากกันเล็กน้อย3. แทนกลุ่มของสีที่แยกจากกันปานกลาง4. แทนกลุ่มของสีที่แยกจากกันมาก5. แทนกลุ่มของสีที่กระจายตัว

  30. Moment Invariants

  31. Moment Invariants

  32. Moment Invariants

  33. Moment Invariants

  34. Moment Invariants

  35. M4= [10.0,10.3) M1 = [1.5,1.6) M2 = [0,0.9) M2 = [2.5,3.7) M4 = [8.12,8.14) M1 = [1.0,1.2) Moment Invariants ค่าโมเมนต์แต่ละค่าสามารถใช้ระบุการกระจายตัวของกลุ่มสีได้ดังนี้ M1 สามารถระบุการเกาะกลุ่มกันของสีได้ M2 สามารถระบุลักษณะการแยกกันของกลุ่มสีได้ M3 สามารถใช้ระบุการกระจายตัวของสีภายในภาพได้ M4 สามารถใช้ระบุว่าการกระจายตัวของกลุ่มสีเกิดการกระจายมากหรือน้อย

  36. ขั้นตอนการเปรียบเทียบสีเด่นในภาพขั้นตอนการเปรียบเทียบสีเด่นในภาพ เลือกสีที่ปรากฏมากที่สุดในภาพ 2 อันดับแรกของภาพคำถาม ขั้นตอนการเปรียบเทียบ สีที่มากที่สุด = C1, สีอันดับต่อมา = C2

More Related