1 / 17

3D Mesh Model Reconstruction and Calibration System for Cleft Lip and Cleft Palate

指導老師：萬書言 副教授 姓名：王俊富. 3D Mesh Model Reconstruction and Calibration System for Cleft Lip and Cleft Palate. BioMIG L aboratory. Contents. Abstract. Introduction. Method - 3D Model Reconstruction. Method - 3D Model Calibration. Method - Soft Tissue Feature Point Prediction.

jag
Download Presentation

3D Mesh Model Reconstruction and Calibration System for Cleft Lip and Cleft Palate

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 指導老師：萬書言 副教授 姓名：王俊富 3D Mesh Model Reconstruction and Calibration System for Cleft Lip and Cleft Palate BioMIGLaboratory www.themegallery.com

  2. Contents Abstract Introduction Method - 3D Model Reconstruction Method - 3D Model Calibration Method - Soft Tissue Feature Point Prediction Method – System Flow Chart Result Conclusion BioMIGLaboratory

  3. Abstract • 目前大多數顱顏醫生仍以二維測顱術進行評估。但三維能從不同角度與曲面對病患進行評估。 • 這篇論文針對唇顎裂患者重建三維顱顏模型，並建立Le Fort I式正顎手術軟硬組織相對關係模型。 • 在三維模型重建部分，採用有容忍性的閥值決定軟硬組織，並以Visualization ToolKit(VTK)重建三維模型。 • 在骨頭三維模型上以空間位移校正法(STCM)校正，並透過兩篇唇顎裂病人軟硬組織相對關係數據做軟組織預估。 • 結果得到唇顎裂患者術後硬組織模型與軟組織特徵點預測。 • 醫師能更了解病人狀況，病患與家屬也能清楚術後模樣。 BioMIGLaboratory

  4. Introduction(1/2) • 二維測顱術是以二維影像描繪病患顱顏的前方、右側或左側型態，但受二維限制只能看單一方向，無法表現整體。 • 在三維上則可察看不同角度，並觀察表面曲度，甚至能做Scaling、Rotation and Translation的操作。 • 唇顎裂是最常見的先天性顱顏畸形疾病，在亞洲地區每約500至600名新生嬰兒便有一名患者，而LeFort I式做為矯正上顎的主要術式。 • 對醫生來說在術前準確預測術後軟組織改變在臨床上很重要。 • 市面上三維軟體大多昂貴且複雜操作，且很少能對三維模型做修改，更沒有針對軟硬組織比率做校正的軟體。 • 輔助醫生研究軟硬組織關係，病患與家屬也能約略看出手術後成果。 BioMIGLaboratory

  5. Introduction(2/2) • 在三維模型重建上，M. S. Su,. al提出用正面與側面兩張人臉影像重建三維頭部模型的方法[1]。 • 只需兩張二維影像就能重建出頭部大略的三維模型。但建構的三維頭部模型會失真。 • 在三維模型的校正上，O. Burgert等人透過Distraction與Symmetry的方式讓非對稱的臉轉換為對稱的臉[2]。 • Distraction是對下顎骨做逐步拉扯的動作並增加或移除組織及骨頭，使臉型趨近對稱。Symmetry是用Mirroring的方式找出對映平面以正常的一邊映射到受創的一邊。 • 在兩邊都有缺陷的情況下，用鏡射對稱法無法有效校正，而且不符合手術真實情形。 • 目的是有效率的重建三維模型，並提供醫生工具調整模型，並建立Le Fort I 式上顎手術軟硬組織相對關係模型。 BioMIGLaboratory

  6. Method-3D Model Reconstruction(1/2) • 重建三維模型採用ComputedTomograph (or CT) 與Magnetic Resonance (or MR) 影像。 • is threshold value, f(x) is image intensity of the point at location x. is the result we want to keep. • CT影像的軟組織灰階值介於背景與硬組織之間，且CT影像的背景灰階值最多，因此軟組織的閥值設定為最高點之後的第一個最低點，以下面數學式表示： • 表示軟組織threshold value， 為出現最高頻率的灰階值， 表示的出現頻率。 BioMIGLaboratory

  7. Method-3D Model Reconstruction(2/2) • 硬組織的threshold value由使用者從畫面上決定。決定threshold value後，對threshold value鄰近點加入tolerance觀念，表示如下： • is tolerance value，is 8-neighbor. • 當threshold較嚴謹，tolerance較寬鬆，可以有效去除雜訊及建構較完整的模型。 • 對分割出的結果做Closing運算可使建構的三維模型更完整。表示如下： • 三維成像用Visualization Toolkit(VTK)輔助建構三維模型。三維模型也能用三角形Mesh表示，能簡化三維模型。 BioMIGLaboratory

  8. Method-3D Model Calibration(1/2) • 為了讓醫生能對三維模型做校正的動作，必須觀察切骨手術的術式，以Le Fort I式上顎切骨手術為例。 • 醫生主要是將一部位切開再做位移的動作，而且硬組織(上顎或下顎)在手術前後的相對位置差異不大。 • 提供Space Translation Calibration Method(STCM)，讓醫生在三維上框選空間，對空間做三維位移上的改變。 • 以框選的三維空間 與 點說明，表示如下： 其中的W’ ,H’ 與S’分別表示選擇空間的長寬高 BioMIGLaboratory

  9. Method-3D Model Calibration(2/2) • 這種調整方式不但接近醫生實際手術調整方式，也支持硬組織在手術前後相對位置差異不大的論述。 • 在STCM後可以用具有深度的畫筆及橡皮擦對模型做額外處理。 • 在位移後原先位置會產生空隙或斷層，透過具有深度的畫筆與橡皮擦可以將之修改。 • 而畫筆與橡皮擦也可以對整體模型做修補，使三維模型更美觀。 BioMIGLaboratory

  10. Method-Soft Tissue Feature Point Prediction • 以M. Ewing., al[3]與A. Waheidi.,al[4]做為主要參考數據。 • 硬組織經STCM後得到硬組織水平 及垂直方向的位移改變，表示如下： BioMIGLaboratory

  11. Method-System Flow Chart • His hard tissue, S is soft tissue. • 下標表示型態 • 上標表示做的處理 BioMIGLaboratory

  12. Result (1/2) • Histogram中距最高點最近的 最低點得到。 • and • and • 下圖較少雜訊且建構較完整 的三維模型。 • 使threshold較嚴謹， tolerance較寬鬆可以重建 較好結果的三維模型。 BioMIGLaboratory

  13. Result (2/2) • STCM是對硬組織框選出子空間，這邊分別框選上顎及下顎部分，並做上顎往前下顎往後的動作，位移完成後透過畫筆及橡皮擦工具將位移空隙填滿，使三維模型更完整。 • 從STCM得到硬組織特徵點水平與垂直方向位移，透過軟硬組織比率得到硬組織特徵點對應位置，並顯示在上， • 黃色是術前特徵點，經STCM得到綠色術後特徵點。 • 從特徵點變動讓醫生評估軟硬組織比率的正確性，並讓病人與家屬察看術後改變。 BioMIGLaboratory

  14. Conclusion • 重建三維模型採用具容忍性的閥值分割方式。 • 閥值分割具有高效率 • 增加容忍值概念重建較完整的三維模型 • 校正三維模型方面，透過STCM進行上顎或下顎的調整。雖然符合切骨手術方式，不過仍有很大的改善空間。可以加入對Mesh交點做拉扯改變三維模型，或更多方式。 • 將來如果能結合硬體操作，在感測器上模擬手術的筆觸，並在畫面上顯示對應的操作，對於整體操作上會更有真實感。 • 在手術預測方面，目前只能對特徵點做術後預估，不過將來可以將整張臉依照特徵點位置做更改，這樣更容易看出術後的改變。 BioMIGLaboratory

  15. Reference • [1]M. S. Su, C. Y. Chen and K. Y. Cheng, “The Reconstruction of 3D Head Model from Two Orthogonal-View 2D Face Images.” National Computer Symposium 2001, Taiwan, D320-D329, 2001. • [2]O. Burgert, T. Salb, T. Gockel, R. Dillmann, S. Hassfeld, J. Brief, R. Krempien, S. Walz and J. Mühling, “A System for Facial Reconstruction using Distraction and Symmetry Consideration,” International Congress Series, Computer Assisted Radiology and Surgery, vol. 1230, pp. 62-67, June 2001 • [3]M. Ewing and R. B. Ross, “Soft Tissue Response to Orthognathic Surgery in Persons,” The Cleft palate-craniofacial journal, 1991. • [4]A. Waheidi and Harradine, “Soft Tissue Profile Changes in Patients with Cleft Lip and Palate Following Maxillary Osteotomies,” Cleft Palate-Craniofacial Journal, vol. 35 No. 6, November 1998. • [5]R. C. Gonzalez and R. E. Woods, “Digital Image Processing,” Reading, MA: Prentice-Hall, 2002. • [6]W. Schroeder, K. Martin and B. Lorensen, “The Visualization Toolkit: An Object-Oriented Approach To 3-D Graphics,” Prentice-Hall, Englewood Cliffs, NJ, 1996. • [7]W. Schroeder, “The VTK User’s Guide,” Kitware, Inc. May, 2001. • [8]C. Y. Liao, “Facial Modeling and Animation based on Muscle and Skull”, Master thesis, Computer Science and Information Engineering Dept., Univ. of Tsing-Hua, Hisn-Chu, Taiwan, 2002. • [9]Y. C. Yu and John y. Chiang, “Human Facial Animation Based on Real Image Sequence,” Master thesis, Computer Science and Information Engineering Dept., Univ. of Sun Yat-sen, Kaohsiung, Taiwan, May, 2002. • [10]S. Avidan and A. Shamir, “Seam Carving for Content-Aware Image Resizing,” ACM Transactions on Graphics, vol. 26, no. 3, Siggraph, 2007. • [11]Y. T. Chen and C. S. Chen, “Fast Human Detection Using a Novel Boosted Cascading Structure With Meta Stages,” IEEE Transactions on image processing, vol. 17, no. 8, August, 2008. • [12]Q. Zhang and I. Couloigner, “Accurate Centerline Detection and Line Width Estimation of Thick Lines Using the Radon Transform,” IEEE Transactions on image processing, vol. 16, no. 2, February 2007. BioMIGLaboratory

  16. 程式Demo BioMIGLaboratory

  17. Thank You ! BioMIGLaboratory

More Related