雲端 運算之應用與效能評估

1. 雲端運算之應用與效能評估 摘要 在本研究中，我們建構一個圖像查詢應用系統，利用該系統來探討在不同的軟硬體架構下，查詢效能的差異，以做為類似系統建構時的設計依據。本研究所建構的系統的伺服器端為利用Hadoop系統平台建構雲端運算伺服器，用戶端則採用以Android作業系統為平台的智慧型手機，透過手機上的用戶端系統，將要比對的查詢圖像利用網路傳遞到雲端伺服器，再利用依據MapReduce運算架構所設計的圖像比對系統來提供圖像比對的應用服務。在此一系統架構下，藉由不同Hadoop系統的環境參數設定，比較圖像查詢的效能，以找出在該應用系統中最佳的圖像處理環境設定。同時我們也利用Java程式語言的執行緒集區(thread pool)機制，在多處理器的單機硬體架構中設計提供相同應用服務的系統，並測試系統效能。最後我們比較這兩種方式所建立系統的效能值，以探討雲端運算架構與單機多處理器架構的效能差異。 靜宜大學賴彥良 2012

2. 車牌辨識系統之雲端應用 摘要 在台灣汽機車是主要交通工具，近幾年來交通事故越來越多，駕車逃逸或汽車超速等，造就拍攝到違規車輛的影像也越多，本研究提出可使用Hadoop系統，再利用其中的MapReduce運算以辨識大量的車牌影像。而辨識系統本論文提出的車牌字元辨識法，不需要切割字元，亦不需要使用樣板，而是一列一列掃描（Sweep plane）利用線段的方式分出可能的字，再加入橫切面分成三段、最高點、最低點、缺口大小等方式判斷出字元，實驗結果顯示所提的方法，其車牌正確辨識率達到97%，具其實用價值。 靜宜大學徐忠禎 2012

3. 應用於MapReduce動態記憶分配之負載平衡規劃 摘要 雲端運算架構下，將資料分拆成較小資料量，經運算後再重組合，但如何將拆解資料及平均分配至網路上設備，而拆解及分配的過程主要的影響資源利用及效能；所以如何平均分配至各雲端設備，且控制資源利用及效能，是本篇論文要探討在分配過程的最佳化且兼具資源利用。 本論文提出運行於雲端運算環境中，提出可動態分配記憶體配置方法，並且將其在分配的過程，減少使用記憶體使用量，保證雲端計算各階段的並行度更高。 使用本論文的的方法，雲端運算在處理異質性資料，讓資源更佳利用率，且實現有效率的雲端運算處理資料分配。 中華大學許登維 2012

4. 應用雲端計算於大規模商標影像檢索系統 摘要 商標局的商標影像每天不斷有新的商標影像被註冊，經過時間累積商標局的資料庫影像不斷增加，使用商標局所提供檢索功能，很難在龐大的資料庫快速搜尋一張商標影像。本論文研究「以圖找圖」的功能進行查詢一張商標影像，並可以提供搜尋 (Search)、監看(Watch)、真仿識別 (Illegal detection) 等三種應用。 本論文使用商標局的影像為來源，資料庫總共有 1,034,092 張影像。在商標檢索方面，很難以文字描述一張商標影像，所以我們使用 Sale-Invariant Features Transform (SIFT) 為影像特徵描述，並使用字彙樹的方法階層式量化SIFT特徵，利用樹狀架構可以加快比對的速度。由於資料庫有 1,034,092 張影像和 240,558,829 個 SIFT 特徵，使用單台桌上型電腦無法訓練大量影像特徵進行分群，所以我們架設了Hadoop平台訓練一棵字彙樹 (Vocabulary Tree)。最後將影像字(Visual Words) 使用反向索引 (Inverted Index) 技術，統計影像字 TF-IDF 權重分數，並且用不同距離公式計算影像相似度。 本論文的實驗，在1,034,092 張的影像資料庫，使用 200 張查詢影像進行測試，統計TOP1回傳影像並正確答對的準確率達到 78%。本論文最主要的貢獻提供一套大規模商標影像檢索系統，可以讓使用者使用網頁介面快速查詢一張商標影像。 國立暨南國際大學陳廉芳 2012

5. 結合基因演算法與雲端技術求解旅行家問題應用於行動裝置結合基因演算法與雲端技術求解旅行家問題應用於行動裝置 摘要 旅行家問題 (Travelling Salesman Problem) 是個有名的難題，旅行業務員要到 n 個城市推展業務，n 個城市以 1,2,…,n 表示，從 1 出發，經過每個城市恰只一次，再回到 1，令Cij表城市i到城市 j 的旅行成本，問題為找出一個最小成本的路徑。 基因演算法顧名思義，它就是模仿生物在整個大自然環境中，生存方法與過程的演算方法。所要求解的問題函數，就如同是一個生物所生存的大環境，問題函數的最佳解，就是在此環境中適應能力最好的生物體。 我們運用基因演算法與雲端技術的結合，求解旅行業務員問題，以達到有效的節省龐大的資料運算過程以及時間，並讓使用者只需要持有能上網的行動裝置，便能利用我們的系統簡便的完成想去地點的路線規劃排程。 靜宜大學徐啟航 2012

6. 開放源碼之軟體安全檢測—以雲端平台”Hadoop”為例開放源碼之軟體安全檢測—以雲端平台”Hadoop”為例 摘要 在使用Hadoop套件做相關開發時，通常會引進Hadoop服務的軟體框架(Framework)進行開發，而且在使用時通常不會去考慮此框架是否有安全性問題，是否存在著不為人知的漏洞，因而造成重大危害及損失。因此，其平台開放之源碼是否符合現代資訊安全的要求，便是一個重要課題。本研究利用源碼掃描工具-HP Fortify及Yasca來檢查驗證此套開放源碼-Hadoop雲端運算平台，找出Hadoop平台核心Core下不安全的程式碼，做風險等級的分類，並依風險重大等級提出優先處理的有效建議及改善方法，處理及防範可能潛在的資安威脅。 中國文化大學蔡宜瑾 2012

7. 利用MapReduce實作分散式協同推薦系統 摘要 現在的資訊社會有許多應用都是仰賴大量資料而形成，Recommendation System便是一例。Recommendation System近年來大量應用在電子商務，主要用在推薦使用者可能會感興趣的物品，希望能藉此提高使用者對該網站有更多的探索，用處極廣，是資料處理相關領域相當重要的一個研究議題。隨著商業規模的擴大，Recommendation System所要計算的資料大小也伴隨增加，計算所需花費的時間更是呈倍數成長。 Apache Mahout實作了一個使用MapReduce Framework來進行Large scale data-process 的Recommendation System運算，希望能夠藉由MapReduce讓運算更有效率並達到更高的精確度。 而我們針對上述Mahout Distributed Item Based Recommendation System進行分析後，針對該實作中花費較多執行時間的Similarity Matrix計算部分進行修改，改為進行Stochastic SVD和配合相關數學推導，實作出兩個Distributed Collaborative-based Recommendation Systems。 本篇論文使用Apache Hadoop架設了兩組Cluster，對Mahout Distributed Item Based Recommendation System和Distributed SSVD Recommendation System進行實驗測試，並且進一步比較其整體表現。 國立清華大學張雅芳 2012

8. 基於個人本體論與MapReduce技術之圖書推薦系統 摘要 隨著網路和數位圖書館的發展進步，圖書館也提供讀者圖書推薦服務。PORE:Personal Ontology Recommender System是具有合作式過濾技術的個人本體論圖書推薦系統，藉由計算讀者之間的本體論相似度，找出最相近的讀者群，並挖掘出讀者的潛在興趣。但在合作式過濾推薦系統的作法中，需計算所有讀者之間的本體論相似度，若系統有n位讀者，便須做n2次的相似度計算，以目前PORE系統而言，計算時間通常需一周以上，推薦效能不佳。 本研究提出了基於MapReduce技術的相似度比對計算的方式，在Hadoop的分散式運算環境實作MapReduce技術，將計算相似度的工作切分為多個工作來平行處理，解決合作式過濾計算上的效能瓶頸，提升PORE系統的效能，並且重新實做了基於MapReduce技術的PORE系統。由實驗結果證明，利用MapReduce技術能有效提升合作式過濾推薦系統的計算效能。藉由開放原始碼，分享本研究方法的開發經驗，作為圖書館推薦系統研究之參考。 中興大學郭秉仁 2012

9. 混合雲之帳號與檔案內容權限管理與同步系統之實作－以Google Docs及Hadoop為例 摘要 本研究將探討企業在使用混合雲時遇到的帳號以及檔案內容與授權問題，實作上公有雲應用服務以Google Docs為例、私有雲以Hadoop為例、本地端則以Linux-base電腦為例。本研究使用開放標準OpenID與O’Auth達到對公有雲的帳號認證、檔案授權，以開發出一個跨本地端電腦或私有雲與公有雲帳號與檔案內容權限之管理與同步系統。本系統可解決在公有雲、私有雲與企業內部系統多重帳號的困擾與企業人員外部存取與內部存取時的權限不足或檔案版本不同的問題。 國立政治大學翁雋傑 2011

10. 基於Hadoop雲端運算架構建立策略交易與回測模擬平台基於Hadoop雲端運算架構建立策略交易與回測模擬平台 摘要 為了讓一般的投資大眾能享有智慧型、系統化的策略交易環境，本研究計畫發展一個可供大量使用者共用、並且容易上手的策略交易平台。為了達到這個目的，此平台必須擁有快速且大量的運算能力，雲端運算所提供之大量且可擴充的運算能力，使之成為最適宜的平台。為滿足不同使用者不同的投資偏好，此平台提供多項常用之技術指標與K線型態辨識功能讓使用者利用基因演算法產生符合其偏好的交易策略。在策略產生之後，使用者可以在平台上檢視交易策略在不同商品、不同時間區間上的表現，並從最後的策略回測報告中加以評估，挑選出獲利能力、波動程度與交易頻率都符合需求的交易策略。 國立政治大學黃柏翰 2011

11. 應用於雲端運算上保證儲存服務品質與節省能源的分散式儲存系統應用於雲端運算上保證儲存服務品質與節省能源的分散式儲存系統 摘要 為了保證儲存服務品質和節省能源，我們提出快速資料遷移/傳送機制和能源節省演算法的節點管理。快速資料遷移/傳送機制包含了三種機制，第一使用群體廣播改善網路頻寬並解決I/O和網路瓶頸；第二使用網路編碼技增加網路吞吐量且保持高容錯性；第三利用使用者/連結管理防止重要的封包遺失和搭配CPU和I/O約束排程使得資料平均地儲存於系統中。此快速資料遷移/傳送機制分別改善了56%的上傳頻寬和85%的反應時間。能源節省演算法先使用卡曼過濾器和然後結合樣本分析去預估系統工作量以動態調整節點個數以達到節省能源。根據實驗結果證明能源節省的節點管理演算法達到92.97%的準確率，並分別改善了52.25%的能源消耗並達到低於3.82%的錯誤率。 國立中山大學戴協璋 2011

12. 雲端計算平台於資料庫上的應用 摘要 情境感知（Context-Aware）是現代計算機科學領域主要研究的議題。由於嵌入式計算技術不斷的進步，小型的感測儀器已逐漸深入了生活之中。但是，這些大量且連續產生的感測資料卻漸漸的無法被現今常見的關聯式資料庫（RDBMS，Relational Database Management System）所承受。置於雲端運算平台的資料庫系統其可擴充性雖然可以解決此一問題，但是雲端運算（Cloud Computing）平台分散式檔案系統（DFS，Distributed File System）的特性，使得使用者務必要重新學習新的資料庫管理方法。 本論文提出了一項置於雲端運算平台的關聯式資料庫管理系統，讓使用者可以透過JDBC驅動程式與SQL結構化查詢語言來操作資料庫。同時可以妥善利用雲端運算平台所提供的優勢，資料庫將會有更佳的彈性與可靠程度。 臺灣大學陳敬翔 2011

13. 應用在MapReduce新型負載平衡規劃 摘要 雲端運算架構下，將資料拆成小塊運算後再重組回來，但要如何將拆解的資料平均的分配至各設備;分配的過程會產生額外資源消耗，要如何平均分配至各雲端設備，又要控制所額外使用的資源，是本篇論文要探討在分配過程的最佳化。 本論文提出運行於雲端運算環境中，可動態分配運算量的方法，並且將其在分配的過程，減少使用的記憶體。此設計架構針對中小型叢集，另一改良的方法使得不同資料皆可使用不同的編碼，使其配置過程減少overhead;要把傳統的單一線程排序算法設計成真正並行的排序算法，保證雲端計算各階段的並行度更高。 使用本論文的的方法，讓雲端運算不再專屬於大型企業，讓中小型私有雲能產生更快速，實現高運算能力。 中華大學陳克豪 2011

14. 基於Hadoop系統的雲端應用程式特徵擷取與計算監測架構基於Hadoop系統的雲端應用程式特徵擷取與計算監測架構 摘要 我們引進了 Application-Aware的概念，在 Hadoop系統上以現有的監測系統為基礎去發展一個應用程式特徵擷取與監控（Application Profiling and Monitoring）架構。這個系統能夠把複雜的計算工作對應關係隱藏起來，使得管理者可以用更簡單的方式去掌握應用程式。 這個系統主要包含三個元件：Application-Aware Profiling Agent、Profiling Database、Filter。 Application-Aware Profiling Agent安裝在每個計算節點上以紀錄各個雲端應用程式的執行情況（例如執行時間、CPU 使用狀況等資訊），這些監測資訊將透過Filter來擷取出對應關係，並將資料送到 Profiling Database 儲存。透過這一個系統，我們就可以掌握各個雲端應用程式的執行情況。除此之外，系統提供特徵擷取的功能，因此可以對計算工作的屬性進行分類。 基於使用者付費與服務品質的概念，雲端計算系統中採用越穩定的計算資源進行計算的使用者，就應付出較多的成本，當然雲端計算系統對於使用者的保障當然也要越大。因此，這個研究最大的貢獻就是提高監測的階層，以應用程式作為監測對象，提供一個監測應用程式的機制，劃分出應用程式與使用者的等級，才能讓雲端系統設計出保障各等級的使用者的方法。此外，系統處理過的資料也能夠回饋給管理者以及系統的資源調整機制，進而達到在動態的雲端計算環境中去支援動態系統調整，並保障使用者可佔用的計算資源份量。 國立中央大學劉勝豪 2010