正二十面体格子を用いた
This presentation is the property of its rightful owner.
Sponsored Links
1 / 34

地球フロンティア研究システム モデル統合化研究領域             佐藤 正樹 PowerPoint PPT Presentation


  • 44 Views
  • Uploaded on
  • Presentation posted in: General

正二十面体格子を用いた 全球非静力高解像度 大気大循環モデルの開発. 地球フロンティア研究システム モデル統合化研究領域             佐藤 正樹. 平成 14 年度 地球シミュレータ利用報告会 2003 年2月2日 , 横浜地球シミュレータセンター. 研究目標. 目的 気候研究の為の高解像度の大気大循環モデルを開発すること 水平格子 5 km 以下, 鉛直100m程度 開発の方針 球面準一様格子を用いた格子点法の採用 スペクトル法は超高解像度において、以下の点で非効率 Legendre  変換の計算量の増大

Download Presentation

地球フロンティア研究システム モデル統合化研究領域             佐藤 正樹

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


5962276

正二十面体格子を用いた

全球非静力高解像度

大気大循環モデルの開発

地球フロンティア研究システム

モデル統合化研究領域

            佐藤 正樹

平成14年度 地球シミュレータ利用報告会

2003年2月2日,横浜地球シミュレータセンター


5962276

研究目標

  • 目的

    • 気候研究の為の高解像度の大気大循環モデルを開発すること

      • 水平格子 5km以下, 鉛直100m程度

  • 開発の方針

    • 球面準一様格子を用いた格子点法の採用

      • スペクトル法は超高解像度において、以下の点で非効率

        • Legendre 変換の計算量の増大

        • 計算ノード間でコミュニケーション大(超並列計算時)

      • 単純な緯度経度格子法も極問題が発生

        • 極付近で経線が集中し、CFL条件が厳しい

      • 球面準一様格子の一つである正二十面体格子を水平格子に用いる。

    • 非静力学方程式系の採用

      • 水平方向に解像度が高くなるにつれて、従来の静力学方程式系では困難


  • 5962276

    なぜ、高解像度化が求められるか?

    • 100km格子では?

      • 一つの格子の中にいくつもの積雲が存在

        • これらの「解像されない」積雲が「解像される」場に及ぼす効果を考慮

      • Subgrid parameterization

        • 様々な不確実な仮定を含む

    • 数km格子では?

      • 一つ一つの雲があらわに表現できる。

        • Parameterizationに頼らなくてもよい。

        • Parameterizationの曖昧性を排除。

    全球雲解像モデルへ


    5962276

    球面一様格子いろいろ(3)

    • Icosahedral grid (正二十面体格子)

    • 正二十面体から出発する

    • 細胞分裂のように格子を分割していく

      • いくら細かくしても一様な格子が得られる。

      • 格子の最大最小比:1.3

    • 格子の等方性がよい

    • 格子が構造的に記述できる

      • プログラミングが容易

      • ベクトル化、並列化が容易


    5962276

    開発しているモデル

    • 全球浅水波モデル

      • 正二十面体格子の有効性を検証するため最初に開発。

        • Tomita et al. (2001) J.Comput.Phys. ,Vol.174, p.579

        • Tomita et al. (2002) J.Comput.Phys. ,Vol.183, p.307

      • 水平方向の数値スキーム(移流スキーム等)の開発ベース

  • 領域非静力学モデル

    • 気候計算に耐えうる非静力学スキームの研究のために開発。

      • Satoh(2002) Mon.Wea.Rev., Vol.130, p.1227

      • Satoh(2003) Mon.Wea.Rev., in press

    • 高解像度用の力学過程、物理過程パラメタリゼイションの検証用

  • 全球非静力学モデル

    • 領域モデルでの非静力学スキームを全球正二十面体格子に適用

    • 現在、乾燥ダイナミカルコアが開発済みである。

      • Tomita et al. (2002b) submitted to Mon.Wea.Rev.

        Nonhydrostatic ICosahedral Atmospheric Model

        (NICAM)


  • 5962276

    モデル開発体制

    • 開発人員

      • 富田浩文(地球フロンティア)

        • 正20面体格子モデルの開発

        • 全球非静力学モデルへの新力学スキーム、新物理過程の実装とテスト

      • 那須野智江(地球フロンティア)

        • 領域非静力学モデルでの高解像度広域湿潤対流計算

        • 雲微物理過程、パラメタリゼイションの検証

      • 後藤浩二(NEC)

        • モデルの高速化

      • 北内英章(IARC)

        • 三角形格子での新スキームの開発(spectral element method)

      • 佐藤正樹(地球フロンティア/埼玉工大)

        • 開発チームリーダー

        • 領域非静力学モデルの開発、物理過程(乱流、湿潤過程)の検討


    5962276

    開発工程

      計算効率のチューニング(地球シミュレータ上)  

    2002

    2000-2001

    2003~

    全球浅水波モデル

    (二十面体格子研究)

    全球非静力学

    ダイナミカルコア

    (二十面体格子

    +非静力学系)

    全球非静力学

    大気モデル

    (二十面体力学コア

    +物理過程)

    領域非静力学モデル

    (新スキーム研究)

    高解像度の物理パラメタリゼイションの研究

    物理過程

    チューニング

    既存のモデルとの比較(AFES, NPD/MRI-NHM)

    • 海洋、陸面、海氷、生態系モデルとのカップリング

        (2005以降)


    5962276

    非静力学正20面体大気モデルの現在の開発状況


    5962276

    格子分割

    単位球に内接する正二十面体の各辺を球面上に投影する。(glevel-0)

    それぞれの三角形の中点を結び、 4つの三角形を生成する。(glevel-1)

    目標の解像度を得るまで上記のプロセスを繰り返す。(glevel-n)

    分割回数

    5kmの解像度を得るには11回分割過程が必要

    正二十面体格子の生成法

    (0)格子分割レベル0 (1) 格子分割レベル1

    (2)格子分割レベル2 (3) 格子分割レベル3


    5962276

    level 8

    (~28km)

    level 7

    (~56km)

    level 10

    (~7km)

    level 9

    (~14km)


    5962276

    修正格子 (1)

    • バネの力学を使った格子の修正

      • グリッドノイズの軽減のため

        バネを使って格子配置をスムーズにする.

    • 通常の方法で格子を構築

    • 格子点をバネで結ぶ

    • バネのダイナミクスをシステムが平衡に達するまで数値的に解く。

    このプロセスを踏むことで

    グリッドノイズが軽減される


    5962276

    エラー分布の改良

    CVの面積分布        発散のエラー分布

    • STD格子

      • CVの面積分布

        • もともとの20面体の構造を引きずる。

      • 発散のエラー分布

        • CVの分布のようにエラーが線状に現れる。

        • フラクタル構造

        • グリッドノイズの生成

    • STD-GC格子

      • CVの面積分布

        • 滑らかに分布する

      • 発散のエラー分布

        • 同様に滑らか

           グリッドノイズの軽減

    STD格子

    SPR-GC格子


    5962276

    領域モデルのための格子

    • バネ格子のもう一つの応用

      • 各場所でバネを変えることで領域集中型格子を作ることができる.

    集中格子の例

    (a) 高分解能半球              (b) 低分解能半球

     領域予測モデル、領域気候モデルへ応用できる


    5962276

    並列計算の戦略(1)

    • 領域分割

      • 隣り合った2つの二十面体三角形をつなぎ、10個の矩形領域を作る。(rlevel-0)

      • それぞれの矩形領域について4つの矩形領域を作る。(rlevel-1)

      • この過程を繰り返す。

      • (rlevel-n)

    • 各プロセスの領域担当

        プロセスは、任意の位置の複数の領域を担当できるように設計

      プロセス間のロードインバランスを回避するため

    (0) 領域分割レベル0     (1) 領域分割レベル1

    (2) 領域分割レベル2    (3) 領域分割レベル3


    5962276

    並列計算の戦略(2)

    • 領域を管理するプロセスの例(rlevel1の場合)

      • 領域の数は40個

      • これらを10個のプロセスで管理するとする。

         同じ色の4つの領域を管理

      • 赤道から極にかけて一様に分配している。

        物理過程に伴うロードインバランスを回避することができる。


    5962276

    ベクトル計算の戦略

    • 領域内の格子構造

      • 格子は、矩形でなく三角形である。

         非構造格子?

      • 構造格子のように取り扱うことが出来る。

         Fortran 2D array

      • ベクトル化にとって、普通の非構造格子よりもはるかに有利である。

    • 更に2次元配列を1次元化してベクトル長を稼ぐ。

      • トータルのベクトル化率

        99%以上は確保。


    5962276

    支配方程式

     L.H.S. : FAST MODE  R.H.S. : SLOW MODE 

    (1)

    (2)

    (3)

    (4)

    メトリック

    • 予報変数

    •  密度

    •  水平運動量

    •  鉛直運動量

    •  内部エネルギー


    5962276

    時間スキーム

    • 時刻Aでの値が既知とする。

      • 時刻Aでの Slow Mode の tendency S(A)が計算できる。

    • 最初のステップとして、S(A)を使って、AからBまで積分する。

      • Fast Mode の tendency は、随時計算する。

    • 時刻Bでの値を使って、 Slow Mode の tendency S(B)を計算する。

      • 時刻Bの値は、上記の仮の値を使う。

    • 再びAに戻り、 S(B)を使ってAからCまで積分する。

       SlowMode は、時間2次精度で計算できる。


    Held suarez dynamical core

    Held & Suarez Dynamical Core 実験(1)

    • 実験設定

      • 放射

        • ある平衡温度場を設定して、簡単なNewtonian Coolingを課す:

        • ここで

        • 平衡温度場は緯度の関数で以下。

        • ここで

      • 地表面摩擦

        • 地表面摩擦を大気下層で、Rayleigh Damping の形で与える:

        • ここで


    Held suarez dynamical core1

    Held & Suarez Dynamical Core 実験(2)

    • 目的

      • 1200日間の積分を行い、残り1000日の気候値を他のモデルと比較する。

    • モデルの設定

      • 異なった水平解像度で実験


    Held suarez dynamical core2

    Held & Suarez Dynamical Core 実験(3)

    • スナップショットの結果(1200日後の速度場と温度場)

    •  大気上層(z=10.5km)

      • 中緯度での傾圧不安定による偏西風ジェットが

      • よく再現されている。

    •  大気下層(z=0.5km)

      • 赤道上での東風が再現されている。


    Held suarez dynamical core3

    Held & Suarez Dynamical Core 実験(4)

    • 東西風の帯状平均場(気候値)

    (a) glevel-5 (b) glevel-6 (c) glevel-7

    •  各glevelとも、ジェットは、緯度45度、250hPaの位置にある。

    • glevelがあがるとジェットの強さは、若干弱まる傾向にある。

    •  大淵(2001年秋季大会)で示唆されている。


    Held suarez dynamical core4

    Held & Suarez Dynamical Core 実験(6)

    • 東西風の帯状平均場(気候値)

    (a) GME(ni=64) (b) IFS (c) Our model

    •  ジェットの位置は、一致。( 45[deg] and 250[hPa] )

    •  東西風の強さ及び分布は、ほとんど一致。

    GME:ドイツ気象局の20面体モデル

    IFS:ECMWFのスペクトルモデル


    Held suarez dynamical core5

    Held & Suarez Dynamical Core 実験 (8)

    • エネルギースペクトルの比較(AFESの力学部分)

    AFES: 地球シミュレータセンターのスペクトルモデル

    (a) glevel5 / AFES-T47(b) glevel6 / AFES-T95

    •  4次の超粘性で、粘性係数は同じ値に設定。

    •  大きな波長の構造は、同様。

    •  エネルギーのカスケード構造もほぼ同様。


    5962276

    計算パフォーマンス (1)

    • 地球シミュレータ上でのパフォーマンス

      • 地球シミュレータ

        NEC-SX5をベースにしたベクトルコンピュータの超並列機.

        • 640計算ノード.

        • 1ノードあたり8個のベクトルプロセッサ.

        • 1ベクトルプロセッサあたり8GFLOPS

        • トータルピーク性能: 8X8X640 = 40TFLOPS

    • 計測したシミュレーション

      • Held & Suarez dynamical core 実験一日積分

        • 鉛直層数 : 100

        • 水平解像度 : glevel-5 to 8


    5962276

    計算パフォーマンス(2)

    • スケーラビリティー

    • 設定

    • 水平解像度 : glevel-8

    • 鉛直層数 : 100

    • Fixed

    • 使うノードを10から

    •   80に増やす

    • 結果

    • 緑 : 理想的なspeed-upライン

    • 赤 : 実際の speed-up ライン

     ほぼ理想的に計算時間は減る。


    5962276

    計算パフォーマンス (3)

    • 水平解像度を増やしていけば………?

    理想的には計算時間が2倍になっていくはずである.

    • 設定

    • 解像度を倍にすると,

      • # of gridpoints : 4 倍

      • # of CPUs : 4 倍

      • Time intv. : 1/2

    結果

    理想的に計算時間は倍になっている。


    5962276

    格子点法は本当にスペクトル法に勝てるか?!

    • 比較対象モデル

      • AFES(AGCM For Earth Simulator)

        • 地球シミュレータセンターのスペクトルモデル

        • Legendre変換をギリギリまでチューンアップ

        • T1279L96において、26.58Tflopsの世界最高性能

          • 10km水平格子(解像スケール30km)、100m鉛直格子

        • 本年度のゴードンベル賞受賞

        • 世界最速のスペクトルAGCM(の一つ)

    • 計測

      • 水平解像度をT2559(glevel 11)まで上げて、1stepあたりにかかる時間を計測。

        • 鉛直30層は固定、ES80ノードを使う。

      • 取りうるdtをT159(glevel 7)で調べ、以降、解像度が2倍になるにつれて、半分になるとして推測。

      • 以上より、一日積分に要する時間を比較


    Nicam afes

    NICAMとAFESの計算時間の比較1

    • 1stepあたりにかかる計算時間の比較

    • 青:AFESの結果

       高解像度になるに従い

       O(N3)で計算時間が伸びる。

    • 緑:NICAMの結果

    • 赤:NICAMの結果

       高解像度になるに従い、

       O(N2)で計算時間が伸びる。

    “あらゆる分解能でNICAMの方が高速”

    分解能の解釈によるが,T1279 or glevel10 では確実に NICAM の方が高速


    Sp grid

    Sp法切断波長=Grid法4DXの根拠

    同じ粘性でgl-6とT159のエネルギースペクトルを比較

    全波数が80程度まではほぼ一致

    格子点法の4 grid波長までは物理的に意味があると言える。


    Nicam afes 2

    NICAMとAFESの計算時間の比較2

    •  最大時間刻み幅と1日積分時間の比較

    (スペクトル法の切断波数に対する波長) = (格子点法の4DX として比較)

    •  時間刻み幅は、NICAMの方が若干大きく取れる。

    T1279(glevel-10)で完全に追い越すことが出来る。


    5962276

    まとめ

    • 正二十面体格子を用いて全球非静力学方程式モデルNICAMを開発した。

      • 気候計算に耐えうるように質量や全エネルギーの保存を考慮したスキームを使った。

    • 気候再現実験の一つであるHeld&Suarez Dynamical Core実験を実施した。

      • 結果は、概ね良好で、同程度の解像度での他のモデルと比較しても遜色のない結果を得た。

    • 計算効率については、スケーラビリティー等非常によい結果を得た。

      • T1279(30km解像度)以上で、格子点法の方が計算効率の面で優れている。

    • 領域非静力学モデル:ES上での計算準備中


    5962276

    今後の研究計画

    • 短期計画(2003)

      • 非静力学正20面体大気モデル力学コアの地球シミュレータ上でのチューニング。高解像度計算。

      • 非静力学正20面体大気モデルへの物理過程の組み込み、テスト。

      • 領域非静力学モデルの開発と広域計算。

    • 長期計画

      • 2004:

      • 非静力学正20面体大気モデルへの物理過程の組み込み、開発。

      • 領域非静力学モデルでの力学・物理過程の検討、開発。

      • 2005以降:

      • 非静力学正20面体大気モデルの物理チューニング、気候実験。


    References of our models

    References of our models

    • Icosahedral grid

      • Tomita et al., (2001) : “Shallow Water Model on a Modified Icosahedral Geodesic Grid by Using Spring Dynamics”, J. Comput. Phys., 174, 579-613

      • Tomita et al., (2002) : “An Optimization of the Icosahedral Grid Modified by the Spring Dynamics”, J. Comput. Phys., 183, 307-331

  • Nonhydrostatic scheme

    • Satoh (2002) : “Conservative scheme for the compressible non-hydrsostatic model with horizontally explicit and vertically implicit time integration scheme”, Mon.Wea.Rev., 130, 1227-1245

    • Satoh (2003) : “Conservative scheme for a compressible non-hydrsostatic models with moist processes”, Mon.Wea.Rev., in press.

  • Global nonhydrostatic icosahedral model

    • Tomita et al., (2002a) : “Development of a nonhydrostatic general circulation model using an icosahedral grid”, Parallel CFD 2002, in press

    • Goto et al., (2002) : “Computational performance of dynamical part of next generation climate model using an icosahedral grid on the Earth Simulator”, Parallel CFD 2002, in press

    • Tomita et al., (2002b) : “The Non-hydrostatic Icosahedral Global Model for the Earh Simulator”, Max-Planck Institute for Meteorology technical Report 2002

    • Tomita et al., (2002c) : “Global nohydrostatic dynamical core on the icosahedral grid Part I : Model description and fundamental tests”, submitted to Mon.Wea.Rev

  • Physical processes

    • Nasuno et al., (2002) : “Resolution Dependence of a Tropical Squall Line”, submitted to Mon.Wea.Rev


  • Login