大阪大学核物理研究センター殿 ユーザー会資料

1. 大阪大学核物理研究センター殿ユーザー会資料大阪大学核物理研究センター殿ユーザー会資料 平成13年2月14日 大阪大学核物理研究センター 日本アイ・ビー・エム株式会社 コベルコシステム株式会社

2. １．システム全体構成図 ２．計算サーバー・データ処理サーバー 2-1. 計算サーバー・データ処理サーバー 2-2. ディスク装置 2-3. 導入ソフトウェア ３．オンラインステーション ４．Ｉ／Ｏステーション ５．ネットワークシステム 5-1.ネットワーク機器構成図 5-2.ネットワーク概念図 5-3.ファイアウォール ６．アプリケーションサーバ 6-1. プリンターシステム 6-2. メールサーバ 6-3. wwwサーバ 6-4. newsサーバ 6-5. dnsサーバ 6-6. ntpサーバ 6-7. pppサーバ ・・・ １ ・・・ ２ ・・・ ８ ・・・ ９ ・・・１０ ・・・１３ 目次

3. １．システム全体構成図 Internet 計算サーバー (5ノード) データ処理サーバー (9ノード) HEPNET ODINS 計算ノード 3ノード データ処理ノード 8ノード アプリケーション・サーバ群 Firewall 外向けメールサーバ 外向けwwwサーバ mail news web dns ntp Senri saho hozumi ・・・ インタラクティブ・ノード 汎用ネットワーク プリンターサーバー1,2 ルータ オンラインステーション1,2 (kasuga1,2) プリンター用ネットワーク I/Oステーション (４台) ルータ ルータ 大塔ネットワーク 核理１ネットワーク 加速器ネットワーク ポスタープリンター(1台) 高速プリンター(3台) カラープリンター(13台) 1

4. ２．計算サーバー/データ処理サーバー バッチノード インタラクティブノード 【１ｃｐｕの性能】(IBM POWER3 375MHz) 24.4 SPECint95 50.9 SPECfp95 計算ﾉｰﾄﾞ #3 4CPU Memory：7GB Senri 4CPU Memory：7GB ログイン サブミット 計算ﾉｰﾄﾞ #2 4CPU Memory：7GB 【１ノードの性能】(４cpu) 875 SPECint_rate95 1382 SPECfp_rate95 【1ノードあたりのメモリー容量】 3.5GB(データ処理サーバー) 7.0GB(計算サーバー) 計算ﾉｰﾄﾞ #1 4CPU Memory：7GB Saho 4CPU Memory：7GB ログイン サブミット SPｽｲｯﾁ ログイン ﾃﾞｰﾀ処理ﾉｰﾄﾞ #8 4CPU Memory：3.5GB Hozumi 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #7 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #6 4CPU Memory：3.5GB 2-1.計算サーバー/データ処理サーバー • 【計算サーバー】(senri,saho+計算ノード(3)) • 5ノード(20CPU) • 4375 SPECint_rate95 • 6910 SPECfp_rate95 • メモリー 35GB (うち2GBは一時ディスク用) ﾃﾞｰﾀ処理ﾉｰﾄﾞ #5 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #4 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #3 4CPU Memory：3.5GB • 【データ処理サーバ】(hozumi+データ処理ノード(8)) • 9ノード(36CPU) • 7875 SPECint_rate95 • 12438 SPECfp_rate95 • メモリー 31.5GB (うち2GBは一時ディスク用) ﾃﾞｰﾀ処理ﾉｰﾄﾞ #2 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #1 4CPU Memory：3.5GB 2

5. 【バッチノード】 • データ処理ノード ・ ４CPUのノードが８ノード、合計３２CＰＵあります。 ・ 32個のＣＰＵは核理1A,B,C各グループにそれぞれ15個、11個、6個を分配しています。 ・ バッチキューは核理1Ａ,1Ｂ,1Ｃ各々に、長時間・中時間・短時間の3つのキューを用意します。 • 計算ノード ・ ４ＣＰＵが３ノード、合計１２ＣＰＵあります。 ・ 一般の大規模計算（主として理論）用のＣＰＵです。 ・ バッチキューは長時間・中時間・短時間の3つ用意します。 【バッチジョブのクラス設定】 ※バッチジョブの投入方法、キューの設定等についてはwebを参照してください。 3

6. 【インターラクティブノード】 • senri ・ 一般ユーザー向けのノードです。 ・ 計算ノードへのバッチジョブはここからサブミットします。 ・ 計算ノード上のプロセスは時間と共に優先順位を下げるように設定されています。 ・ 汎用セグメントとはギガビットイーサネットのインターフェイスで接続されています。 • saho ・ データ解析を行なうユーザー向けのノードです。 ・ データ処理ノードへのバッチジョブはここからサブミットします。 ・ データ処理ノード上のプロセスは時間と共に優先順位を下げるように設定されています。 ・ 汎用セグメントとはギガビットイーサネットのインターフェイスで接続されています。 • hozumi ・ データ解析を行なうユーザー向けのノードです。 ・ インタラクティブで最大ジョブを実行するためのノードです。 ・ このノードは一旦sahoに入ってから利用可能です。 4

7. ・ ディスク構成はRAID-５によるデータ保護によりRAIDグループ内の１つのディスクに障害が発生した場合でもデータが 保護される構成をとっています。また、ディスクへのアクセスパスも二重化されており、経路障害時の冗長性も保たれ ています。 ・ ホームディレクトリ(/home)には合計710GB割り当てています。ディスクの使用制限(quota)は１ユーザーあたり10GBで 設定してしています。 ・ ワークディレクトリ（/work)には合計710GB割り当てています。ディスクの使用制限は現在かけていません。 ・ データ処理ノードからアクセスできるディスクは、約３TBのRAIDセットが１２セットあり、各RAIDセットの配分は下記の とおりです。 2-2.ディスク構成 【ディスク割り当て一覧】 5

8. 【導入ソフトウェア一覧】 2-3．導入ソフトウェア 6

9. 【導入ソフトウェア一覧】(続き) 7

10. ３．オンラインステーション ・オンラインステーションはリングサイクロトンにおけるデータ収集システムからのデータ転送を受け、データ処理 サーバーへ転送するために設置しています。 ・kasuga1,kasuga2の２台を設置し、１台に障害が発生した場合でも他の１台で代替できる構成をとっています。 ・大量のデータ転送を可能にするため汎用ネットワークおよび核理１ネットワークとがキガビットイーサネットの インターフェイスで接続されています。 【機器仕様】 IBM RS/6000 モデル44P-270(7044-270) ・POWER3-Ⅱ 375MHz 2CPU ・437 SPECint_rate95 (2CPU) ・767 SPECfp_rate95 (2CPU) ・メモリー 2GB ・一時データ用ディスク 163.8GB(RAID-5時) ・AIX v4.3.3オペレーティングシステム 8

11. ４．Ｉ／Ｏステーション 【Ｉ／Ｏステーション本体】 UNISYS U10 (JPU3010-SB U10) (４台) ・ UltraSPARC-Ⅱi 440MHz 1CPU ・メモリー : 128MB ・ OS : U-J Solaris2.6 【周辺機器仕様】 【利用可能な周辺機器】 部分は近日公開予定です。 9

12. 5-1．ネットワーク機器構成図 プリンター サーバ AVF棟3F 計算機主機室 ５．ネットワークシステム news www mail dns ntp 計算サーバー/データ処理サーバー HEPNET Senri saho hozumi ODINS Ｇbit 基幹ハブ Catalyst6506 Cisco4500M オンラインステーション (kasuga1,kasuga2) Firewall3 ルータ Ｇbit 公衆回線 ppp I/Oステーション 大塔ネットワーク ルータ プリンタ Ｇbit Ｇbit Ｇbit リング実験棟地下共同溝 本館4Fネットワーク機械室 リング付属棟2F計数室 基幹ハブ Catalyst6506 基幹ハブ Catalyst2948G 基幹ハブ Catalyst2948G 本館各階 ハブ ハブ ハブ ハブ ハブ ハブ ハブ ハブ ハブ プリンタ ユーザー端末 プリンタ 端末 プリンタ 端末 I/Oステーション(3F,6F) I/Oステーション 10

13. Internet 5-2．ネットワーク概念図 HEPNET ODINS 外部ネットワーク 計算サーバー (5ノード) データ処理サーバー (9ノード) ファイアウォール 外向けメールサーバ 外向けwwwサーバ 計算ノード 3ノード データ処理ノード 8ノード アプリケーション・サーバ群 ・・・ ssh ssh, telnet, ftp (http,https) Senri saho hozumi 汎用ネットワーク オンラインステーション１ (kasuga1) プリンターサーバー１ プリンターサーバー２ オンラインステーション2 (kasuga2) IP DECnet appletalk IP DECnet appletalk IP プリンター用ネットワーク I/Oステーション (４台) Ｇbit Ｇbit ルータ ルータ ルータ 核理１ネットワーク 加速器ネットワーク FDDI 大塔ネットワーク プリンター群 11

14. ・新システムではセンター内のネットワークと外部ネットワークと・新システムではセンター内のネットワークと外部ネットワークと の間にファイアウォールを設置して外部からのアクセスに対し セキュリティーを確保しています。 ・外部ネットワークにはセンター内の計算機のIPアドレスや名前 を公開していませんので、 特定の計算機を除き、外部から センター内の計算機にアクセスすることはできません。 ・外部からのアクセスは2つのインターラクティブノード(senri, saho) に対してsshによるloginのみに制限され、一旦ここにlogin してか らセンター内の各計算機に対してアクセスが可能です。 ・センター内から外部ネットワークへのアクセスはssh, telnet, ftpに よるアクセスが可能です。(http,httpsは暫定的に可能です) ・センター内の端末からはインターラクティブノード(senri, saho)及 びオンラインステーション、その他の計算機に対して直接アクセ スが可能です。 ・インターラクティブノードのhozumiについては、外部からもセンター 内からも一旦sahoにloginした後、利用することができます。 ・メールやwwwなどのアプリケーションでの通信は緩衝セグメント 経由等で行われるように設計されています。 5-3．ファイアウォール Internet HEPNET ODINS (緩衝セグメント) 外向けメールサーバ 外向けwwwサーバ ファイアウォール ssh, telnet, ftp (http,https) ssh Senri saho mail web 汎用ネットワーク ユーザー端末 12

15. ６．アプリケーションサーバ アプリケーションサーバとして、下記のサーバが利用可能です。 6-1. プリンターサーバ 6-2. メールサーバ 6-3. wwwサーバ 6-4. newsサーバ 6-5. dnsサーバ 6-6. ntpサーバ 6-7. pppサーバ 13

16. 6-1.プリンターサーバ 【プリンターシステム構成図】 核物理研究センター内 Windows95,98 WindowsNT WindowsNT WindowsNT WindowsNT MacOS MacOS 7,8,9 7,8,9 MacOS MacOS 7,8,9 7,8,9 LPR対応計算機 EtherTalk LPR プリンタサーバａ プリンタサーバｂ プリントサービス環境 履歴集計 ･プリントサーバーを同時2台稼動 ･1台のサーバに障害が発生した場合、 クライアントより他のサーバへ切り替え (プリンター名末尾のａ,bを切り替え) 各々のプリントサーバー上の履歴情報を 集計し、ユーザー別・機器別の情報を 自動的にレポート 出力履歴収集処理 履歴集計処理 メール通知機能 本館3,6F 本館4F AVF棟1,3F リング付属棟2F 本館1～6F リング付属棟2F リング棟地階 プリンタサーバーと プリンタ自身から 連携しメール通知 メール通知 高速プリンタ×3 ポスタープリンタ×1 カラープリンタ×13 消耗品・異常通知 消耗品（トナー・インク等）が少なくなった場合及び完全に無くなった場合、プリンターに異常が発生した場合に運用担当者へメールで通知 (用紙切れの場合は除く) 14

17. 【プリンター一覧】 15

18. 6-2. メールサーバ ・メールサーバは受信専用と送信用(中継専用)の２台のサーバに 分けて運用しています。 旧システムとは受信のためのPOP等メールの設定について変更 されていますのでwebマニュアルを参照して設定をしてください。 Internet HEPNET ODINS ・メールサーバは架空のサイト名を送信元とするようなメールを 拒否したり、スパムメールの踏み台となる危険性のあるサイト からのメールを拒否するなど、ファイアウォールとの組み合わ せでセキュリティーを確保しています。 Firewall 外向けメールサーバ (mail-gate) ・メーリングリストの運用について センター内でのメーリングリストはすべてこのサーバ上で運用 されています。 個々のメーリングリストには各々にリスト管理者が割り当てら れていますので、リストへの登録等については各リスト管理者 にご相談ください。 汎用ネットワーク 送信 受信 incoming mail server (mail-in) ・POPサーバ ・メーリングリスト ・(IMAPサーバーは 準備中) outgoing mail server (mail-out) 受信 送信 ユーザー端末 senri saho 16

19. 6-3. wwwサーバ ・wwwサーバは、公開用外向けwwwサーバとwebページの登録・編集等を行う内向けwwwサーバに分けて運用 しています。 【ブラウザ環境】 【ホームページ公開】 Internet Internet HEPNET ODINS HEPNET ODINS 外向けwwwサーバ(公開) www-rcnp 外向けwwwサーバ(公開) www-rcnp Firewall Firewall 汎用ネットワーク 汎用ネットワーク 内向けwwwサーバ www-in (プロキシ) 内向けwwwサーバ www-in (プロキシ) nfs login Senri wｗw管理者 登録・編集 登録・編集 一般ユーザー ユーザー (webブラウザ) ・外部のwwwサーバへアクセスする際は必ずプロキシの 設定を行ってください。 ・webの公式ページはセンター内の限られたコンテンツ管理者 のみが編集可能です。 ・一般ユーザーの個人/グループのページはsenri上のページを 更新することで公開サーバーへ反映されます。 17

20. 6-4. newsサーバ ・newsサーバは旧システムと同様に運用を行っています。 ・newsサーバを使用できるのは内部ユーザ(Firewall内)のみです。(PPP経由での使用も予定しています) ・推奨のリーダーはmnewsです。利用方法はwebを参照してください。 ・システムの運用情報がrcnp.announceで提供されます。 6-5. dns Internet ・dnsは内向けサーバ２台、外向けサーバ1台によるサービスを行っています。 ・内向けサーバを２台設定することで、１台に障害が発生した場合でももう1台 のサーバよりdnsのサービスを受けることが可能です。 ・センター内からはセンター内の計算機の名前は引けますが、外部のネット ワークよりセンター内の名前参照は特定のサーバ以外はできません。 HEPNET ODINS ×特定サーバのみ 外向けdns Firewall 汎用ネットワーク 内向けdns1 内向けdns2 ユーザー 18

21. 6-6. ntpサーバ ・ntpサーバーは各計算機の時計を正確に合わせるために時刻情報を提供するサーバーです。 ・現在2台のサーバ(ntp1,ntp2)で運用を行っています。 ・使用しているコンピュータの時刻が合っていることで様々なメリットがありますので設定が可能な計算機では 使用を推奨します。 6-7.pppサーバ ・pppサーバは旧システムと同様に運用を開始する予定です。 ・一般回線が3回線用意される予定です。 ・今回のシステムではどのユーザーがどのポートでログインしたのかロギング機能をもつ予定です。 19

22. http://www.rcnp.osaka-u.ac.jp/Divisions/CN/ibm/tebiki.html • v0.9.1, 22 December 2000 • v0.9.1, 22 December 2000 • 移行に伴う必要項目 • FAQ 新汎用計算機システムの使用の手引き • 新汎用計算機システムの使用の手引き • 1. 本システムの使用方法 • 1.1Login 方法 • 1.2Password 変更手順 • 1.3　バッチジョブ投入について JapaneseEnglish • 1.4　コマンドレファレンス • 1.5I/Oステーション・デバイス一覧 • 2. クライアントでの設定･使用方法 • 2.1 sshWindows 98 • MacOS • PC-Unix • 2.2 telnet • 2.3 mnews • 3. Printerの定義･使用手順 • 3.1 Windows 98定義手順 • 使用手順 • 3.2 Windows NT 4.0定義手順 • 使用手順 • 3.3 MacOS定義手順 • 使用手順 • 3.4 PC-UNIX定義手順･使用手順 • 3.5 インタラクティブ・ノード及びオンラインステーションからの出力手順 • 3.6 UNIXから印刷設定を指定して出力する手順 • 4. コンパイラー・マニュアル • C言語 HTMLPDF • Fortran HTMLPDF(User's Guide)PDF(Language Reference) • IMSLライブラリ HTML(はじめに)PDF • 5. メーリングリスト管理者マニュアル • 6. FAQ HISTORY 20

23. http://www.rcnp.osaka-u.ac.jp/Divisions/CN/ibm/faq/faq.html • FAQ • v0.9.1, 22 December 2000 • v0.9.1, 22 December 2000 • 新汎用計算機システムの使用の手引き • 移行に伴う必要項目 • FAQ HISTORY • FAQ • 1. ネットワーク • 2. インタラクティブ・ノード SENRI-SAHO • 3. 言語関連 • 4. その他 21