SCore Light の概要. 堀敦史 (Allenia Software) 長谷川篤史 (NEC 情報システムズ ) 竹岡尚三 (AXE) 石川裕 ( 東京大学 )

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "SCore Light の概要. 堀敦史 (Allenia Software) 長谷川篤史 (NEC 情報システムズ ) 竹岡尚三 (AXE) 石川裕 ( 東京大学 )"

Maddalena Benedetti
4 anni fa
Visualizzazioni

1 SCore Light の概要堀敦史 (Allenia Software) 長谷川篤史 (NEC 情報システムズ ) 竹岡尚三 (AXE) 石川裕 ( 東京大学 )

2 現状認識 :SCore: vs. Beowulf 実績 PC 利用形態インストール機器構成変更保守性 SCore 大規模 PC クラスタ専用マシン想定難 ( 要ネットワーク知識 ) 難 ( 要 SCore 知識 ) 中 ( 利用勝手に難 ) MPI 通信ライブラリ (MPICH-SCore) High Performance Multi-Users Environment PM for Cluster Computing Network 小中規模 PC クラスタ別用途併用可能簡単簡単 Beowulf 考慮されていない MPI 通信ライブラリ (MPICH-P4, LAM/MPI) LAN Environment TCP/IP for Internet Network Linux とオープンソースの組み合わせで作られたクラスタを一般に Beowulf 型クラスタと呼ばれる 1990 年半ば JPL/Caltech の Thomas Sterling 率いる Beowulf プロジェクトに由来する 2

3 ユーザビリティ向上 SCore 計算ノード :PC クラスタ構成要素のうち計算を担当する PC 群を計算ノードと呼ぶ計算ノード保守時に全体のシステムを停止せずに他のコンピュータを使用 PC 利用形態インストール構成変更保守性普段は Windows システム夜間は SCore クラスタ構成要素として使用専用マシンを想定 SCore SCoreのディスクレス化 SCore 難しい SCore( 要ネットワーク知識 Light Light インストールツール ) 難しい SCore SCore ( 自動構成ツール要 SCore 知識 ) 中 SCore SCore ( 利用勝手に難あり動的再構成機能 ) ディスクレス SCore 簡単インストール新たに計算ノードが加わる 3

4 この後の発表 SCore Light インストールツール石川裕 ( 東京大学 ) SCore のディスクレス機能竹岡尚三 (AXE) SCore 自動構成ツール長谷川篤史 (NEC 情報システムズ ) SCore 動的再構成機能堀敦史 (Allenia Software) 4

5 SCore Light インストレーションツール 3タイプのインストレーションディスクレス環境 Linuxインストールも含めたディスク環境既存 Linux 環境改良 Anaconda 改良 Anaconda 改良 + 改良 Anaconda SCore + Anaconda SCore + ディスクレス + ディスクレス SCore SCore ディスクレスディスクレス SCore Light サーバ側プログラム + 自動構成ツールサーバプログラム 5

6 ソフトウェア構成 SCore のディスクレス化ファイルシステム構造変更 +SCore 動的再構成機能 SCore 動的再構成機能データベース構築ツール開発 Resource database Omni OpenMP SCASH PM/Shmem driver Applications TACO MPC++ PM/Myrinet driver SCore 動的再構成機能 SCore-Dの改良 MPICH-SCore SCore-D Global Operating System SCore Light インストールツール PMv2 Library PM/Shmem PM/Myrinet PM/Infiniband PM/Ethernet PM/Infiniband drivers Myrinet Myrinet NIC NIC 6InfiniBand HCAs PM firmware HCAs 改良 Anaconda + SCore ディスクレス + ツール PVM-SCore PM/Ethernet driver Ethernet driver Ethernet Ethernet NIC NIC PBS Linux Linux

7 SCore のディスクレス機能 (1) 手軽にSCoreを試せる環境の提供管理コストの軽減現状 HDDにLinux+ScoreをインストールしなければSCore を動かすことができない大学の研究室レベルですぐに試すことができない新規ユーザ獲得の障壁 7

8 SCore のディスクレス機能 (2) Linux ディスクレスブートネットワークからの起動 CDROM からの起動 HDD はまったく使用しなくとも動作可能 NFSサーバのディスク上に各ノードのルートディレクトリを置ける各ノードの自動コンフィギュレーション NFSサーバ上のルートディレクトリを各ノードが適切に認識してマウント自動的にSCore 計算ノードとなる 8

9 SCore のディスクレス機能 (3) RPMパッケージインストール補助ツールの提供ディスクレスノードはファイルの多くを共有不用意にRPMをインストールすると共通情報が不適切に書き換えられる RPMパッケージを適切に変更する作業を容易にするツールを提供 RPMをディスクレスシステム向けに変更して以降それを使用可能 9

10 SCore 自動構成ツール (1) SCore の現状 [ 機能 ] MPI, PVM, OpenMP を提供 Checkpoint/restart バッチシステム (PBS) Multi User 環境 [ 導入状況 ] 産総研理研等の大規模システムや奈良先端大等の中規模システムを中心に普及大学研究機関のへの導入が中心小規模システムへの普及が課題 10

11 SCore 自動構成ツール (2) 普及を促進するための課題大規模システム ( 数百ノード~) 専任のSEによる手厚いサポート中規模システム ( 数十ノード~ 百数十ノード ) RemoteでSEがサポート小規模システム ( 数ノード ) SEのサポートなしユーザ自身が管理専門家がいないので導入時の負担が大きい / 何をすればいいのかわからない設定方法がわからない障害時の対処方法がわからないソースを読めば直に判ることでもその時間が無い 11

12 SCore 自動構成ツール (3) 小規模システムでは何が必要か? 導入時の負担大インストール手順書の整備クラスタの構築に特化したインストーラ設定方法がわからない初心者向けのドキュメントの整備設定の自動化 SCore 自動構成ツールの開発ユーザが何も設定しなくてもクラスタとして使える環境の提供計算ノードを追加して電源を入れるだけで設定を自動的に構成ユーザはSCoreの仕組みを知らなくても困らない使用する事のみに専念できる障害時の対処方法がわからない FAQ TIPSの整備? 12

13 SCore 自動構成ツール (4) 機能の概要管理ノード計算ノード Network 上の計算ノードの情報を収集して自動的にクラスタの設定を生成追加計算ノードが追加されたらクラスタの設定を自動的に更新 13

14 SCore 自動構成ツール (5) 自動構成ツールは何をすべきか? 一般的な設定 Network 設定 (DHCP,DNS?) ユーザアカウント (NIS,LDAP?) 共有ファイルシステム (NFS?) Network サービス SCore の設定管理ノードの設定リソース管理 ( 計算ノードの情報 ) 計算ノードの設定 HW リソースの情報管理デバイスの設定サイトポリシーの問題ユーザは使用できるがサイト管理者でないと設定 / 変更できない勝手に設定すると問題!! SCore で使用する設定を自動的に生成してシステムに設定 14

15 SCore 自動構成ツール (6) 自動設定ツールの構造ユーザ設定更新後管理ノードからクラスタを使用管理ノードクラスタ構成 / 設定ファイルを更新 HW 構成情報の登録設定更新要求計算ノードの設定を更新計算ノード管理ノードを検索計算機の構成情報を収集 15

16 SCore 自動構成ツール (6) まとめネットワークに繋げて PCを立ち上げれば設定を更新クラスタとして使用できる ( パッケージのinstallは必要 ) ノードの追加 / 削除が容易に故障したら PC 毎交換 /sendbackで修理設定方法を覚える必要がないユーザは使うことに専念できる SEがいなくてもok(?) 16

17 SCore 動的再構成 (1) 理研重谷さんからの ( 執拗な ) 要望マルチユーザ運用でノードが故障しても故障ノード以外でのジョブを実行を継続したい現状 : 一つでもノードが停止するとクラスタ全体が停止してしまう 17

18 SCore 動的再構成 (2) SCore の全てのジョブは SCore-D が管理 SCore-D は互いに通信するプロセス群通信の返事をすべきノードがダウンすると返事を待っているプロセス ( スレッド ) が永遠に停止これを回避するのは非常に難しい => いきなりノードが停止するのではなく事前に通知があった場合を対処しよう 18

19 SCore 動的再構成 (3) マルチユーザ運用の運用上の問題一部のノードを止める場合ハードおよびソフトの保守マルチユーザの運用を止めなければならない大規模クラスタ (= 多くのユーザ ) での運用停止は簡単ではない運用を止めずに一部ノードの停止および復帰を可能にする 19

20 SCore 動的再構成 (4) SCore-D 起動モードの追加現在 : scout 経由で SCore-D を起動今後 : scored -daemon としてホスト毎に起動するモードを追加 SCore-D のコンソールからノードの削除 / 追加を指定削除ノード上のジョブはチェックポイントが採られ可能なら削除完了後にリスタート可能でなければ可能になるまでサスペンド 20

21 SCore 動的再構成 (5) 動的再構成のイメージ (1) 運用中 Job-0 Job-1 Job-2 Node-0 Node-1 Node-2 Node-3 Node-4 Node-5 Node-6 Node-7 21

22 SCore 動的再構成 (6) 動的再構成のイメージ (2) ノード (Node-4) の削除開始削除に伴い Job-0 と Job-1 をチェックポイント Job-0 Job-1 Job-2 Node-0 Node-1 Node-2 Node-3 Node-4 Node-5 Node-6 Node-7 22

23 SCore 動的再構成 (7) 動的再構成のイメージ (3) ノード (Node-4) の削除完了 Job-2 をリスタート Job-1 はサスペンド Job-0 Job-1 Job-2 Node-0 Node-1 Node-2 Node-3 Node-4 Node-5 Node-6 Node-7 23

24 SCore 動的再構成 (8) 動的再構成のイメージ (4) ノード (Node-4) の追加 ( 復帰 ) Job-0 のリスタート Job-0 Job-1 Job-2 Node-0 Node-1 Node-2 Node-3 Node-4 Node-5 Node-6 Node-7 24

Documenti analoghi

Domande di lavoro Lettera di motivazione Lettera di motivazione - Introduzione Italiano Gentilissimo, 拝啓 Formale, destinatario di sesso maschile, nome

Domande di lavoro Lettera di motivazione Lettera di motivazione - Introduzione Italiano Gentilissimo, 拝啓 Formale, destinatario di sesso maschile, nome - Introduzione Gentilissimo, Formale, destinatario di sesso maschile, nome sconosciuto Gentilissima, Formale, destinatario di sesso femminile, nome sconosciuto Gentili Signore e Signori, Formale, nome