http://w.atwiki.jp/tudlab/ PC Cluster @Wiki ja 2006-07-11T08:07:54+09:00 1152572874 https://w.atwiki.jp/tudlab/pages/11.html *memo 未整理データ集積所 -[[シェルスクリプト]] -[[LinuxAutoInstall]] -[[MakePCCluster2]] -[[主要なコマンド>MainCommand]] -[[MakeRpm]] -[[AboutDsh]] -[[環境変数]] -[[MPI_Install]] -[[rshでkerberos認証を止める]] LINUX四苦八苦 ・日本入力できない。 cannaと言うサービスをインストール、起動した状態で[Shift]+[Space]で日本語入力モードになるはずなのに。 →LINUX標準言語を英語にしていたのが原因。日本語にしたらできた。 　　結果だけ見れば当たり前。 ・gedit（エディタ）が日本語入力したファイルを保存できない。 →　別名で保存→文字コード→追加と削除→日本語(EUC-JP)を追加、で解決。 ・日本語表示されない。 文字コードの問題。 →以下のコマンドを実行。（filename1とfilename2を同じにしてはいけない、データが消える） nkf --utf8 filename1 >filename2 2006-07-11T08:07:54+09:00 1152572874 https://w.atwiki.jp/tudlab/pages/29.html *MPIの使用法 未稿 2006-06-30T15:52:40+09:00 1151650360 https://w.atwiki.jp/tudlab/pages/28.html *PCクラスタ作成法 MPIを利用したPCクラスタの構築法 １．Linuxをインストールする ２．ネットワーク設定を行う ３．LAM（MPIのパッケージ）のインストールを行う ４．MPIを使うための設定を行う ５．MPI実行 **１．Linuxをインストールする -デフォルトでインストールされるもの以外で必要なパッケージは、&br()　rsh,rexec,rlogin,telnet　辺り（他にもあるかも） -ファイアーウォールの設定は「使用しない」にする **２．ネットワーク設定を行う -ftp,r系サービスを使用可能にする --r系サービス ： ディレクトリ/etc/xinetd.d/　内の以下のファイルの disable=yes を disable=no にする&br().　　　　　　　　　ファイル－rsh,rexec,rlogin,telnet --ftpサービス ： 次のコマンドを実行する chkconfig --level 35 vsftpd on)&br().　　　　　　　　　(ftpデーモンの名前がvsftpdの場合) -各ネットワークデバイスを使用可能にする --詳細は省略（各自調べるべし） -各マシンをネットワーク接続する --HABを使って繋ぐ、クロスケーブルで直接繋ぐ、等 **３．LAM（MPIのパッケージ）のインストールを行う [[MPI_Install]]を参照。 **４．MPIを使うための設定を行う MPIを使用するためには、rshをパスワードなしで使えるようにする必要がある。 以下、パスなしでrshを使うための設定法。（LAMの設定によってはrshではなくsshの設定を行う必要がある） -ユーザのホームディレクトリに.rhostsというファイルを作成する -そのファイルに、そのマシンに接続するマシンの名前（もしくはIP）を記載する。 （予め、ユーザアカウントを作成しておく、ユーザアカウントの作成コマンドは[[こちら>MainCommand]]） 以下のコマンドを試し、パスワードの入力を求められなければ成功。（マシン名は"pc1a"とする） rsh pc1a パスワードを求められたら失敗。 パスワードを求められず接続も出来なければ、問題外。 ネットワーク接続が出来ていない可能性がある。 **５．MPIの実行 [[MPI_HowToUse]]を参照。 2006-06-30T15:51:59+09:00 1151650319 https://w.atwiki.jp/tudlab/pages/15.html *Linuxコマンド（主要なもの） #contents ***ls -ファイル一覧表示 |説明|指定ディレクトリのファイル一覧・情報を表示する| |構文|ls [オプション] [ディレクトリ・ファイル名]| |オプション|-a　：隠しファイルも表示 &br()-l　：ファイルの詳細情報を表示，属性、所有者、サイズ| -例 ディレクトリ"hoge"にあるファイル一覧と、その詳細を表示する $ ls -al hoge ***cp -ファイルのコピー |説明|指定ファイルをコピーする| |構文|cp [オプション] コピー元ファイル名 コピー先ファイル名| |オプション|-p　：属性情報もコピーする&br()-R　：ディレクトリをコピーする| -例 ファイル"fuga"をその属性ごと、"fuga2"という名称でコピーする $ cp -p fuga fuga2 ***cd -ディレクトリ移動 |説明|指定ディレクトリに移動する| |構文|cd [ディレクトリ名]| -例 ディレクトリ"hoge"に移動する $ cd hoge ***mv -ファイル移動、ファイル名変更 |説明|指定ファイルの移動、もしくはファイル名の変更を行う| |構文|mv [オプション] 移動(名称変更)するファイル名 移動先(名称変更後)ファイル名| |オプション|（省略）| -例 ファイル"fuga"をディレクトリ"hoge"に移動 $ mv fuga hoge/ ***chmod -アクセス権の変更 |説明|指定ファイルのアクセス権（パーミッション）変更を行う| |構文|chmod パーミッションの設定 ディレクトリ・ファイル名（複数指定可）| |オプション|-R　：指定したディレクトリ以下の全てのファイルのアクセス権を変更する| |備考|パーミッションの設定の仕方は省略、各自お調べを| -例 ファイル"fuga"のアクセス権を、 所有者　―読み込み,書き込み可（、実行不可） グループ―読み込み可 その他　―読み込み可 にする $ chmod 644 fuga ***find -ファイルの検索 |説明|指定名のファイル・ディレクトリの検索を行う| |構文|find [検索するディレクトリ] オプション| |オプション|-name [文字列]　：指定文字列のファイルを検索する| |備考|他にも様々な便利なオプション有| -例 ディレクトリ"hoge"で、名称に"fu"が含まれるファイル・ディレクトリを検索 $ find hoge/ -name "*fu*" ***less -ファイル内容の表示 |説明|指定ファイルの内容を表示する| |構文|less ファイル名| |操作|q　：終了&br()f　：1画面分進む&br()b　：1画面分戻る&br()/文字列　：順方向へ検索| ***emacs -エディタ |説明|エディタを起動する| |構文|emacs [ファイル名]| |操作|C-x C-s　：保存&br()C-x C-c　：終了&br()C-space　：マークのセット&br()M-w　：マークからカーソル位置までコピー&br()C-y　：カーソル位置にペースト&br()C-s　：順方向へ検索&br()C-x u 　：1つ前の操作を取り消す| |備考|操作の"C-○"はCtrlキーを押しながら、&br()"M-○"はEscキーを押しながら、指定のキーを押すということ| ***mkdir -ディレクトリ作成 |説明|ディレクトリを作成する| |構文|mkdir 作成するディレクトリ名| |オプション|-m アクセス権限：オプションを付けると，指定したアクセス権限のディレクトリを作成できる| -例 ディレクトリ"hoge"で、所有者はフルアクセス，それ以外は書き込み禁止のアクセス権限を与えたディレクトリを作成 $ mkdir -m 755 hoge ***tar -圧縮・解凍 |説明|ファイルの圧縮・解凍を行う| |構文|tar [オプション] 対象ファイル| |オプション|-c　：新規にアーカイブを作成する&br()-f　：アーカイブのファイル名を指定する&br()-t　：アーカイブの中身を表示する&br()-u　：追加するファイルがアーカイブ内のファイルより新しい場合にだけ追加する&br()-v　：処理したファイルを一覧表示する&br()-x　：アーカイブからファイルを取り出す&br()-z　：gzipで圧縮、解凍を行う&br()| -例 ディレクトリ"hoge"を、hoge.tar.gzと言う名前で圧縮する $ tar -cvzf hoge.tar.gz hoge/ ファイル"hoge.tar.gz"を解凍する $ tar -xzf hoge.tar.gz ***ユーザアカウントの作成 |説明|指定のユーザアカウントの作成を行う| |構文|useradd ユーザ名| |補足|ユーザの追加を行った後、そのユーザのパスワードの設定を行う必要がある| -例 ユーザ"userA"を追加する $ useradd userA ***ユーザパスワードの設定 |説明|指定ユーザのパスワードの設定を行う| |構文|passwd ユーザ名| -例 ユーザ"userA"のパスワードを設定する $ passwd userA 2006-06-30T15:38:34+09:00 1151649514 https://w.atwiki.jp/tudlab/pages/19.html *LAM（MPI）のインストール Linuxに付属のLAMで良ければそれを使用する。 そうでない場合、以下に設定の例を示す。 行ったのは、"rshを使用する設定"。 ウチの場合は、RHEL4（RedHat Enterprise Linux4）を使用したのだが、付属のLAMは通信に"ssh"を使う設定になっていた。 しかし、"rsh"を使用したいので、ソースからコンパイルし直すことにした。 （"ssh"の利点はセキュリティの高さだが、ウチはこれをあまり問題としない。 　　また速度面や設定の容易さから"rsh"を使う） LAMの公式サイト（[[Links]]参照）から、LAMのソースをダウンロードする（最新のやつ）。 適当なノードにUPし、展開する。（LAMのバージョンは違うかもしれない） tar zxvf lam-7.1.2.tar.gz 作成されたディレクトリに入り、coufigureを行う。 設定するのは、インストール場所（"/usr"）と通信に使うシェル（"/usr/bin/rsh"）。 ./configure --prefix=/usr --with-rsh=/usr/bin/rsh XMPIを使うには、オプションとして更に”--with-trillium”を追加する。 通常この後"make","make install"でインストールするのだが、 他のノードにもインストールするのでRPMファイルを作成する。 CheckInstallがインストールされているものとする。（[[RPMの作成>MakeRpm]]の”ツール「CheckInstall」を利用”を参照） configureの後、CheckInstallを実行。 checkInstall 適切な選択をし、RPMファイルを作成。 RPMファイルは"/usr/src/redhat/RPMS/i386/"辺りに作成される。 （i386/では無い可能性有） このファイルをインストールする。（スーパユーザで以下のコマンドを実行） rpm -ivh lam-* （*はファイル名に合わせて指定）（既にLAMがインストール済みの場合、オプションは"-Uvh"(アップグレード)） 以下のコマンドを実行し、インストールしたLAMのバージョンなどが表示されれば成功。 laminfo これで、LAM（MPI）が使用できるようになる。 2006-06-30T15:20:40+09:00 1151648440 https://w.atwiki.jp/tudlab/pages/7.html *Links -[[PCクラスタ超入門>http://mikilab.doshisha.ac.jp/dia/smpp/]] --PCクラスタについて知りたければ、先ずはここ -[[PCクラスタコンソーシアム>http://www.pccluster.org/]] --PCクラスタやってる人の集まり -[[Index of /pub/Linux/packages>http://ftp.kddilabs.jp/pub/Linux/packages/]] --おおよそ全てのLinuxデータ（isoも）がある。 --Linux9以前は[[ここ>http://ftp.kddilabs.jp/pub/Linux/packages/redhat/archive.redhat.com/redhat/linux/]] --Fedoraは[[ここ>http://ftp.kddilabs.jp/pub/Linux/packages/fedora/core/]] -[[LAM/MPI Parallel Computing>http://www.lam-mpi.org/]] --LAMの公式サイト **Linuxコマンド -[[Linuxコマンドリファレンス>http://cyberam.dip.jp/linux_command/command.html]] --カテゴリー別、使いやすい -http://homepage2.nifty.com/cs/linux_command/command/ --コマンド名から -http://www.net-sintech.jp/linux/ --用途から 2006-04-15T04:31:13+09:00 1145043073 https://w.atwiki.jp/tudlab/pages/27.html -[[Diary/2006年04月15日/Linuxインストール四苦八苦]] #blognavi 2006-04-15T04:22:13+09:00 1145042533 https://w.atwiki.jp/tudlab/pages/26.html #blognavi Linuxのインストールに6時間以上迷ってました。 [[ネットワークインストール]]とキックスタートファイルを合わせて使うことで、 殆どの作業を自動化できる。 はずなのだが、上手くいかない途中で止まる。 原因不明。 キックスターとファイルかと考えたが、問題はなさそう。 インストールするパッケージを最小にしても問題は起こる。 試しにネットワークインストールだけをやってみても、止まる。 インストール用にコピーしたデータにエラーがあるのかとも思い、 コピーし直したが、止まる。 止まるとまるトマル。 で、原因は何かと言うと、インストールデータにftpでアクセス出来ていなかったせい。 ftp://username:userpass@pcname/export/rhel と言う感じで、アクセスできると思っていた。 事実、RHEL4では出来た、はず。 が、だめっ．．．！ それがそもそもの間違いっ．．．！！ その思い込みがっ．．． ブラウザでアクセスを試して出来なかったことを、 もう少し気に掛けるべきだった。 まあ出来たからよし。 後は、DHCPやDNSが必要だが、、。 まったく知らんからなあ。 勉強しよ。 #right{ カテゴリ: [[[研究>Diary/カテゴリ/研究]]] - &trackback() - 2006年04月15日 04:09:29 } #blognavi 2006-04-15T04:22:13+09:00 1145042533 https://w.atwiki.jp/tudlab/pages/25.html -[[Diary/2006年04月14日/新PCクラスタ構築。ネットワークインストール。]] #blognavi 2006-04-14T21:03:21+09:00 1145016201 https://w.atwiki.jp/tudlab/pages/24.html -(2006年04月15日)  [[Linuxインストール四苦八苦>Diary/2006年04月15日/Linuxインストール四苦八苦]] -(2006年04月14日)  [[新PCクラスタ構築。ネットワークインストール。>Diary/2006年04月14日/新PCクラスタ構築。ネットワークインストール。]] 2006-04-14T21:03:21+09:00 1145016201