http://w.atwiki.jp/momo013prvt/ momo013備忘録 ja 2010-07-01T18:12:46+09:00 1277975566 https://w.atwiki.jp/momo013prvt/pages/24.html *DBの削除 -（カタログされていなければ）カタログしておく |CATALOG DB DATABASENAME ON 'C:\'| -削除 |DROP DB DATABASENAME| &counter(total) 2010-07-01T18:12:46+09:00 1277975566 https://w.atwiki.jp/momo013prvt/pages/14.html -[[DB2インストール>DB2]] -[[DB2コマンド]] &counter(total) 2010-07-01T18:10:15+09:00 1277975415 https://w.atwiki.jp/momo013prvt/pages/23.html *関数 -ROW() 行番号 -COLUMN() 列番号 &counter(total) 2010-06-27T19:49:20+09:00 1277635760 https://w.atwiki.jp/momo013prvt/pages/22.html -[[Excelメモ]] &counter(total) 2010-06-27T19:47:58+09:00 1277635678 https://w.atwiki.jp/momo013prvt/pages/2.html **メニュー -[[トップページ]] -[[Hadoop]] -[[Windows@64bit]] -[[その他メモ]] ---- **リンク -[[@wiki>>http://atwiki.jp]] -[[@wikiご利用ガイド>>http://atwiki.jp/guide/]] // リンクを張るには "[" 2つで文字列を括ります。 // ">" の左側に文字、右側にURLを記述するとリンクになります **更新履歴 #recent(20) &link_editmenu(text=ここを編集) 2010-06-27T19:47:17+09:00 1277635637 https://w.atwiki.jp/momo013prvt/pages/21.html 最近のApache [[Hadoop]]プロジェクト |Pig_|Chukwa_|Hive_|HBase_| |MapReduce|HDFS|ZooKeeper| |___Core_____|____Avro_____| &counter(total) 2010-06-15T17:09:40+09:00 1276589380 https://w.atwiki.jp/momo013prvt/pages/19.html -[[座談会＠あしたの研メモ>座談会＠あしたの研メモ]] -[["Hadoop"/Tom White,O'REILLY JAPAN]] . 2010-06-15T16:53:54+09:00 1276588434 https://w.atwiki.jp/momo013prvt/pages/20.html &blanklink(ここ){http://oss.infoscience.co.jp/hadoop/roundtable/index.html}の内容を引いてきて，気になった部分とか説明に使えそうな部分をメモしています ベタコピー多し -Hadoopを一言で →MapReduceという並列処理用の計算フレームワークと分散ファイルシステムのオープンソース版の実装　作者はダグ・カティング（Doug Cutting） -MapReduceのクラス --tokenizer　それを使って単語を切り取ってアウトプットというところに投げ入れる。 --iterator　Reduceに降ってくるキーと値のペア --Partioner(Mapの処理結果をどうReduceに割り当てるかを制御するクラス) --OutputCollector（Reduceタスクの処理結果を回収するクラス） --main --JobConf　どうやってデータを渡すか指定．．．txtを読み込んで一行ずつ渡す、等 -Hadoopのサブプロジェクト --Hive　Hadoop向けのSQLっぽい言語 --Chukwa　ログ収集システム --ZooKeeper　設定情報の管理→設定情報を各ノードに反映させる --HBase　HDFSのデータ構造はとてもシンプル→テーブルなどの形で見たい場合に --Avro　データのアプリ固有のフォーマットを定義してやると、そのデータスキーマごとファイルシステムに保存してくれる　キーバリューのデータをファイルに書き出し　ダイナミック →MapReduceのプログラムはやっぱり難しいということで、もっと身近な形でデータを扱えるようにしようというのがこの辺のプロジェクト -FS回りの話 バーチャルマシン・リソースの増減…[[Hadoop]]オンデマンド：ノードを増やしたいです、1000台ぐらいノードを増やして計算してくださいっていうコマンドを入れてやると増やせる -クラウド一般の話 Hadoop内、クラウドの環境に乗せておくと何がうれしいかというと、スケーラビリティが取りやすい。今まで100人ぐらいの規模の会社のシステムだったのが10,000人になりましたとかっていうときに。 -その他 --MapReduce：基本的にはバッチ処理に使ってくださいっていうようなスタンス⇔トランザクションが求められるようなところにはあまり使わない。 --ファイルシステム→ネットーワーク上に分散 --クライアントのコンピュータは単なるThinクライアントであって、これは単に画面が見えていて文字が見ているだけなんですよ。 --デュアルコア・クアッドコアの別コンピュータに処理が跨いだver.→プロセスマイグレーション &counter(total) 2010-06-07T18:39:07+09:00 1275903547 https://w.atwiki.jp/momo013prvt/pages/18.html 実験環境の変遷は以下のような流れ ***テスト実装 ***クラスタ環境構築 ***Hadoop＠ローカルクラスタ ***Hadoop＠模擬広域環境 **スペック [[Hadoop]]　ver.0-18-3を使用 参考サイト -&blanklink(『Hadoopのインストールとサンプルプログラムの実行』){http://codezine.jp/article/detail/2485} 以下からリリースをDL -&blanklink(releases){http://hadoop.apache.org/common/releases.html} . 2010-06-01T17:48:57+09:00 1275382137 https://w.atwiki.jp/momo013prvt/pages/16.html 外部リンクを無断で張りまくる無作法者(・∀・;) -&blanklink(Apache公式){http://hadoop.apache.org/} --&blanklink(HDFS Architecture){http://hadoop.apache.org/common/docs/current/hdfs_design.html} --&blanklink(Map/Reduce Tutorial){http://hadoop.apache.org/common/docs/current/mapred_tutorial.html} --&blanklink(Quick Start){http://hadoop.apache.org/common/docs/current/quickstart.html} --&blanklink(Cluster Setup){http://hadoop.apache.org/common/docs/current/cluster_setup.html} -&blanklink(あしたのオープンソース研究所さんによる公式の翻訳){http://oss.infoscience.co.jp/hadoop/} -&blanklink(CodeZine[Hadoopのインストールとサンプルプログラムの実行]){http://codezine.jp/article/detail/2485} -&blanklink(CodeZine[複数マシンへHadoopをインストールする]){http://codezine.jp/article/detail/2699} -[[NTTレゾナントによるHadoop解析資料>http://preferred.jp/hadoop.pdf]] -[[The Google File System>http://labs.google.com/papers/gfs-sosp2003.pdf]] &counter(total) 2010-06-01T17:25:13+09:00 1275380713