http://w.atwiki.jp/momo013prvt/ momo013備忘録 ja 2010-07-01T18:12:46+09:00 1277975566 https://w.atwiki.jp/momo013prvt/pages/24.html *DBの削除 -（カタログされていなければ）カタログしておく |CATALOG DB DATABASENAME ON 'C:\'| -削除 |DROP DB DATABASENAME| &counter(total) 2010-07-01T18:12:46+09:00 1277975566 https://w.atwiki.jp/momo013prvt/pages/23.html *関数 -ROW() 行番号 -COLUMN() 列番号 &counter(total) 2010-06-27T19:49:20+09:00 1277635760 https://w.atwiki.jp/momo013prvt/pages/22.html -[[Excelメモ]] &counter(total) 2010-06-27T19:47:58+09:00 1277635678 https://w.atwiki.jp/momo013prvt/pages/21.html 最近のApache [[Hadoop]]プロジェクト |Pig_|Chukwa_|Hive_|HBase_| |MapReduce|HDFS|ZooKeeper| |___Core_____|____Avro_____| &counter(total) 2010-06-15T17:09:40+09:00 1276589380 https://w.atwiki.jp/momo013prvt/pages/20.html &blanklink(ここ){http://oss.infoscience.co.jp/hadoop/roundtable/index.html}の内容を引いてきて，気になった部分とか説明に使えそうな部分をメモしています ベタコピー多し -Hadoopを一言で →MapReduceという並列処理用の計算フレームワークと分散ファイルシステムのオープンソース版の実装　作者はダグ・カティング（Doug Cutting） -MapReduceのクラス --tokenizer　それを使って単語を切り取ってアウトプットというところに投げ入れる。 --iterator　Reduceに降ってくるキーと値のペア --Partioner(Mapの処理結果をどうReduceに割り当てるかを制御するクラス) --OutputCollector（Reduceタスクの処理結果を回収するクラス） --main --JobConf　どうやってデータを渡すか指定．．．txtを読み込んで一行ずつ渡す、等 -Hadoopのサブプロジェクト --Hive　Hadoop向けのSQLっぽい言語 --Chukwa　ログ収集システム --ZooKeeper　設定情報の管理→設定情報を各ノードに反映させる --HBase　HDFSのデータ構造はとてもシンプル→テーブルなどの形で見たい場合に --Avro　データのアプリ固有のフォーマットを定義してやると、そのデータスキーマごとファイルシステムに保存してくれる　キーバリューのデータをファイルに書き出し　ダイナミック →MapReduceのプログラムはやっぱり難しいということで、もっと身近な形でデータを扱えるようにしようというのがこの辺のプロジェクト -FS回りの話 バーチャルマシン・リソースの増減…[[Hadoop]]オンデマンド：ノードを増やしたいです、1000台ぐらいノードを増やして計算してくださいっていうコマンドを入れてやると増やせる -クラウド一般の話 Hadoop内、クラウドの環境に乗せておくと何がうれしいかというと、スケーラビリティが取りやすい。今まで100人ぐらいの規模の会社のシステムだったのが10,000人になりましたとかっていうときに。 -その他 --MapReduce：基本的には 2010-06-07T18:39:07+09:00 1275903547 https://w.atwiki.jp/momo013prvt/pages/19.html -[[座談会＠あしたの研メモ>座談会＠あしたの研メモ]] -[["Hadoop"/Tom White,O'REILLY JAPAN]] . 2010-06-15T16:53:54+09:00 1276588434 https://w.atwiki.jp/momo013prvt/pages/18.html 実験環境の変遷は以下のような流れ ***テスト実装 ***クラスタ環境構築 ***Hadoop＠ローカルクラスタ ***Hadoop＠模擬広域環境 **スペック [[Hadoop]]　ver.0-18-3を使用 参考サイト -&blanklink(『Hadoopのインストールとサンプルプログラムの実行』){http://codezine.jp/article/detail/2485} 以下からリリースをDL -&blanklink(releases){http://hadoop.apache.org/common/releases.html} . 2010-06-01T17:48:57+09:00 1275382137 https://w.atwiki.jp/momo013prvt/pages/17.html -[[環境構築>環境構築]] -[[性能測定>性能測定]] -[[動作解析>動作解析]] . 2010-05-29T14:54:57+09:00 1275112497 https://w.atwiki.jp/momo013prvt/pages/16.html 外部リンクを無断で張りまくる無作法者(・∀・;) -&blanklink(Apache公式){http://hadoop.apache.org/} --&blanklink(HDFS Architecture){http://hadoop.apache.org/common/docs/current/hdfs_design.html} --&blanklink(Map/Reduce Tutorial){http://hadoop.apache.org/common/docs/current/mapred_tutorial.html} --&blanklink(Quick Start){http://hadoop.apache.org/common/docs/current/quickstart.html} --&blanklink(Cluster Setup){http://hadoop.apache.org/common/docs/current/cluster_setup.html} -&blanklink(あしたのオープンソース研究所さんによる公式の翻訳){http://oss.infoscience.co.jp/hadoop/} -&blanklink(CodeZine[Hadoopのインストールとサンプルプログラムの実行]){http://codezine.jp/article/detail/2485} -&blanklink(CodeZine[複数マシンへHadoopをインストールする]){http://codezine.jp/article/detail/2699} -[[NTTレゾナントによるHadoop解析資料>http://preferred.jp/hadoop.pdf]] -[[The Google File System>http://labs.google.com/papers/gfs-sosp2003.pdf]] &counter(total) 2010-06-01T17:25:13+09:00 1275380713 https://w.atwiki.jp/momo013prvt/pages/15.html *DB2 9.7を64bitマシンにインストールしたぜ **★インストール 1.IBMのサイトへ&blanklink(GO){https://www14.software.ibm.com/webapp/iwm/web/preLogin.do?source=swg-db2expressc&lang=ja_JP&S_CMP=DWJAPAN&S_TACT=105AGX90}(別窓) -IBMIDを使用しない -2.DB2 Express-C for Windows (x64)を選択 2.色々入力し，インストーラをDL -JAVAアプレットの動作が不安な場合はhttpを使用してDL -↑の場合はローカルでファイルを展開 -<展開したフォルダ>\EXPC\image\setup.exe を実行 4.&blanklink(ガイド){http://www.ibm.com/developerworks/jp/data/library/db2/j_d-db2v97wininstall/}(別窓)に沿ってDL -インストール・タイプは標準でも可 なんちゃない(・・; **★SAMPLEデータベースの作成 ***rootで実行している場合 1.↑のインストール完了後，ファーストステップが起動 2.SAMPLEデータベースの作成 -データベースオブジェクトのタイプ>XMLおよびSQLのオブジェクトとデータ ***SAMPLEを作成しようとするとSQL5005Cエラーが出る場合 1.ローカルユーザからログアウト 2.db2adminでログイン 3.コマンドラインからSAMPLE作成 (例)Cドライブの下に作成する場合 |C:\>db2sample| -完了メッセージが出れば成功 ***ローカルユーザでDB2を使用できるようにする場合 -db2instanceの変更権限をユーザに付与すればおｋ -が面倒なので放置 &counter(total) 2010-06-01T17:24:32+09:00 1275380672