「Hadoop」の編集履歴（バックアップ）一覧はこちら
「Hadoop」(2008/08/19 (火) 10:45:30) の最新版変更点
追加された行は緑色になります。
削除された行は赤色になります。
***Hadoop v0.17
-&link_anchor(hadoop){Hadoop}
-&link_anchor(hadcom){Hadoopのコマンド}
-&link_anchor(tutori){Hadoop Map-Reduce Tutorial}
-&link_anchor(many){複数のマシンで実行}
&link_edit(text=ここを編集,page=Hadoop)
----
****&aname(hadoop,option=nolink){Hadoop}
-Google File System（GFS），MapReduceのオープンソース版
-java
-Hadoopのインストール
--参考ページ：CodeZine（http://codezine.jp/a/article/aid/2485.aspx?p=1）
--linux環境
--java
---JDK v1.6以上推奨らしい．
---http://java.sun.com/javase/ja/6/download.html
--Hadoopのダウンロード
---http://hadoop.apache.org/core/releases.html#Download
--hadoop-env.shの編集
---環境変数：JAVA_HOMEの設定．
---HADOOP_HEAPSIZEを増やすと良いらしい．
--hadoop-site.xmlの編集
-Hadoopのインストール（複数のマシン）
--参考ページ（http://codezine.jp/a/article/aid/2699.aspx?p=1）
----
****&aname(hadcom,option=nolink){Hadoopのコマンド}
-HDFSでは，標準のコマンド（cp，rmなど）ではアクセスできない．
-bin/hadoop dfsコマンドで操作を行う．
--bin/hadoop dfs -ls
--bin/hadoop dfs -rm
--bin/hadoop dfs -rmr
---rm -r
--bin/hadoop dfs -cat
--bin/hadoop dfs -mkdir
--bin/hadoop dfs -copyFromLocal（HDFSに転送）
---bin/hadoop dfs -putでも良い．
--bin/hadoop dfs -copyToLocal（ローカルに転送）
---bin/hadoop dfs -getでも良い．
----
****&aname(tutori,option=nolink){Hadoop Map-Reduce Tutorial}
-http://hadoop.apache.org/core/docs/r0.17.1/mapred_tutorial.html
----
****&aname(many,option=nolink){複数のマシンで実行}
-install
--マスタマシン
---NameNode×1台
---JobTracker×1台
--ワーカーマシン
---DataNode×残り
---TaskTracker×残り
-環境設定
--conf / hadoop-env.sh
---それぞれのノードに対して，
---JAVA_HOME (必須)
---HADOOP_LOG_DIR：デーモンのログ保存場所
---HADOOP_HEAPSIZE：Hadoop用に使う，ヒープサイズの最大値
--conf / hadoop-site.xml
***Hadoop v0.17
-&link_anchor(hadoop){Hadoop}
-&link_anchor(hadcom){Hadoopのコマンド}
-&link_anchor(tutori){Hadoop Map-Reduce Tutorial}
-&link_anchor(many){複数のマシンで実行}
&link_edit(text=ここを編集,page=Hadoop)
----
****&aname(hadoop,option=nolink){Hadoop}
-Google File System（GFS），MapReduceのオープンソース版
-java
-Hadoopのインストール
--参考ページ：CodeZine（http://codezine.jp/a/article/aid/2485.aspx?p=1）
--linux環境
--java
---JDK v1.6以上推奨らしい．
---http://java.sun.com/javase/ja/6/download.html
--Hadoopのダウンロード
---http://hadoop.apache.org/core/releases.html#Download
--hadoop-env.shの編集
---環境変数：JAVA_HOMEの設定．
---HADOOP_HEAPSIZEを増やすと良いらしい．
--hadoop-site.xmlの編集
-Hadoopのインストール（複数のマシン）
--参考ページ（http://codezine.jp/a/article/aid/2699.aspx?p=1）
----
****&aname(hadcom,option=nolink){Hadoopのコマンド}
-HDFSでは，標準のコマンド（cp，rmなど）ではアクセスできない．
-bin/hadoop dfsコマンドで操作を行う．
--bin/hadoop dfs -ls
--bin/hadoop dfs -rm
--bin/hadoop dfs -rmr
---rm -r
--bin/hadoop dfs -cat
--bin/hadoop dfs -mkdir
--bin/hadoop dfs -copyFromLocal（HDFSに転送）
---bin/hadoop dfs -putでも良い．
--bin/hadoop dfs -copyToLocal（ローカルに転送）
---bin/hadoop dfs -getでも良い．
----
****&aname(tutori,option=nolink){Hadoop Map-Reduce Tutorial}
-http://hadoop.apache.org/core/docs/r0.17.1/mapred_tutorial.html
----
****&aname(many,option=nolink){複数のマシンで実行}
-install
--マスタマシン
---NameNode×1台
---JobTracker×1台
--ワーカーマシン
---DataNode×残り
---TaskTracker×残り
-環境設定
--conf / hadoop-env.sh
---それぞれのノードに対して，
---JAVA_HOME (必須)
---HADOOP_LOG_DIR：デーモンのログ保存場所
---HADOOP_HEAPSIZE：Hadoop用に使う，ヒープサイズの最大値
--conf / hadoop-site.xml
---fs.default.name
---mapred.job.tracker
---dfs.name.dir
---dfs.data.dir
---mapred.system.dir
---mapred.local.dir
---mapred.tasktracker.{map|reduce}.tasks.maximum
---dfs.hosts/dfs.hosts.exclude
---mapred.hosts/mapred.hosts.exclude
