Pig on Tez / Hive on Tez メモ

昨年9月にPig on Tezの記事を書いて半年。 Hadoopも2.6系がリリースされ、Tezも0.6がリリース。 PigもHiveも正式にTez対応となりました。 今更ですが、Pig 0.14 + Tez 0.6.0 の組み合わせで、 Pig on Tezを実行してみようとすると動かない。 ログを見ると、…

とりあえずTezのswimlanesを動かしてみた

Pig on Tezを動かしてみたの続編。 Hadoopソースコードリーディングでも話題にありましたTezのツールであるswimlanesを動かしてみました。 swimlanesは、TezのApplicationMasterが出力したログをもとに、"どのコンテナ"で"どのような処理"が"いつ"実行してい…

とりあえずPig on Tez を動かしてみた

9月9日のHadoopソースコードリーディングに参加してTezの現状を知ることができました。 折角のタイミングということで、Pig on Tezを動かしてみようと思いました。 PigのTez対応は次のバージョンである0.14からですが、まだリリースされていません。そのため…

NameNodeのWebインタフェースについて

新年度も始まり、Hadoopも2.4.0がそろそろリリースということで、ちょっと記事を書いてみます。 NameNodeのWebインタフェースにアクセスしてみると、少々変わりました。 昔からNameNodeのWebインタフェースを見ていた人からすると、驚きかもしれません。 こ…

HDFSのスナップショット

この投稿は、Hadoop Advent Calendar 2013 - Qiita [キータ] 21日目です。 今日は、HDFSのスナップショットについて書きます。 HDFSスナップショット HDFSスナップショットは、特定の時点でのHDFSの状態を記録しておくことで、問題があった場合に容易に復旧…

Hadoop2系-YARN

前の記事から1ヶ月が経過してしまいました。 今回は、Hadoop1系のMapReduce分散処理基盤の課題を解消するしくみであるYARNについて書きます。 YARNの仕組み Hadoop1系のMapReduce処理基盤の問題については以前の記事でお伝えしたとおりです。YARNではリソー…

Hadoop1系の問題

唐突ですが、いきなりブログを始めます。 自分で調べたこと、感じたことを一つ一つ書きます。 最初の記事として、Hadoop1系(Apache Hadoop)の問題について少々書きます。 Apache Hadoopについては、http://hadoop.apache.org/ などご覧ください。 これまでの…