
Googleの検索ジョブの取り扱い
グーグルは1つの検索ジョブを、多くのサーバに投げて、それをまた1つの結果にまとめて高速化を図っていると聞きました。
この、「1つの結果にまとめる」ところの仕組みを知りたいのですが、何かよい文献などはないでしょうか?
例えば、分割したジョブをどんどんDBにためていって、たまにタイマーでDBを覗いてみて、全部終わってたらジョブをまとめているのでしょうか????
投稿日時 - 2009-03-15 15:38:52
Google の分散処理(MapReduce)では、処理の割振り等を管理する「マスタ」サーバがあり、それがどの中間ファイルのデータをまとめるのか「Reduceワーカー」サーバに指示するようです。
詳しくは下記の文献に載っています。
Googleを支える技術
http://www.amazon.co.jp/dp/4774134325
参考URLにもMapReduceの簡単な解説が有ります。
参考URL:http://www.atmarkit.co.jp/fjava/special/distributed01/distributed01_1.html
投稿日時 - 2009-03-31 21:40:18
このQ&Aは役に立ちましたか?
6人が「このQ&Aが役に立った」と投票しています
回答(1)