クローリング - ウェブマーケティング用語

クローリングとは、ロボット型検索エンジンにおいて、プログラムがインターネット上のリンクを辿ってWebサイトを巡回し、Webページ上の情報を複製・保存することである。

クローリングを行うためのプログラムは特に「クローラ」あるいは「スパイダー」と呼ばれている

クローラが複製したデータは、検索エンジンのデータベースに追加される。

クローラが定期的にクローリングを行うことで、検索エンジンはWebページに追加・更新された情報も検索することが可能になっている。