ロボット型検索エンジンの検索用データを作成するために、Webサイトを巡回する専用のプログラムのこと。