651年(白雉2年)、村民が「白鳥明神」として奉祀。
前九年の役征圧のため源頼義、義家父子がこの地を通った際、白い鳥が飛ぶのを見て浅瀬を知り、大川(
隅田川)を渡ることができた。それを白鳥明神の加護と称え、鳥越大明神の社号を奉った。
江戸時代までにここには三社の神社が成り、一帯の約2万坪の広大な敷地を所領していた。
1620年(元和6年)、江戸幕府が全国の天領からの米を収蔵するため、隅田川沿いに蔵(浅草御蔵)を造営することとし、この埋め立て用に大明神のある鳥越山を切り崩すことになり、土地を没収される。大明神の北側にあった姫ヶ池も鳥越山からの客土で埋め立てられ、大名屋敷などの御用地とされた。
三社のうち熱田神社は今戸へ、
第六天榊神社は森田町(現・蔵前3丁目)に遷され、残った大明神が現在の鳥越神社。