該寨設置于明永樂年間，駐官兵二百五十人，為爵溪所管轄。民國《象山縣志》載，游仙寨“城高一丈八尺，門一，有樓，四角置窩鋪。正統(tǒng)八年，倭寇由此登陸，乃筑城。嘉靖三十一年，倭賊攻寨，失守。百戶秦彪與弟豸舉 兵來援，俱遇害。暨賊退，統(tǒng)兵劉恩玉乃增筑城。”至清道光年后漸廢。寨城依山面海，東北緊靠大爿山，西北距海一公里。寨城東南、西北面城墻各長約一百二十一米，西南、東北面。城墻各長約一百五十六米。西南面城墻中部辟一城門并建甕城，存殘跡。寨城內面積一萬八千余平方米（合二十七畝），縱橫有路，鵝卵石鋪成。兵營墻基殘存，排列整齊可認。北有一井，口徑0.78米，現(xiàn)填以碎石，深3.1米，干涸。是我縣僅存的較完整的明代抗倭兵寨遺址。