东晋末，五斗米道首领孙恩(山东人)起事，率众转战沿 海。隆安三年(399)十月，屯兵潮济甘露寺(隆安二年建)伐木造船。旧志记载，天降飞石压死多人，孙恩以为天象不利而撤出。元兴元年(402)三月，孙恩攻打临海兵败后，投海而死。孙恩在黄岩的遗迹还有：孙恩城(今温岭温峤)，投盔甲于青湖(头陀白湖塘)，柏都祖庙(上烊潘大夫庙，纪念与孙恩作战的潘端明)。甘露寺因天降灵石改名灵石寺。
　　今大殿为清乾隆年间重建，重檐黑瓦，42根石柱，为江南佛寺建筑少有，2001年政府出资重修。灵石寺塔是高僧德韶于北宋乾德二年(964)始建，六面七级结构。1987年按宋代营造法复原重建，出土各种文物4000余件。