しかし後の戦乱で寺は衰退、八角円堂以下ほとんどの堂宇も安政の大地震（1854年・嘉永7年）によって倒壊しました。