打击海贸最严厉的时候，颇有明太祖朱元璋“片板不许下海”的酷烈风格，这时候被牵扯进这种案子，那都不是一个顶风上能够形容的作死，所以一大家子下场可想而知，宠妃也被连累，加上色衰爱弛，于是直接赐死，连进冷宫的机会都没给。
再之后，因为没了主人，这宫殿也渐渐衰败下去，到了先皇时期，原本的冷宫被雷劈中，起了一场大火，虽然大多数人救出来了，但宫殿付之一炬，于是搬迁到这里。那座宫殿就此彻底荒凉。
几年过去，有一次先皇无意中走在这里，觉着白白浪费了大好风景，便下命令让人修葺，当时颇花费了一番心血功夫，园子修好后，还在南边又建了一个照月轩。
独门独院的小宫殿，在后宫中那也是难得的。先皇还美滋滋想着把哪个喜欢的嫔妃迁居到此处，岂不怡人？谁知一问之下，就没一个觉着这是眷顾的，都以为自己要成为冷宫的预备役了，大哭不止，只闹的先皇哭笑不得，这事儿便搁置下来。
正因为如此，到现在也没哪个嫔妃会想不开跑来这里欣赏园林风景。先皇是个百无禁忌的家伙，但他显然低估了风水吉凶对后宫女人们的影响力，这种地方在大家看来，就是最晦气的，谁没事儿会跑来这里触霉头。