在乾隆皇帝对甘肃捐监一事起疑心之前，王亶望已经因为其他事情失去了乾隆的信任。乾隆四十五年（1780），号称中国历史上最能花钱的乾隆皇帝再次南巡。时任浙江巡抚的王亶望知道皇帝性好挥霍，喜欢讲排场，为了讨好乾隆，不惜花费巨资大修特修楼台殿阁，张灯结彩，备极方物。其奢侈程度，就连乾隆皇帝看了后也觉得实在过分，特意说：“省方问俗，非为游观计。今乃添建屋宇，点缀灯彩，华缛繁费，朕实所不取。”（《清史稿卷三三九》）意思是说我巡视地方是为了来了解风俗，不是来游览观赏的，但却因此而添建房屋，点缀彩灯，如此繁华的装饰，这是我实在不能接受的。王亶望见到皇帝斥责，急忙说这是嘉兴知府陈虞盛所为，陈虞盛为此被免职。
然而，千万不要以为乾隆皇帝真的就是希望节俭，他表面上训斥告诫了王亶望，内心其实很高兴，以王母邓氏年逾八旬为由，下谕赏赐御书匾额及大缎二匹、貂皮四张。不巧的是，邓氏刚好在这年八月病逝。按照清朝制度，王亶望该回家乡山西丁母忧三年，但他不甘心就此离开浙江巡抚的肥差，于是借口要督建海塘工程，上疏请求治丧百日后留在杭州海塘效力。乾隆皇帝允准，但王亶望也因此去职，浙江巡抚改由李质颖担任。不