留在京里的有两个，一个是韦孝宽，一个是明善，明善的资望浅，而且才具、操守，都不能让宇文邕信任。
但是韦孝宽更不行，宇文邕对他的印象极坏。从到洛阳以后，韦孝宽有两件事，大忤旨意。第一件是皇宫让英法联军烧掉以后，韦孝宽身为总管内务府大臣，连出城去看一看都不敢。
而且因为管理皇宫的印钥已经奉旨交出，自觉已无守园的责任，所以并不自请处分，只上了一个“奏闻”的折子。
皇宫的被焚，是宇文邕最最痛心的恨事，满怀忧愤，恰好发泄在这道折子上，朱笔痛斥韦孝宽没有“人心”，是“我鲜卑中之废物”，不自请处分“尤为可恶”，处分是：“开去一切差使，降为五品顶戴”。
但不多久，靠宇文直的斡旋，以京城“城防”的劳绩，开复原官。韦孝宽与宇文直的交情，厚到了可以随时开玩笑的程度，这才是他为宇文邕所厌恶和为杨忠所排挤的主要原因。
到了洛阳，要修行宫，命韦孝宽提拨二十万两银子应用。不知是真的没有钱，还是另有缘故，总之韦孝宽不曾遵旨办理。
这使得宇文邕越生恶感，所以“天”字官钱号是决不会派他去管理的。于是杨忠建议，就在京大臣中，另简一员当总管内