但是根据暗影的记载，这个家族的历史，甚至可以追溯到前清初期。当初在口外经商，后再晋中经营票号生意（类似于银行业前身）。两三百年的时间，不知积累了多少的财富。但是，这个家族似乎一直懂得如何低调发展。在那个时期，他们的名号也远不如日升昌之类的大票号。因为那时候的晋中，被称为旧时代的世界金融中心，不少大票号的银票通行到欧洲，号称“汇通天下”。而作为票号业的老大，日升昌的名气自然很响亮。
但是有人估计，虞家只不过是在暗中发展、暗中投资各大票号。有时候，甚至以别的人名进行投资。这个家族财富加在一起，甚至会超越日升昌这样的大票号。
晚清时期，清政府财政极为紧张，数次勒索盘剥那些财大气粗的票号。于是，那些出头鸟相继被盘剥得无法承受。就连一度辉煌、庞大的日升昌，也逐渐走入了末路。但处于暗中低调发展的虞家，却提前撤资更深的隐蔽了起来。这种明哲保身的手段，让虞家逃脱了一次又一次的社会危机。
在满清覆亡之后的旧时期，虞家曾派出一个代表虞合德，在沪海滩混得风生水起，手眼上通中央政府。据说当时虞家是看到社会形势太乱，这才派出一名嫡系子弟和政府建立了如胶似漆的关系