忠直、博学、文词、书翰五绝扬名。他被杨广授职秘书郎，后升为起居舍人。与虞绰、庾自直共撰《长洲玉镜》。
江都之变后，虞世南和大业帝的官员被迫和宇文化及北上，其他人接受宇文化及的官职，可他没有，等到宇文化及兵败身亡，又落入了李密之手，同样没有接受对方的官职，待到李密南下，他便去了云门寺，和智永研究书法。
杨侗见他形销骨立、两鬓斑白，衣服单薄陈旧，显得十分落魄，心中不由生起几分怜悯之情，叹息道：“往事无须再提，过去的就让他过去吧。”
其实不管是宇文述也好，苏威、裴矩、虞世基也罢，这些人不能以‘奸臣’以概之。他们在不同时期，不同环境，扮演着不同的角度，杨广贤明的时候，个个是良臣干吏，而他开始消沉了，这些人为了自保，只能顺着杨广的意来办事，说到底，这些人之所以变成‘奸臣’，关键在于杨广。
而这虞世南始终没有没有干过一件坏事，又没有授受贼官，杨侗又有什么理由去为难人家？
“朝廷打算排除四书五经的家法师说等等门户之见，于众多学说、释义中择优而定一尊，结束自西汉以来的各种纷争，摒弃南学与北学地域之见，兼容百氏之长、融合南北之优，然此