但仓前镇上那些恶少无赖却并未就此罢休，很快又跟到了余杭县城来骚扰调戏她。杨乃武见状大怒，出面怒斥了这帮无赖。他是当地有名的秀才，恶少不敢轻易招惹他，加上杨家离县衙门极近，恶少也不敢太过放肆，最终都被骂得狼狈而逃，但却由此对杨乃武怀恨在心，有意四下散布谣言，说杨乃武与小白菜之间暧昧不清，羊（杨）要吃白菜。
“羊吃白菜”的流言也传到了葛品连耳中。他虽然憨厚老实，但毕竟也是男人，对妻子背着自己与别的男人有私情非常生气。不过他生性谨小慎微，决定要自己打探清楚。一连几天晚上，葛品连都悄悄溜回家，暗中观察妻子小白菜有没有偷汉子的行为。他发现小白菜确实去找过杨乃武，但除了听见杨乃武教小白菜读经卷外，别无其他调情轻薄的言语。
尽管没有发现小白菜偷情，但妻子与另一个男人西窗秉烛共读经书的温馨场面并没有令葛品连完全释疑。别人当面戏称他为武大郎，他从来不生气，因为他自己很有自知之明，他确实长得像武大郎。但别人叫他妻子毕金莲，他便是一肚子火。他虽然没有读过什么书，可也知道那潘金莲是有名的淫妇，这样叫不就是暗示他妻子是荡妇淫娃吗。而今那个杨乃武不仅相貌堂堂，而且饱读诗书，小白菜喜欢他