盂，杂以饼饵”，丝毫没有玉食笙歌的做派。
杜衍为人低调，退休后的他更是朴实如田夫野老。他或出游，或读书，或吟诗，还开始练习草书，追求精神的丰富，不追求物质的奢华，过着清贫自乐的生活。
有一次杜衍应邀出席一场宴会。酒席延前，有位本地的小官转运使走来，在座的宾客纷纷向他打招呼。而杜衍戴着居家巾帽，穿着深色便装，端坐一隅不作声响。
转运使看见这位老头既不打躬又不作揖，像钉子一样钉在凳子上不动，不禁火冒三丈，厉声问：“足下前任何处?”
杜衍头也不抬，轻声回道：“同中书门下平章事(即宰相)。”转运使顿时面红耳赤呆若木鸡。