首联写李主簿隐居的环境。他结茅隐居于淮水边的古渡口，可以卧看淮水奔流。环境虽然清幽，但从古渡口的废弃不用和淮水的逝去不复返，已暗含下联时不我待、人将衰老的感慨，韦诗运笔的精致细腻，于此可见一斑。
颔联为传诵千古的警句，人与树相互映衬。意思是：树已逢秋，人怎能不老？窗里将老之人，面对着门前已衰之树，联想岁月流逝，壮志蹉跎，人何以堪？这两句不仅颇为传神地描摹了李主簿衰颓的形象与凄凉的心境，而且寄寓着诗人自己怅然若失的情怀，蕴含极其丰富。
颈联写李主簿在古渡口的茅屋里见到的景象。表面上，这两句似乎是随手拈来，漫不经心；实际上，是赋比结合，寓意深刻。“寒山”切深秋季节，“独过雁”比况李主薄孤独、索寞的生活境遇；“暮雨”既照应上联之人老树耿，又关合下联之日夕逢归，“远来舟”牵引出下联的“逢归客”。真可谓细针密线、情景交融。尾联仍从李主簿这边落笔，不说诗人遇上李主簿，而说李主簿在傍晚时遇上了一位北归的客人，依然不舍旧情，仍然热情接待。诗至此，便戛然而止，至于主客相会后的情景，便全留在诗外，需想象品味。
通观全篇，诗人纯从客位去描绘抒写，诗中所突出的，是居于客位的李主簿的形象与感受，而将诗人主观的感受融化在客体之中。如此写来，别有情韵。
