首联写诗人在晚秋时节，冒着早晨的霜露，走在幽深的山谷之中，字里行间流泻出一种跋涉之苦。其实，诗人现实的生活道路也是如此。首句的“杪秋”本已点明季节，但作者却仍嫌不足，在句尾又以“霜露重重”加重笔墨，进一步渲染了秋之已深。次句的“幽”字，则是强调了诗人所行山谷远离市井，幽深僻静。
接着，具体写经荒村所见。厚厚的黄叶覆盖着小溪上的桥面，荒村唯有古树处处可见，寒天的野花，稀疏零落，大地更显得空旷。山谷深处的泉水声微流缓，水声时断时续，更衬出大地的寂静。几句诗，写尽了南谷秋色和荒村的荒僻景象，给人以衰败、寥落之感。
诗人处境险恶，眼前如此萧疏荒寂的景色，很自然地触动了他的身世之感。作者在《始得西山宴游记》中曾这样说道：“自余为僇人，居是州，恒惴栗。”他也想驱除胸中的郁闷。可是，今天南谷之行却没有使他得到“心凝形释，与万化冥合”的轻松，反而更加重了他的孤独落漠之感。诗最后写的“机心久已忘，何事晾麋鹿”，表面上的超脱放达之态，实际上却反映了欲遣愁绪而不能，从而愁上加愁的心境罢了。
全诗紧扣题目，以标题中的“荒”字笼盖全篇，使诗人笔下的画面，涂上了一层惨淡之色，霜露、幽谷、黄叶、溪桥、古木、寒花和幽泉，无一不在它的笼罩之下，因而有力地突出了荒村的特点；而这个特点，又处处不离“杪秋”这个季节，使景物都具有浓厚的时令特色。
诗人笔下的景色写得真实、自然，同时又处处渗透着诗人的主观情憬。诗人特有的心境与眼前寥落衰败的景象相互交融，达到了情景交融的艺术境界。
