此诗前两句写景。薄暮时分，诗人漫步城外。只见古老的城墙矗立在夕阳余辉中，显得那么肃穆，似乎在沉思；城墙下，江水汩汩，似乎在低声诉说。黝黑森严的古城墙、流经千载的江水，再加上朦胧的暮色，这番景象很容易在人们心头唤起一种地老天荒、宇宙无穷的感慨。此刻，城头上又传来激昂的击鼓声、悠长的号角声。鼓角之声融入苍茫暮色，飘落在江面上，与呜咽的流水声，汇成一首奇异的乐曲。它仿佛是热烈的呐喊、愤怒的呼唤，又仿佛包含着凄历的呻吟。它使人激动不安，又使人凝神深思。“城头迭鼓声，城下暮江清”，从字面上看，只是交代了暮色中听鼓这一事实，然而它却渲染出了一种苍凉而幽怨的气氛。
那时急时缓、抑扬顿挫的击鼓声使诗人想起了历史上有名的击鼓骂曹的故事：三国末年，曹操挟天子以令诸候，威震朝野；而一介书生祢衡（正平）却偏偏不肯奉迎他。曹操为了羞辱祢衡，故意令他充任鼓吏。一日，曹操大宴宾客，令祢衡击鼓娱众。祢衡从容不迫，裸体更衣，击《渔阳掺挝》，声节悲壮，听客莫不为之动容。随后，他又大骂曹操弄权。曹操虽恨之入骨，但又恐杀之而招致物议，便把他送到刘表处；祢衡又得罪了刘表，最后送到江夏太守黄祖处，被杀。诗人此时所滞留之地，正是当年祢衡被杀的地方，那在苍茫暮色中显得格外悲怆、浑远的鼓声，自然使他想起当年击《渔阳掺挝》的人。诗人不禁慨然叹道：“欲问渔阳掺，时无祢正平。”
由所闻之鼓，想起《渔阳掺挝》；由《渔阳掺挝》，想到击此调而丧身的人，可谓联想自然，一气贯通。见景生情，追忆往事，这是第一层意思。“欲问渔阳掺”，说明诗人又清醒地意识到眼下所闻并非祢衡所击之曲；之所以听不到那悲烈之调，乃是因为“时无祢正平”。由追忆往事而回到眼下情景，发出惋惜之叹，这是第二层意思。然而，当今世上多是阿奉权势、趋时媚上之流，正需要像祢衡这样的人慷慨击鼓，以《渔阳掺挝》的清亮之音扫荡混浊之气，使媚俗者自惭，使权势者知羞。可惜如今既听不到那曲《渔阳掺挝》，也见不到像祢衡这样的人。其时，正是牛党当权，李党纷纷被逐之时，国事日非，诗人愤慨极深。追昔抚今，一吐胸中块垒，这是第三层意思。三层意思环环相扣，对往事的追忆、对现实的感慨，融汇成一股郁愤之气，回旋往复，寄慨遥深。
