上片，追忆歌妓、侍女的深情与作者的思念。“昨夜渡江何处宿，望中疑是秦淮”，点明即将渡江的时间与行踪，突出描绘想象中的繁华秦淮。秦淮有歌女成群的黄金河畔楼台。唐代诗人杜牧《泊秦淮》唱道：“烟笼寒水月笼沙，夜泊秦淮近酒家。商女不知亡国恨，隔江犹唱后庭花。”宋代诗人贺铸《秦淮夜泊》也唱道：“楼台见新月，灯火上双桥。隔岸开珠箔，临风弄紫箫。”忆起王胜之昔日秦淮之风流，更加深恋今日秦淮的韵事。接着写宿处“月明”时，笔锋一转，突然有人吹起悲哀的笛声。这是受主人之爱而又得不到真情的凄楚之音，难言之音。吹笛者不知是谁，最后两句，引用六朝“王谢女”故事，作了回答。唐代文学家刘禹锡《金陵五题》写道：“朱雀桥边野草花，乌衣巷口夕阳斜。旧时王谢堂前燕，飞人寻常百姓家。”正是这“旧时王谢堂前燕”，烘托出了欢送王胜之上任之歌妓深情：既吹笛“多情”，又“相逐过江来”。
下片，写情势不许，情爱成影，有难言之隐。第一、二句，点化活用宋玉《高唐赋》中神话。巫山神女比喻“相逐过江来”的歌妓与侍女；将其神话比作情爱，尚未成真而今又分离了。作为歌妓，就是歌妓，官人无论如何喜爱，但要成为真正情爱是难越过封建社会等级观念障碍的，自然“相逐过江来”的歌妓与侍女，只能“云雨未成还又散”，令人“思量好事难谐”。第三、四句，从两个方面点明“云雨散”，“好事难谐”的原因：一是“凭陵”逼迫，情势不允许；二是“急桨”人催促开船不容犹豫。所以“两相催”成了这种不得不分离的现状和难言之隐的伤痛，“妓婵娟，不长妍”（孟东野《婵娟篇》）。最后两句“想伊归去后，应似我情怀”，为点题之笔，道出了东坡十分同情歌妓的心底之言：将心比心，心心相印，悔而又晚，隐痛难言，此恨绵绵无尽期。
这首词原本为送王胜之龙图至南都之作。只因即歌妓与侍女陪送之事，而转到写这些底层女性无主的命运。在官人当政春风得意时，这些歌妓与侍女就是“王谢女”；当官人贬谪或迁移不得志时，这些歌妓与侍女则成为“归去”女。作者批判昔日的秦淮韵事，同情眼前吹奏哀笛的歌妓的凄凉命运，就充分反映了他不为世俗传统观点束缚的新型妇女观。
昔别逢条桑，今还值鸣蜩。远游淹辰节，离思结昏朝。
水宿我情懑，山栖子志超。半生怀隐止，中道困沦漂。
虽积岩壑眷，恒违樵牧招。日归未温席，于迈复扬桡。
仍将风波习，再与朋知遥。杳杳寒蓬转，茫茫秋梧飘。
感仪宁乏操，慕舄岂无谣。事系竟难解，心悬徒如摇。
唯当敦久要，不为岁寒凋。