这首词写水乡风光及生活：春末夏初，词人登上高楼，意欲欣赏江南水乡迷人的景致。他纵目望江，看到一幕动人的送别场景。
“莲叶初生南浦，两岸绿杨飞絮。”开首两句，很清楚的点出了环境和季节，莲叶初生，绿杨飞絮，把初夏时节写得生机勃勃，飞动流走。南浦泛指送别的地方，屈原《九歌·河伯》：“子交手兮东行，送美人兮南浦。”江淹《别赋》：“送君南浦，伤如之何？”该词所描绘的乃一条大江的渡口附近，河湖池塘，莲叶初生，微露水面，青翠欲滴，娇嫩喜人；大江两岸，绿柳成排，枝条婀娜，飞絮漫天，这意境是颇为迷人的。
词在点出了季节和渡口附近的环境之后，则进一步交代了具体的时间和场景：“向晚鲤鱼风，断送彩帆何处？”薄暮将来的时候，江面上吹来春末夏初的暖风，带着湿润的鱼腥味，很容易引起人的情绪和联想。在渡口附近的江面，出现了一只画船，它已扬起了彩帆，在朦胧的暮色里，摇起了橹，荡起了桨，却不知去向何处。
以上季节、时间、环境、场景，均是词人在一定角度亲自看到和感到的：“凝伫，凝伫，楼外一江烟雨。”原来词人正站在江岸的一座高楼之上，在出神，在发愣，这送别场景给词人带来的感触是情意绵绵，还是怅然若失，恐怕他自己也说不清了。再看“楼外”，则是“一江烟雨”。与蒙蒙暮色相合，完全是混沌一片了。此时词人感情的潮水，也只能是一片混沌。
贺铸的好友，苏门四学士之一的张耒为贺铸的《东山词》作序有云：“盛丽如游金、张之堂，而妖冶如揽嫱、施之祛，幽洁如屈、宋，悲壮如苏、李。”这评价或许有点过分，但却准确地指出了贺词风格的丰富和多样。他虽有一些近于苏轼词风的豪放词，又有不少婉约词。《忆仙姿》前半明快爽朗，生气盎然，后半朦胧迷离，茫然低沉，正是贺铸思想矛盾复杂的一个体现。
全词虽无一字提到离别相思，却将离别相思之情写得淋漓尽致。
