这首诗作于江淹被贬为建安吴兴令期间。黄蘖山的地点据旧注说在“吴兴府城”（今浙江吴兴）附近，这不足为信。因为诗中称“闽云连越边”，是在今福建和浙江交界之地，而吴兴则在江浙二省交界处，古人称之为“吴地”，与诗的地望不符。按：《宋书·谢方明传》记谢方明在东晋末孙恩、卢循起义中，从浙东取道“黄蘖峤”经今江西一带，逃到建康。可见“黄蘖峤”在今闽浙赣三省交界处，这地方离江淹被贬的建安吴兴（今福建浦城）不远。此诗当是被贬在建安吴兴后作。此诗写作时间，当比《渡泉峤道出诸山之顶》、《迁阳亭》诸作稍晚。这时他的心情已较迁谪之初稍为平静，所以不像那些诗有明显的怨愤之情而倾向于游仙诗的情调。
江淹的诗风在南朝比较特殊，他的诗一般较具古气，和谢朓、沈约为代表的永明诗人不同。但较之刘宋初年的谢灵运、颜延之又显得略见平易。但他有一些写景诗则用了一些古奥的辞语，似与谢灵运、鲍照等人相近。这首《游黄蘖山》亦属此类。诗中“残杌千代木，廧崒万古烟”二句就很古奥费解。“残杌”当指枝叶已尽的枯树干，“廧崒”据余冠英先生说：“疑‘廧’作‘崷’，‘崷崒’，高峻貌”（《汉魏六朝诗选》）。这两句是借此形容黄蘖山是一个人迹罕到的险僻幽静之地。从全诗看来，作者是到了一个高峻的深山之中，为那里的景色所打动而兴起了求仙的想法。在诗中，作者以形象的语言写出了山势的险峻：“金峰各亏日，铜石共临天”，这“金”、“铜”都是形容南方闽、赣诸省山区的红黄色土壤，“金峰亏日”、“铜石临天”无非形容山石的高峻。“阳岫”、“阴溪”则写面临日光的山峰和背阴的溪谷。山峰在日光下五色缤纷，而溪谷中又有泉水喷流，这一景色也引人入胜。“残杌”两句既写出了这里的偏僻，因此“禽鸣”、“猿啸”二句更突出了深山的特点。这两句诗原是化用鲍照《登庐山望石门》中的“鸡鸣清涧中，猿啸白云里”二句。但江淹这两句所展现的景色与鲍诗颇为不同。“鸡鸣清涧中”仍为人境，只是高山中才为猿猴所居的深山。因为这是庐山，而江淹所写的黄蘖山则不同，在当时，这里是人口稀少的深山。所以这两句诗虽有禽鸣、猿啸，却适见其僻静。正因为这黄蘖山是如此幽僻、险峻之处，就自然而然地给人以一种幻觉即这里是神仙出没之处。因为从西汉司马相如以来，人们总以为神仙是居“山泽间”的。因为想到神仙，作者又联想起了历史上秦皇、汉武这些曾热衷于求仙的帝王。作者说这些人“皆负雄豪威，弃剑为名山”，似乎这些威震一时的帝王尚且求仙，自己当然更有理由持这种观念了。
当然，秦皇、汉武求仙，到头来仍不免一死。求仙的无成，江淹当然不是不知道。他所以要求仙，和他早期的不得志有关。无可否认的是，在江淹的诗文中，有不少篇讲到过求仙，如《丹砂可学赋》、《赠炼丹法和殷长史》和《与交友论隐书》等。这是因为江淹在当时虽对仕途颇有企冀，但又备受压抑，颇知官场的险恶。特别是在建平王刘景素幕下，他深知景素的密谋，屡谏不听，未免产生悲观，而幻想在求仙中找寻解脱。这种情绪，早在贬官以前就有所表现，而谪居建安吴兴以后之作像《采石上菖蒲》等作，亦然如此。但当齐高帝萧道成掌握政权，并拔他为自己的参军，并委以重任之后，这种游仙之作就很少出现了。
江淹这首诗的风格，是继承了元嘉诗人颜延之、谢灵运“极貌写物”的传统，而且在写景时，又并有鲍照那种“不避险仄”的作风。所以风格显得还较古朴。但这种诗风发展到江淹已近尾声，到了齐代永明（483-493）年间，初开唐音的谢朓等人出来，诗风为之一变。于是就有了江淹“才尽”的故事。其实所谓“才尽”并非指他真的不能写作，而是他那种奇险古奥的诗体，已不再适合当时文坛的风气。当然，从江淹自身来说，入齐以后，他在仕途上日益显贵，不再呕心镂骨于文艺创作，也是一个重要原因。
