关于孔子作《曳杖歌》前后的情况，在《礼记·檀弓上》、《孔子家语·终记解》以及《史记·孔子世家》等书中都有大体相同的记载。兹引《礼记·檀弓上》中的相关文字如下：
孔子蚤作，负手曳杖，消摇于门，歌曰：“泰山其颓乎？梁木其坏乎？哲人其萎乎？”既歌而入，当户而坐。子贡闻之，曰：“泰山其颓，则吾将安仰？梁木其坏，哲人其萎，则吾将安放？夫子殆将病也。”遂趋而入。夫子曰：“赐，尔来何迟也！……予畴昔之夜，梦坐奠于两楹之间。夫明王不兴，而天下其孰能宗予？予殆将死也。”盖寝疾七日而没。
东汉郑玄在上述引文之末注解说：“明圣人知命。”所谓“知命”，字面意思是了解自己的命运；比较科学的解释，也就是依据已知的情况对未来作出较为近是的预测。孔子唱这首歌时，只是一种预感，接着病倒了，七天后去世，正应验了他预感的正确。活着，活得清醒；快去世时，也不糊涂。大概这就是孔子之所以为孔子，也是这首《曳杖歌》所要昭示世人的这一层意思吧。
从《礼记》的记载中可以知道，孔子在吟唱这首《曳杖歌》之前，心灵上正经历着微妙的深刻的变化：夜里他做了一个不祥的梦，梦见正坐在两个廊柱之间被人祭奠；他早早地起了床（“蚤作”），或许梦醒后就一直未曾睡着吧；他反背着手，拖着手杖，孔颖达解释“负手曳杖”说：“杖以扶身，恒在前面用。今乃反手却后以曳其杖，示不复杖也。”（《礼记正义》）所谓“示不复杖”，意思是自己将不久于人世，不会再用手杖了；他还“消摇于门”，从屋内走到门口，显出一副放松随便的样子。“消摇”，即“逍遥”，安闲放松的样子。孔颖达说：“夫子礼度自守，貌恒矜庄。今乃消摇放荡以自宽纵……示不能以礼自持。”又说“负手曳杖”与“消摇于门”二句，“并将死之意状”（引书同上）。正是在这样一种特殊的心态支配之下，孔子这位在二十多年前已早知“天命”的哲人，面对即将到来的死亡，也不能不长歌当哭，动情地唱出这首留恋人生、爱惜生命、无奈地直面死亡的悲歌。
《曳杖歌》全文只三句。前两句用比拟，以物比人，以“泰山”、“梁木”拟“哲人”。“泰山”是众山所仰的高山，现在泰山快要崩塌，众山就无可瞻仰了。“梁木”是放置檩条、椽子的地方，现在梁木快要折断，檩条、椽子就无可依托了。紧接着这两个比喻的句子，末句直接说到自身。“哲人”，乃夫子自道；“萎”，原指草木枯死，引申为病危。上述做梦等种种潜意识的以及行为上的异常情况，令孔子自感已经病入膏肓，将不久于人世了。孔子的高足子贡，这天早上刚好来看望老师，听了这首歌，由“泰山”、“梁木”的比喻，他想到了“哲人其萎”的后果将是十分严重的。他所说的“则吾将安放”，意思是他们这些学生就将永远失去孔子这位诲人不倦、可敬可亲的好老师了，不觉心情黯然。
全诗三个句子，虽有前两句的比喻与后一句的直陈两个层次，但因感情真挚，比喻贴切而又形象，且句式整齐，每句的第三字都用表示“大概”或“将要”的副词“其”字，故仍不失一气呵成、流利紧凑的即兴吟成的本色。