您的问题，清代已经有人提到，现在把几段清代人的论述贴在下面，希望对您有所帮助。
清何焯《义门读书记》卷二十三
后汉书
往来依太山羊氏。按，羊祜为蔡邕外孙，盖以婚姻依之。
清阎若璩《潜邱札记》卷二
羊流店，晋羊叔子故里，在新泰县西北六十里，南北孔道也。余庚午春经此，问叔子之后裔有存者，往寻其祖墓，隆然髙阜者三，即传出折臂三公之所。复往寻其居遗址，隐然若城郭，绵亘八里许。因叹叔子以上九世，皆二千石卿校，可为东汉第一世家。当时聚族而处，居以积久，日加辟远。又蔡邕亡命江海，远迹吴会，往来依太山羊氏，以此地为渊薮，孰敢过问之？种种皆与史传关合。独《后汉书》羊续，太山平阳人。平阳即西汉之东平阳，晋为新泰县。《晋书》叔子，却属太山南城人。南城，原鲁南武城，晋地志亦三字名，故城在今费县西南九十里，距新泰二百四五十里。意新泰，叔子之祖贯，已则占籍南城耳。观武帝咸宁中，诏以泰山之南武阳、牟、南城、梁父、平阳五县，置南城郡，封叔子南城侯，以其为南城人也。叔子且死，从弟琇述素志，求葬于先人墓次。狐死正邱首，正欲葬其隆然高阜之旁也。兹撰《一统志》，系续于新泰人物可也。叔子以孙从祖，奈《晋书》何？且新泰县建置沿革，并未见何年改南城。一笔人物岂，有无根者哉！要须别系叔子于费县人物，不必拘《元和志》然后可。
清徐文靖《管城硕记》卷二十
《后汉·列女传》，蔡邕女琰没胡中，曹操痛邕无嗣，乃遣使者以金璧赎之，重嫁董祀。按，《后汉书》邕本传，邕亡命江海，远迹吴会，往来依泰山羊氏，积十二年。《晋书·后妃传》，景献羊皇后，泰山南城人，父衟，上党太守，母陈留蔡氏，汉中郎将邕女也。又《羊祜传》，祜，邕外孙，景献皇后同产弟。祜讨呉有功，将进爵，乞以赐舅子蔡袭，诏封袭关内侯。是邕未尝无嗣也。意邕被收，有匿其嗣者，当时不知，遂以为无。又当有二女，一没胡中，一适羊氏。
(三书皆为台湾影印文渊阁四库全书本)
清人何焯已经指出，蔡邕和羊氏的关系是婚姻关系。阎若璩通过实地考察，认为太山羊氏是东汉第一世家，史书上说蔡邕为避祸而依靠羊氏的说法是完全可以成立的。徐文靖认为蔡邕未尝无后，认为羊祜的舅子蔡袭就是蔡邕的后代；又认为蔡邕应该有两个女儿，一个女儿是没于胡中的蔡文姬，一个女儿是嫁给羊氏的，后来是羊祜的母亲。虽然他的推论很有道理，但仍然只是推论，毕竟史无明文。
又，您提出吴会和泰山的关系问题，可能与断句有关。读《后汉书》卷九十下蔡邕传：
五原太守王智饯之，酒酣，智起舞，属邕，邕不为报。（注：属犹劝也，音烛。）智者，中常侍王甫弟也，素贵骄，惭于宾客，诟邕曰：“徒敢轻我？”邕拂衣而去。智衔之，密告邕怨于囚放，谤讪朝廷。内宠恶之。邕虑卒不免，乃亡命江海，远迹吴会，往来依太山羊氏，积十二年。在吴，吴人有烧桐以爨者，邕闻火烈之声，知其良木，因请而裁为琴，果有美音，而其尾犹焦，故时人名曰焦尾琴焉。
吴会与泰山，确实不是一地。蔡邕往来依太山羊氏，依字面看，不一定是十二年一直在泰山，而是十二年间在泰山与吴会之间“往来”。下文“在吴”，是指在吴会的时候听到烈火焚木声，以此抢救了良木，不应属上读。如此，大约可以解决您的问题。
清何焯《义门读书记》卷二十三
后汉书
往来依太山羊氏。按，羊祜为蔡邕外孙，盖以婚姻依之。
清阎若璩《潜邱札记》卷二
羊流店，晋羊叔子故里，在新泰县西北六十里，南北孔道也。余庚午春经此，问叔子之后裔有存者，往寻其祖墓，隆然髙阜者三，即传出折臂三公之所。复往寻其居遗址，隐然若城郭，绵亘八里许。因叹叔子以上九世，皆二千石卿校，可为东汉第一世家。当时聚族而处，居以积久，日加辟远。又蔡邕亡命江海，远迹吴会，往来依太山羊氏，以此地为渊薮，孰敢过问之？种种皆与史传关合。独《后汉书》羊续，太山平阳人。平阳即西汉之东平阳，晋为新泰县。《晋书》叔子，却属太山南城人。南城，原鲁南武城，晋地志亦三字名，故城在今费县西南九十里，距新泰二百四五十里。意新泰，叔子之祖贯，已则占籍南城耳。观武帝咸宁中，诏以泰山之南武阳、牟、南城、梁父、平阳五县，置南城郡，封叔子南城侯，以其为南城人也。叔子且死，从弟琇述素志，求葬于先人墓次。狐死正邱首，正欲葬其隆然高阜之旁也。兹撰《一统志》，系续于新泰人物可也。叔子以孙从祖，奈《晋书》何？且新泰县建置沿革，并未见何年改南城。一笔人物岂，有无根者哉！要须别系叔子于费县人物，不必拘《元和志》然后可。
清徐文靖《管城硕记》卷二十
《后汉·列女传》，蔡邕女琰没胡中，曹操痛邕无嗣，乃遣使者以金璧赎之，重嫁董祀。按，《后汉书》邕本传，邕亡命江海，远迹吴会，往来依泰山羊氏，积十二年。《晋书·后妃传》，景献羊皇后，泰山南城人，父衟，上党太守，母陈留蔡氏，汉中郎将邕女也。又《羊祜传》，祜，邕外孙，景献皇后同产弟。祜讨呉有功，将进爵，乞以赐舅子蔡袭，诏封袭关内侯。是邕未尝无嗣也。意邕被收，有匿其嗣者，当时不知，遂以为无。又当有二女，一没胡中，一适羊氏。
(三书皆为台湾影印文渊阁四库全书本)
清人何焯已经指出，蔡邕和羊氏的关系是婚姻关系。阎若璩通过实地考察，认为太山羊氏是东汉第一世家，史书上说蔡邕为避祸而依靠羊氏的说法是完全可以成立的。徐文靖认为蔡邕未尝无后，认为羊祜的舅子蔡袭就是蔡邕的后代；又认为蔡邕应该有两个女儿，一个女儿是没于胡中的蔡文姬，一个女儿是嫁给羊氏的，后来是羊祜的母亲。虽然他的推论很有道理，但仍然只是推论，毕竟史无明文。
又，您提出吴会和泰山的关系问题，可能与断句有关。读《后汉书》卷九十下蔡邕传：
五原太守王智饯之，酒酣，智起舞，属邕，邕不为报。（注：属犹劝也，音烛。）智者，中常侍王甫弟也，素贵骄，惭于宾客，诟邕曰：“徒敢轻我？”邕拂衣而去。智衔之，密告邕怨于囚放，谤讪朝廷。内宠恶之。邕虑卒不免，乃亡命江海，远迹吴会，往来依太山羊氏，积十二年。在吴，吴人有烧桐以爨者，邕闻火烈之声，知其良木，因请而裁为琴，果有美音，而其尾犹焦，故时人名曰焦尾琴焉。
吴会与泰山，确实不是一地。蔡邕往来依太山羊氏，依字面看，不一定是十二年一直在泰山，而是十二年间在泰山与吴会之间“往来”。下文“在吴”，是指在吴会的时候听到烈火焚木声，以此抢救了良木，不应属上读。如此，大约可以解决您的问题。