胡谐之，豫章南昌人。祖父胡廉之，书侍御史。父亲胡翼之，受到州府的聘用而没有赴任。
胡谐之在宋朝做官为邵陵王左军咨议。齐武帝为江州刺史，以胡谐之为别驾，委托他主管事务。
建元二年(480)，担任给事中、骁骑将军。上方打算奖赏给他贵族的婚姻，因为胡谐之家的人讲方言，语音不正，便派了宫中的四五个人往胡谐之家去教子女说话。两年后，皇帝问道：“卿家中的人语音已经纯正了吗？”胡谐之回答说：“宫人少，臣家里的人多，不但不能正音，却使宫人也变成方言。”皇帝大笑，普遍向朝臣说起这件事情。
永明五年(487)，他任左卫将军，加给事中。胡谐之风采美好，善于自处，兼以旧时的恩德受到优待，朝士多愿意和他交游。六年，调为都官尚书。皇上打算要提升胡谐之的时候，曾经从容地对他说：“江州有几个侍中呢？”他回答说：“近世只有程道惠一人而已。”皇上说：“应当让它有两个。”后来他把这话告诉了尚书令王俭，王俭心里更感到诧异，便让他当了太子中庶子，兼左卫率。
胡谐之很有见识，每当朝廷官员出缺以及应该升迁替代，秘密估量皇上所用人选，都和他说的一样。虞..因此对他十分佩服。升任权要职位以后，向下面征求物品很多。他向梁州刺史范伯年求好马，范伯年很为难，对使者说：“马不是狗子，怎么能够满足无穷的搜求！”接待使者很淡薄，使者非常怨恨地回去了，对胡谐之讲：“范伯年说，胡谐之是个什么狗东西，无厌地搜求！”胡谐之切齿愤恨。当时王玄邈取代范伯年，范伯年称病推延没有及时回京。胡谐之对皇帝说：“范伯年倚仗山川险固，聚众企图独占一州。”等范伯年回京，皇帝打算不再过问，胡谐之又说：“见到猛兽，捉住了它却又放上山去么？”皇帝于是赐他自一杀。
永明十年(492)，胡谐之转任度支尚书，兼卫尉。第二年去世，谥号肃侯。
范伯年本来是梓潼人，土地属于梁州华一陽一郡。起初担任州将，刘亮派他到京城咨询事情，见到了宋明帝。明帝在说话间谈到了广州的贪泉，于是便问范伯年说：“卿的州上也有此水吗？”回答说：“梁州只有文川、武乡、廉泉、让水。”又问他：“卿的宅院在哪里？”回答说：“臣的住处在廉让之间。”明帝感叹他善于答对，于是受到欣赏。历任内外职务，终止于梁州刺史。