殷仲文年轻时就有才华，容貌俊美。堂兄殷仲堪将他推荐给会稽王司马道子，被司马道子立即任用为骠骑参军，赏赐优待有加。不久改任谘议参军，后来任司马道子的儿子司马元显的征虏长史。 

元兴元年（402年），桓玄起兵谋反，桓玄的姐姐是殷仲文的妻子，殷仲文因此受到怀疑被人离间，降职为新安太守。殷仲文与桓玄虽是亲戚，但平素交往不密切，听说桓玄占据京师建康（今江苏南京），便放弃自己所辖的新安郡，前去投靠桓玄，桓玄非常高兴，任命殷仲文为证议参军。 当时王谧被礼遇而不被亲近，卞范之被亲近而少礼遇，而殷仲文被桓玄宠信并以隆礼相待，兼有给予王谧、卞范之的优待。元兴二年（403年），桓玄将要篡位，命令殷仲文总领诏命，担任侍中，兼任左卫将军。桓玄受九锡之赐，乃是殷仲文写的诏令。 

元兴二年（403年）十二月，桓玄篡位称帝，建康宫的卧床突然下陷，群臣大惊失色。殷仲文说，桓玄是因圣德深厚，大地托载不了。桓玄听后非常高兴。 桓玄以殷仲文为辅佐自己的亲近显贵之人，厚加封赏，车马器用服装，极尽华丽，后房中歌舞伎女加妻妾共有数十人，丝竹之音不绝。殷仲文生性贪吝，收受了许多贿赂，家中积累了千金财产，还常嫌不足。桓玄被刘裕打败，殷仲文随同桓玄西逃，他的珍宝玩物全埋藏在地下。到了巴陵，殷仲文因护送二位皇后投奔义军，而担任镇军长史，又改任尚书。 

元兴三年（404年），殷仲文代替桓修担任徐、兖二州刺史。 同年五月，桓玄兵败被杀。

义熙元年（405年），晋安帝司马德宗刚刚复位，殷仲文便上表为自己辩解，请求辞职，晋安帝下诏不许。 

义熙三年（407年）二月，殷仲文一向很有才智声望，认为自己应当管理朝政，但始终没有实现自己的志向，所以一直闷闷不乐。后来出京担任东阳太守，就更加不高兴。江州刺史何无忌平常就很敬慕殷仲文的名气。当时东阳是在何无忌的管辖之内，殷仲文答应在顺路时去拜访何无忌，何无忌非常高兴，谨慎恭敬地对待此事。命令府中的文人殷阐、孔宁子等撰写文章，以等待殷仲文的到来。但是，殷仲文因为官场失意，常常神情恍惚，所以才没能过来相见。何无忌认为殷仲文这是瞧不起自己，大为恼怒，想要中伤陷害殷仲文。正好此时南燕皇帝慕容超进兵侵犯东晋，何无忌便对刘裕说：“桓胤、殷仲文是我们的心腹大患，而北方的强盗却不必担心。”闰二月，刘裕官府的将军骆冰阴谋制造叛乱，事情被发觉，刘裕把他杀了。于是，他们声称骆冰和殷仲文、桓石松、曹靖之、卞承之、刘延祖等人在暗中互相勾结，打算拥立桓胤为盟主，所以把这些人连同他们的家族，全部杀掉。