蔡豹有气魄才干，历任河南丞，长乐、清河太守。后避乱南渡，晋元帝司马睿任命他为振武将军、临淮太守，又升任建威将军、徐州刺史。当初，祖逖担任徐州刺史，蔡豹为司马，祖逖很看不起蔡豹。到此时，祖逖任豫州刺史，而蔡豹任徐州刺史，都受征讨之任，祖逖感到很惭愧。 

太兴二年（319年）二月，泰山太守徐龛与彭城内史刘遐一同在寒山征讨反贼周抚，徐龛的部将于药斩杀周抚。到论功行赏时，刘遐却排在徐龛前面。徐龛发怒，于同年四月据泰山反叛，自称安北将军、兖州刺史，侵扰济、岱地区。 八月，徐龛打败东莞太守侯史旄而占据他的壁垒，晋元帝派遣太子左卫率羊鉴兼任征虏将军，统领蔡豹讨伐徐龛。 当时后赵将领石虎也攻打徐龛，徐龛很恐惧，请求归降朝廷，晋元帝于是同意。 

太兴三年（320年）九月，徐龛背叛东晋归附后赵 ，后赵皇帝石勒派部将王伏都、张景等数百名骑兵援助徐龛。晋元帝命征虏将军羊鉴、武威将军侯礼、临淮太守刘遐、鲜卑段文鸯等与蔡豹一同征讨徐龛。诸将胆怯软弱，在下邳屯兵驻扎，不敢进兵。蔡豹想要进军，羊鉴坚决不同意。徐龛派使者向石勒请求救援，石勒以有外难为由拒绝，反而向徐龛要求许多。王伏都等又奸淫他的妻室。徐龛知道石勒不来救援，又忧虑王伏都等纵施暴行，就把他们杀死，再次请求归降东晋。晋元帝憎恶他反复无常，不接受其归降，下令蔡豹、羊鉴等抓紧进兵征讨。 

由于羊鉴和刘遐等都疑虑畏惧互不信任配合，都有表奏给朝廷，所以蔡豹久久不能进兵。尚书令刁协奏请说：“臣等考虑淮北征伐大军已失于行动迟缓，现在正当盛暑，冒险跋涉山岭，山人善射，熟悉地形，一人守住险要，百夫莫开。而且粮草漕运极为困难，一旦缺粮，就不再是靠计谋力量所能防守抵御得住的。兵书上说宁可控制别人而不能让别人控制。现在应驻扎在屯兵处，修筑险固的壁垒，到秋末再大举进军。”晋元帝诏书说：“知难而退，确实合于兵家之言。然而小贼虽然狡猾，不过是原来就被擒获的。未战而退，先自己挫折气势，这也是自古以来所忌讳的。再说邵存已经占据贼军营垒，威势已经振奋起来，一步也不能退后。”于是派治书御史郝嘏为行台，催促监督进军征讨。蔡豹要直接进兵，羊鉴执意不从。刁协又奏请免羊鉴之职，委任蔡豹为前锋，让羊鉴军配合，降号为折冲将军，以观后效。蔡豹进据卞城，想以此威胁徐龛。当时石虎屯兵在钜平，将要进攻蔡豹，蔡豹连夜逃走，退守下邳。徐龛在檀丘袭击夺抢蔡豹的辎重，将军留宠、陆党力战，死于阵中。 

同年十月，蔡豹准备回朝请罪，北中郎王舒制止他说：“胡寇将到，使君应当暂且代行职权，保护百姓。等贼退后再请罪也不晚。”蔡豹同意。晋元帝听说蔡豹败退，派人拘捕他。使者到后，王舒夜间派兵围捕蔡豹，蔡豹认为是敌兵来犯，就率领部下攻击，听说有诏令才停下来。王舒拘捕蔡豹，将他送到东晋都城建康（今江苏南京）。十月二十五日，晋元帝以蔡豹有畏缩不前之罪，下令将他斩首 ，并在集市中陈尸示众三天，时年五十二岁。