东吴灭亡后，甘卓一度退居自守。后来先后任丹杨郡主簿和功曹，后获察孝廉，举秀才，担任吴王司马晏的常侍。太安二年（303年）十二月，因张昌部将石冰在扬州境内作乱，议郎周玘等举兵讨伐，甘卓亦有起兵支持，都亭侯。及后东海王司马越任命甘卓为其参军，任离狐县令。但甘卓见当时天下大乱，于是弃官回到江东避乱；途中在历阳遇到陈敏，而陈敏有意割据江东，甘卓则与他共图大计，更联结婚姻。陈敏于是在永兴二年（304年）十二月起兵，自号楚公，又掳掠周边州郡。周玘等江南大族虽获招揽，但不肯听命于陈敏。直至永嘉元年（307年），陈敏任命为右将军的顾荣秘密联结征东大将军刘准，刘准于是派扬州刺史刘机攻陈敏；同时周玘密使其同乡，陈敏弟弟陈昶部将钱广杀陈昶。陈昶死后，钱广勒兵朱雀桥南，甘卓则奉陈敏之命讨伐钱广。但周玘和顾荣则前去游说甘卓背叛陈敏，甘卓一向敬重顾荣，同时见陈昶已死又心存畏惧，想了很久后最终决定背叛陈敏，最终于将周玘等将陈敏击败，协助平定叛乱。

同年琅邪王司马睿南渡江东，任命甘卓前锋都督、扬威将军、历阳内史。其后先于永嘉五年（311年）击溃反对司马越的镇东将军周馥，后又参与讨平杜弢的叛乱，累计功勋获封南乡侯，拜豫章太守。后改任湘州刺史，及后更获进爵于湖侯。司马睿建立东晋以后，甘卓升任安南将军、梁州刺史，假节督沔北（今湖北北部）诸军，镇襄阳。在任期间为政简惠，又善于绥抚，又不收估税，令市无二价；甘卓亦将收境内所有鱼池的税款全部赠施给贫民，当地都称许甘卓的政策。

永昌元年（322年），大将军王敦于武昌（今湖北鄂州市）以诛刘隗之名起兵进攻建康，并派人通知甘卓，请甘卓与他同行。甘卓最初答应，但及后并没前往，更派参军孙双劝阻王敦。王敦及后再命孙双回报，更以公爵之位引诱，但甘卓仍然没有前往。同时湘州刺史司马承亦派主簿邓骞游说甘卓反叛王敦，但甘卓参军李梁却劝甘卓坐观成败，邓骞力劝，但甘卓仍然迟疑未决。王敦见甘卓久不前来，害怕日后会反对自己，进攻根据地武昌，于是派参军乐道融出使，务求要令到甘卓前往支持自己。但乐道融因反对王敦叛乱，于是劝甘卓反对王敦。甘卓心中一直不愿顺从王敦，听乐道融的话后终于有了决定，于是派巴东监军柳纯、宜都太守谭该等人宣布王敦的罪状，又联络司马承和广州刺史陶侃，正式讨伐王敦，并起兵向武昌进攻。甘卓宣布进攻武昌后，武昌人民都大惊逃散，而朝廷接到甘卓反王敦的上奏后都十分高兴，并任命甘卓为镇南大将军、侍中、都督荆梁二州，荆州牧。

甘卓虽然决定了反抗王敦，更公开宣战，但性格不够果敢坚毅，且年老多疑，此时仍然犹豫，大军停驻在猪口。甘卓更打算先解救被王敦将领魏乂围困的司马承，虽然司马承要求甘卓先攻破武昌，长沙之围自然随武昌陷落而解，但甘卓仍没动作。同时王敦知道甘卓举兵十分害怕，派了甘卓侄儿甘卬劝和。甘卓停驻猪口数十日不前，但同时王敦已攻破建康，掌握朝政，并杀尚书左仆射周顗和骠骑将军戴渊，又送驺虞幡给甘卓。甘卓佑道周顗、戴渊已死，向卓卬说担心进攻武昌会逼王敦劫逼元帝，危及皇室，决心要退兵回襄阳，并下令撤军。乐道融和都尉秦康以甘卓已经起兵，不能半途而废和士卒希望取得战功而未必甘愿撤退为由劝甘卓坚持，又劝他分兵截断彭泽（今江西彭泽湖长江入口九江市），使王敦武昌、建康两边不得联络接应，令其众自然离散。但甘卓不听。

甘卓回襄阳后，性情大变，意气骚扰，举止失常。主簿何无忌和家人都劝甘卓加强警觉，防备王敦，但甘卓不但不听，反而动怒。甘卓命士兵解甲大规模屯田，完全不留兵作防卫，功曹荣建劝阻但又不纳。襄阳太守周虑收到王敦密令要除去甘卓，又知道甘卓根本没有做任何防备措施，于是谎称湖中多鱼，劝甘卓命左右前往捕捞，甘卓听从。周虑于是命人在寝室袭杀甘卓，并将首级送至王敦处。甘卓四名儿子都被杀害。

王敦之乱于太宁二年（324年）被平定后，甘卓获追赠骠骑将军，谥曰敬。