建兴四年（316年），司马勋当时只有十几岁，汉赵（亦称前赵）将领刘曜攻陷长安（今陕西西安），晋愍帝司马邺投降汉赵，西晋灭亡，刘曜的部将武卫将军令狐泥收养司马勋为养子。司马勋成年后，熟悉射箭骑马，左右手皆可同时开弓射箭。 

咸和六年（331年），司马勋从关右地区南奔东晋，自称是大长秋司马恂的玄孙，冠军将军、济南惠王司马遂的曾孙，略阳太守司马瓘之子，于是东晋朝廷授任他为谒者仆射。司马勋以勇猛闻名。 

咸康二年（336年）十一月，朝廷下诏派时任建威将军的司马勋领兵安抚汉中地区，司马勋抵达汉中后，被成汉政权的汉王李寿打败。 

建元二年（344年）八月初七日，梁州刺史桓宣去世，当时征西将军庾翼镇守襄阳，便请求朝廷让司马勋代替桓宣担任梁州刺史，驻守西城。 后来，司马勋退守武当。 

永和三年（347年），安西将军、荆州刺史桓温灭亡成汉政权。因益、梁二州故土重新纳入东晋版图，所以司马勋也移镇到原本的梁州治所汉中。

永和五年（349年）四月，后赵皇帝石虎去世，石虎诸子争位致使中原大乱。 八月，后赵乐平王石苞谋划率领关右的兵众攻打邺城，石苞生性贪婪但无谋略，雍州的豪杰之士都知道他一事无成，于是就一起派人把他想攻打邺城的事情报告给东晋朝廷，司马勋便率领兵众开赴雍州。 

永和五年（349年）九月，司马勋率军出骆谷，攻克后赵的长城戍 ，在悬钩设置营垒，距离长安只有二百里。司马勋派遣治中刘焕攻打长安，杀死京兆太守刘秀离。后又攻克贺城。于是关中地区的豪杰之士大多都杀死后赵的地方官员来响应司马勋。此时，司马勋共有三十多座营垒，五万兵众。石苞于是放弃攻打邺城的意图，派其部将麻秋、姚国等统领士兵抵抗司马勋。后赵皇帝石遵派车骑将军王朗率领二万精锐骑兵，以讨伐司马勋为名，顺势劫持石苞送到邺城。司马勋这时手下兵力不足，由于害怕王朗的精锐骑兵，不敢继续前进。十月，司马勋放弃悬钩，攻克宛城，杀死后赵南阳太守袁景，撤军回到梁州。 

永和七年（351年）正月，氐族人苻健自称三秦王，建立前秦政权。三月，当时张琚占据陇东，派使者召见司马勋。四月，司马勋率领步兵、骑兵三万人，从汉中进入长安 （一作秦川），在途经五丈原时遭遇苻健的阻击。司马勋多次战斗都失败 ，只好退回南郑。 

当初，京兆人杜洪凭借自己是豪门凌驾于张琚之上，张琚凭借勇猛羞辱杜洪，杜洪知道司马勋害怕张琚兵强，于是劝司马勋说：“不杀张琚，关中就不会归国家所有。”司马勋于是假装请张琚，在座上杀了他。张琚的弟弟跑到池阳，纠合兵力攻打司马勋，屡战不利，便向司马勋求和，司马勋于是回到梁州。 

当时虽然东晋收复成汉所占据的故土，但蜀地未稳，仍有数场叛乱发生，其中就包括振威护军萧敬文在涪城的叛乱。桓温曾派邓遐与益州刺史周抚一同进攻但都没能击败叛军。最终在永和八年（352年）八月，桓温派司马勋协助周抚才成功平定萧敬文的叛乱 ，蜀地得以安稳。

永和十年（354年）二月，桓温北伐，命司马勋从子午道出兵，一同攻打前秦。 四月，虽然桓温主力在蓝田县击败秦军并进据灞上 ，威胁长安，但却没有继续进逼，反给予机会让前秦喘息。前秦丞相苻雄于是乘机率领七千骑兵在子午道击败司马勋，逼他退兵驻扎在女蜗堡。 

六月，司马勋与响应北伐的前凉将领王擢一同攻陷陈仓，但此时桓温作战不利，而且粮草也供应不上，已经退兵，苻雄于是集结力量进攻陈仓，将司马勋和王擢击败，司马勋逃奔汉中，王擢逃奔略阳。 

不久，司马勋升任征虏将军、监关中军事，兼任西戎校尉，并获封通吉亭侯的爵位。司马勋为政暴虐残酷，治中、别驾以及州内的豪强大族，只要说话不合他的心意，就在座位上命令将他们斩首示众，有时则亲自把他们射死。西方地域对他的凶虐很是忧虑。司马勋一直有占据蜀地、割据称王的想法。桓温听说后，极力得安抚关怀他，让他的儿子司马康担任汉中太守。司马勋叛逆的谋划已经完成，但由于畏惧益州刺史周抚，所以才没敢行动。 

兴宁三年（365年），周抚去世。同年十月，司马勋起兵反叛朝廷。梁州别驾雍瑞、西戎司马隗粹恳切地劝谏司马勋，司马勋没有听从，把他们全都杀害。司马勋于是自称梁益二州牧、成都王。 十一月，司马勋带兵进入剑阁，攻打涪城，西夷校尉毌丘暐弃城逃跑。十一月十五日，司马勋在成都包围益州刺史周楚。桓温知道司马勋叛乱后，上表任命鹰扬将军、江夏相朱序为征讨都护，派他率军前去救援周楚。 

太和元年（366年）三月，荆州刺史桓豁派督护桓罴在南郑攻打司马勋。 同年五月，朱序、周楚在成都击败司马勋的部队，擒获司马勋及其同党，将司马勋和他的儿子司马陇子、长史梁惮、司马金壹等押送到桓温所在镇地姑孰，桓温下令把他们全部斩首 ，并将司马勋的首级传送到京师建康（今江苏南京）。