山简是山涛的第五子，他的性格温润典雅，有山涛的风采，他二十多岁时，山涛还不知山简的才华。山简叹息道：“我年近三十，却不为家公所知！”后来与谯国人嵇绍、沛郡人刘漠、弘农人杨淮齐名。 

最初担任太子舍人，屡次升迁后担任太子庶子、黄门郎，又出任青州刺史。被徵召入朝授侍中之职，不久，转任尚书。历任镇军将军、荆州刺史，兼领南蛮校尉，但还未成行，又被授职尚书。 

公元306年（光熙元年），转任吏部尚书。永嘉（307年—313年）初年，山简出任雍州刺史、镇西将军。又被徵召入朝任尚书左仆射，兼领吏部事务。 

山简曾向晋怀帝司马炽上疏建议命群臣各自推举贤才，以广招贤士，使国家富强。怀帝听从他的建议。 

公元309年（永嘉三年）三月戊申日，征南大将军、高密王司马略去世，朝廷任命山简为征南将军、都督荆、湘、交、广四州诸军事、假节， 出镇襄阳。 不久，加督宁、益二州军事。 

当时，雍州流民大多在南阳谋生，朝廷下诏要把流民遣返回乡。流民因为关中地区荒芜残败，都不愿意回乡。山简与南中郎将杜蕤分别派兵遣送，催促他们限期出发。京兆人王如于是暗地联系精壮勇士，趁夜袭击山简、杜蕤二军，将其击败。冯翊人严嶷、京兆人侯脱于是分别聚众攻打城镇，杀死县令等官员来响应王如，没有多久，聚众达四五万人，王如自己号称大将军，兼司、雍二州牧，自称藩属于汉国。 

公元310年（永嘉四年），洛阳饥饿困顿日益严重，太傅司马越遣使带着插羽毛的檄文征召全国军队，让他们来救援京城。怀帝对使者说：“替我告诉各征、镇，今天还可以援救，迟了就来不及了！”但后来终究没有军队能够到达。当时，山简派遣督护王万率军前去救援，在涅阳驻军，结果被王如打败。王如于是在沔水、汉水地区大肆抢掠，进逼襄阳，山简只能围绕城墙进行防守。不久，因严嶷逼迫，只能从襄阳迁徙到夏口驻扎。 山简在夏口时，招纳逃亡流落在外的人，长江、汉水的百姓都前往归附他。 

当时，江州刺史华轶不服从琅玡王司马睿的指令，有人劝山简讨伐他。山简说：“我和彦夏（华轶字）谁旧友，为他感到伤感。我又怎能利用别人而为自己建立讨伐功勋呢？”他就是如此的忠实厚道。当时乐府的伶人躲避灾祸，大多逃往沔水、汉水地区，到了举行宴会的时候，山简的僚佐中有人他命伶人奏乐。山简说：“社稷倾覆，而我无法匡救，是晋的罪人啊，还怎么能奏乐？”因而情绪激昂流下眼泪，在座的人都感到惭愧。 

公元312年（永嘉六年）四月丙寅 （6月6日），山简去世，享年六十岁，被朝廷追赠征南大将军、仪同三司。