岳森年少即胸怀大志，师从国学泰斗王闿运（湘绮），与杨度同门。光绪二十九年(1903)入湖南省兵目学堂。次年与黄兴秘密发动反清，事败，避难武冈。一年后仍回兵目学堂，时蔡锷从日本毕业回湘，在兵目学堂任教官。是年岳森毕业后，即与十一位有志革命青年跟随蔡锷一道去广西，争取掌握兵权反清。

光绪三十一年（1905）经蔡锷挑选，即与同学谭道源、雷飚等20余人随蔡锷赴桂，光绪三十三年(1907)，岳森任广西龙州通讯教导团教官时，黄兴化名张愚诚来访，岳森把所测绘镇南关(今睦南关)、水口关等险要地形全告黄兴。使黄兴轻取镇南关。

宣统元年(1909)年任广西讲武堂教官。黄浦军校一期学生结业之际，岳森被聘为黄浦一期毕业生毕业演习总评判长。

民国2年(1913)在南京声讨袁世凯失败，亡命日本，三个月后回国，任南京第八师参谋处处长。

民国4年(1915)回邵策动在乡军人和会党中人，响应护国之役。次年5月，桂军北伐讨袁，派两个师进驻邵阳，知县陈仰山逃走，邵阳陷于混乱，众推岳森为邵阳县知县，经多方周旋，桂军撤走，邵阳始安。

民国12年(1923)，岳森为谭延闽策划援湘，进军长沙时，陈炯明攻广州，广州危急，谭奉令回师援粤，使广州危而复安，岳森以解危广州有功，升任建国湘军参谋长，对整顿部队腐化生活，解决兵源粮饷，有所建树。

民国14年(1925)3月，参加汕头会议，决定赶走广东境内的军阀。会后，岳森到北江督师，圆满完成任务。7月，广州的大元帅府改组为国民政府，苏联的罗茄觉夫和岳森分任军委会参谋团正、副主任，掌管军政、军令事。8月20日，廖仲恺在广州被国民党右派暗杀，广州国民政府组织审理廖案特别法庭，由朱培德任检察委员长，岳森、陈公博、周恩来、吴铁城等九人任检察委员。 

民国15年(1926)岳森当选为国民党全国代表大会代表。是年，建国湘军改为国民革命军第二军，党团改为特别党部，岳森任第二军幕僚长兼执委会主任委员，和萧劲光、李富春、方维夏、李六如等推行军队党代表制，从事政治训练。年底蒋介石命岳森率领第二军从蒋，因未服从而被扣留36小时。

民国16年(1927)，第二军改编为两个军后，岳森被任命为三十九师师长。

民国17年(1928年2月)任第14军49师师长，部队调驻沅陵，肃匪禁毒，百姓称快。

民国18年(1929)，国民党部队改编，岳森任五十师副师长，开赴江西“剿共”。

民国21年(1932)任第50师师长。

民国24年(1935)4月10日，授国民革命军中将衔。

民国25年(1936)任第二十二军副军长。

民国26年(1937)参加抗日，27年(1938)4月，鲁南抗战，岳森率领50师加入孙连仲的鲁南兵团席列，归前敌总指挥汤恩伯指挥。汤恩伯命岳森师进驻徐州东北禹王山、邳县一线。当时日军大举南犯，50师缺乏重武器，炮兵也少得可怜，主线处于挨打的地位，只有坚守阵地，待敌人迫近予以还击。一连激战三昼夜，将士们都蹲在战壕里，没有阖过眼。岳森部伤亡甚多，粮弹告急，而后援不继，情况异常严重。岳森向孙连仲求援，孙连仲很圆滑地说“打就有办法”，至于怎么打，他就不管了。50师副师长彭璋到汤恩伯总部去请示，只听见汤恩伯在打电话给第4师师长陈大庆，说是今晚1时向蒙城方向转移，要陈大庆紧随他走。果然，陈大庆部于夜半悄然撤走，全线立即形成一个大缺口，连总部也不知去向。拂晓前，徐州已大火熊熊，孙连仲总部电话联系不通。日军飞机、坦克配合大批步骑兵迅速包围，岳森率残部溃向皖北。此后。22军被撤，50师番号落于蒋嫡系之手，后被编入孙立人将军的新一军赴印度作战。

民国27(1938)年后任军事参议院中将参议，张治中主湘时，岳森被调任湖南第六区（邵阳）行政专员兼警备司令，担负邵阳战时治安。

民国28年(1939)7月，徐特立、邓晏如在邵阳遇险，赖岳森搭救，暗地送走。1942年离职。抗日战争胜利后，岳森在邵阳创办松坡图书馆，扶植精忠小学。1949年8月和平起义。

解放后，任湖南省政治协商委员会常委，湖南省军政委员会顾问。1957年6月8日于家乡病故。