清光绪三十三年（1907）夏，和同学张德枢一起到太原当兵，不久被委任为山西新军协统司令部司书。次年用匿名传单揭发军中黑幕，被查获入狱，在狱中加入中国同盟会。经其父托人营救，被保释回家。宣统元年（1909）夏，史再次赴太原，考入太原陆军学堂，结识了续范亭等许多进步青年和革命志士。

1911年10月武昌起义爆发，山西新军起事响应。陆校学生被编成游击营，史任营长，参加了攻克大同府之役。后应李岐山之邀，到晋南革命军第一混成旅任第一团团长。因不服阎锡山的强行编并，离队回陕，投奔陕西革命军陈树藩部。1913年经陈推荐，保送赴日，在孙中山创立的浩然军事学社学习，结识了广东的陈铭枢、江西的李明扬、四川的吕超和陕西的胡景翼等著名人物，决心为国为民干一番事业。1914年，他第一批加入孙中山在日本组织的中华革命党。不久又和胡景翼奉孙中山之命回国，到太原与续西峰等筹划革命。后因被阎锡山通缉，避居华山下的共学园。1916年，陈树藩任陕西督军，创办成德中学，史被聘为该校事务

主任，积极支持屈武等人领导的进步学生运动。

1918年初，张义安等在三原起义，树陕西靖国军旗，曹世英、胡景翼分别被推为左、右翼军总司令，讨伐陕西督军陈树藩。史在右翼军指挥部任副官。8月，靖国军成立总司令部，于右任就任总司令，全军整编为六路，史任第四路司令部副官。1921年秋冬，靖国军第四路被陕督冯玉祥改编为陕西陆军暂编第一师，史任该师第一混成旅副官长兼骑兵营营长。1924年10月，参与冯玉祥等发动的“北京政变”。因负责紫禁城的警戒有功，被提升为国民军第二军补充第三团团长。他曾主动会见李大钊，并响应中共号召，联合邓宝珊等通电全国，欢迎孙中山北上。

12月，国民军第二军军长、河南督军胡景翼率部赴开封就职，任命史为郑州警?司令。在他的支持下，努力恢复“二七”惨案被破坏了的京汉铁路总工会。到1925年春，陇海铁路、道清铁路、焦作煤矿、六河沟煤矿以及郑州纱厂等工会组织先后建立并得到发展。在此期间，在豫西讨伐直系残余憨玉琨的作战中，史指挥有方，屡挫敌锋，被提升为第二师第三旅旅长。“胡憨战争”结束后，史部移驻新乡整训。在中共豫陕区执委会书记王若飞的帮助下，整训增加了政治教育和文化教育内容，设立了学习时事和进行文化娱乐活动的俱乐部，使部队的面貌发生了很大变化。12月，史部进驻天津，和邓宝珊发表联合声明，主张改组皖系军阀段祺瑞的北京“临时执政府”，成立国民政府，容纳各界人士，联合进步力量，彻底消灭军阀，打倒帝国主义。

1926年春调驻开封，史再度会见王若飞，感触尤深地对王说，军阀连年混战，民不堪命，看来救国救民的重任，国民党和国民军都无能为力，唯一的希望只能落在共产党肩上。5月，王若飞按照史的意愿，和陈家珍介绍他加入中国共产党。同年8月，史赴苏联考察，行至上乌丁斯克时，接到中共要他回国参加北伐的通知，便同冯玉祥等一起回国。9月17日，在绥远参加冯玉祥的五原誓师，担任国民军联军总司令部警卫师师长和国民党联军特别党部监察委员。11月下旬解西安城围，史率所部到达三原，任渭北清乡司令。在农民自卫军的配合下，警卫师一举围歼镇嵩军残部，使动荡的社会秩序趋于安定。接着，他创办农民运动讲习所，自任所长，培养了一批农运骨干力量；给农民自卫军充实骨干分子，发放枪支弹药，壮大农民自卫队伍；还积极协助筹建国民军联军驻陕总司令部。驻陕总司令部成立后，史为政治保卫部部长兼卫队师师长，不久卫队师改为联军驻陕独立第一师，史仍任师长。所部成为陕西人民革命运动的支柱之一。

1927年春，国民军联军驻陕总司令部决定筹办西安中山军事学校，史被任命为校长。军校的500余名学员是从联军中抽调的下级军官和招收的进步青年，其中有不少共产党员和共青团员；所开课程除军事外，还有社会科学概论、帝国主义侵华史、土地问题、农民运动、军队的政治工作等，时有“西北黄埔”之称。

4月初，武汉国民政府将国民军联军改编为国民革命军第二集团军。16日，西安各界六万余人集会，拥护国民军联军东出潼关、会师中原。史与联军政治部副部长刘伯坚代表联军讲话，对广大民众的要求表示支持。期间，他还对想按兵不动的南路军总指挥岳维峻等人做说服工作，促其按计划开赴前线。5月5日，西安军民十万余人集会声讨蒋介石“四一二”反革命政变罪行，史任大会总指挥。5月16日，史在西安主持李大钊追悼大会，揭露帝国主义和新老军阀相互勾结镇压革命的罪行，赞颂李大钊的革命功勋和他为国为民壮烈牺牲的革命精神，号召人民将国民革命进行到底。