1924年19岁的许端云考入益文学校（1929年改名益文商专，即烟台二中前身 ），开始走上革命的道路。。1927年冬加入中国共产党后，积极从事党的地下工作，经常深入工人、市民和学生中，以拉家常、谈生活等形式宣传共产党的主张，秘密发展党员。

1930年1月，他到烟台远东商行、泗兴印务公司、华昌印书馆等单位，领导工人举行罢工，迫使资本家答应工人提出的增加工资、改善生活待遇的条件。是年3月，受命担任中共烟台临时市委书记，后改任中共烟台市委执行委员。他受党组织委派，至烟台私立养正小学，以教学为掩护向学生宣传马列主义和救国救民的道理，发动学生进行反对学校当局对学生实行奴化教育的罢课斗争。成功地领导了烟台地下党发动的第一次学生罢课斗争——养正学潮。后因反动校长袁子久的陷害而被迫辞职，专事党的工作。许端云的革命活动，早就引起敌人注意，国民党南京政府密令严办。