1919年5月，震惊全国的五四运动爆发了，僻居皖东南一隅的宣城，学生们对何为第一次世界大战，何为巴黎分赃会议，以及五四运动的缘起等，似乎都茫然无知。幸因亦设在宣城的省立第四师范学校校长章伯钧思想开明，他请恽代英上大课讲一战和五四形势，并欢迎同城的省立八中和省立蚕桑所的同学们旁听。恽代英深入浅出的演讲，使得胡允恭懂得了巴黎和会实际上是列强重新分割殖民地，导致中国“不败而败”的会议，中国反帝反封建任重而道远。胡允恭从恽代英宿舍读到他正在翻译中的《阶级争斗》，并把布哈林的《唯物史观》毛笔工楷抄了一遍，又接触了陈独秀主编的《新青年》。这是胡允恭接受马列主义启蒙教育之始。胡允恭还和宣城的进步师生一起上街游行，查禁日货。他后来回忆说，如果没有五四运动，他将“安心读书，准备一生从事栽桑养蚕工作”。

不久，蚕桑所停办。胡允恭依靠本家胡建侯、胡歧山寄自上海每月8元钱的资助，在芜湖补习功课并于1920年秋考入安徽省立第二甲种农业学校。在芜湖，他和寿县、合肥籍的同学曹渊、李坦、陶久仿、徐梦秋等都加入了安徽学生联合会。1921年，芜湖、合肥等地的学生齐聚省城安庆，掀起反对军阀、求民主的斗争。马联甲狗急跳墙，竟下令向手无寸铁的学生游行队伍开枪，酿成“六?二”惨案，合肥籍学生周肇基和英山（今属湖北）籍学生姜高琦因伤重在医院不治身亡。血的现实，教育了原先还想安坐书斋指望科学救国的许继慎、胡允恭、曹渊等，他们在考虑新的出路。胡允恭则先期来到上海，在阜丰面粉厂做家庭教师，他觉得这样可以接近劳苦大众。不久，他考入上海大学。