问渔少时家贫，但读书刻苦，16岁即考中秀才，19岁，考进省立师范学堂（后改为江苏两级师范），两年后，进本校优级师范学师范博物科；毕业时名列第一，被留校任教。

辛亥革命成功后，任南京政府实业部科员，当时海州正酝酿分治，他积极参与，为灌云建县作了很大努力。不久，随南京政府迁往北京，任工商部职员。后考入北京大学，毕业后，在北京几所大学及中学教书，兼做《申报》记者。在北京期间，他著作《伦理学概论》及《中国先哲人性论》两书，出版后震动学术界。民国15年（1926），由黄伯雨、黄炎培两人推荐，任江苏教育厅长；民国16年秋，应冯玉祥邀请，任河南省政府委员兼教育厅长。民国17年，受黄炎培电约，辞去厅长职务，到上海担任中华职业教育社办事主任，并在中央大学兼课，主讲职业教育课题。自此，江问渔数十年如一日，为中国的职业教育的生存和发展付出了大量心血。

“七七”事变后，他率中华职业教育社成员迁往重庆，并以无党派名流身份，被蒋介石成立的参政会纳为参政员。时山东省主席韩复榘，对抗战态度暧昧。江问渔与黄炎培为谋求韩能站到抗日民族统一战线方面来，冒着敌机轰炸危险，赴济南做韩的工作，结果韩表示：“不投降，不拼命”。他们大为不满。民国36年，蒋介石当选总统后，曾要江问渔任教育部次长，被他毅然拒绝。

1949年5月23日上海解放，江问渔率先欢迎解放军，并发表了讲话，陈毅很为赞许。接着，担任中国人民政治协商委员会第一届、第二届委员，国务院文化教育委员会委员，上海市人民委员会委员，兼任中华职业学校校长。

1961年2月，江问渔不幸病逝，上海市成立冶丧委员会，当时陈毅虽已离沪，但仍为治丧委员之一。追悼会由黄炎培先生致悼词，对江问渔的一生给予了高度评价。