自小在私塾读书，1902年考中秀才，1904年与朱执信、汪精卫、杜之林、胡毅生同时考赴日本留学，1905年在东京加入中国同盟会，追随孙中山先生参加革命活动。1906年毕业于日本法政大学速成科，升入专门部。1907年毕业归国后，历任广东法政学堂编纂、广东咨议局秘书等职。民国元年(1912年)，广东都督府成立，古应芬任省核计院院长，时琼崖民军叛变，出任琼崖绥靖处总办，平之。次年，“二次革命”起，古应芬与胡汉民、朱执信等起兵响应。中华革命军兴，往来于马来半岛和港澳间，任筹饷联络。1917年后任都督府秘书，随孙中山参加讨袁护法运动。1922年6月，陈炯明在广州发动叛乱，古应芬速归见孙中山于黄埔永丰舰，佐治军书。数月后，去香港筹饷，接济各地讨陈军，是驻港讨陈办事处成员，开展筹款和联络工作，与邓泽如等联合策动滇、桂、粤等联合驱逐陈炯明出广州。1923年2月，受孙中山命，任大本营江门办事处全权主任，组织力量讨伐沈鸿英；3月，任大本营法制局长，继后任元帅府大本营秘书长；8月，随大元帅孙中山东征陈炯明，撰有《孙大元帅东征日记》一卷。1924年9月，任大本营财政部长、广东省财政厅厅长，兼军需总监。民国十四年(1925年)，广东国民政府成立，古应芬当选为国府委员，仍兼任广东省财政厅厅长；8月，任国民政府财政部部长。1926年1月，任中央监委委员。南京国民政府成立后，古应芬任中央常务委员、中央政治会议委员、财政部部长，后任国民政府文官长。1931年胡汉民反蒋，被软禁于南京汤山温泉疗养所，古应芬借医背疾为名，联络广州的陈济棠，广西的李宗仁、白崇禧一起反蒋，4月30日，古应芬、林森等人，以中央4个监察委员的名义，提出《弹劾蒋中正案》，历数蒋的罪状，要求撤职查办，同时策动粤桂军反蒋，任广州国民政府常务委员、广州非常会议组织委员会委员。曾出任国民政府常务委员、财政部长的古应芬，以其名字命名的高等学府——广东省立勷勤大学，即今天的华南师范大学和广东商学院的前身。