1923年，常香玉出生在河南省巩义市董沟。

1932年5月，随父亲张福仙搭班开始拜师学艺，拜了翟燕身、葛燕亭、周海水等人为师。初学武丑、小生、须生，后专演花旦。

1933年年初，随父搭太乙新班习演，向王金枝、徐双槐求艺。

1935年11月，三赴郑州，随父再搭周海水太乙班，进开封闯荡。到开封不到两月，便凭借文武不挡、生旦俱佳的出色技艺，崭露头角。由垫戏改为中轴，成为太乙班的主演之一。

1936年，《泗州城》连演3场，轰动开封。从此以后，常香玉正式成为主演。 

1937年2月，常香玉在张福仙、王振南、史书明等的扶持下，成立了中州戏曲研究社。

1938年2月，为宣传抗日，戏曲研究社排演了王振南编剧的新戏《打土地》。

1941年秋，初识崔兰田，并与汤兰香重逢，合作演艺《贩马记》。

1944年6月3日，与陈宪章结为连理，结婚仪式在西安东大街正大豫饭庄秘密举行。

1945年4月28日，正式公开与陈宪章的关系。不久，长女常小玉出生。

1946年7月，次女陈小香出生。

1947年10月，陈宪章被国民党逮捕，常香玉竭力营救，几近倾家荡产。

1948年春，在西安创办“香玉剧校”。6月，儿子陈嘉康出生。 

1951年8月7日，常香玉率剧社开始为捐献“香玉剧社号”战斗机在全国巡回演出。

1952年3月4日，完成捐机任务，回到西安。

1953年4月，随赴朝慰问团到朝鲜进行慰问演出。

1956年3月4日，河南豫剧院成立，常香玉任院长。

1957年1月14日，中国戏剧家协会河南分会成立，常香玉担任副主席。

1959年，党中央第二次郑州会议召开，常香玉为大会演出了豫剧《破洪州》。5月4日，加入中国共产党。

1960年8月14日，当选为中国文联第三届全国委员会委员。

1962年2月2日，河南省文化局举行收徒拜师大会，常香玉收孙兰香、林秀兰等五人为徒，并在大会上发言。

1977年6月，常香玉赴北京参加电影《春天》的拍摄工作。12月27日，调任河南省戏曲学校校长。

1979年，常香玉当选为中国文联第四届全国委员会委员、中国戏剧家协会副主席。 

1980年，在河南省第二次文代会上，常香玉当选为河南省文联第二届委员会副主席、中国戏剧家协会河南分会主席。

1983年6月23日，中共河南省委任命常香玉为省文化厅艺术顾问，不再担任省戏曲学校校长。

1991年5月，在河南省第三次文代会上，常香玉被推举为省文联顾问。12月，河南省剧协第三次代表大会在郑州举行，被推举为名誉主席。

1996年11月，河南省剧协第四次代表大会在郑州召开，常香玉再次被理事会推举为名誉主席。

1997年4月25日，河南省委决定成立振兴豫剧指导委员会，常香玉任委员。12月，收山东菏泽豫剧团演员朱桂芹为徒。

1998年12月，常香玉收开封市豫剧团演员朱巧云为徒。

2004年6月1日，常香玉在河南省人民医院因病逝世，享年82岁。