1906年出生于湖南省益阳县新市渡高村。早在青少年时代，他就追求真理，具有强烈的反抗精神。

1920年，曾三在益阳县立第二高等小学（即箴言书院）读书时，就因学校收取了学生取暖费而不给烤火，带领全班同学罢课，提出不得使学生挨冻，不得体罚学生的要求，震动了全县教育界。

1922年，曾三考入长沙长郡中学，深受熊亨瀚等进步教师的影响，开始接受马列主义，积极参加进步学生运动。

1924年11月，社会主义青年团在长郡中学成立支部时，他就加入了中国社会主义青年团。在此期间，他和同班同学宋希濂（后任国民党陆军中将）一起创办《雷声》报，抨击时弊，宣传爱国思想。宋希濂去广州后，他将《雷声》报改名《新雷声》报，并当选为社长。

1925年3月，曾三加入中国共产党。“五卅惨案”发生后，他被选为“青沪惨案湖南雪耻会”和“长沙青沪惨案雪耻会”执行委员。他组织同学积极参加罢工、罢课、罢市活动，举行游行示威，查抄日货，声讨日本帝国主义的暴行。7月，受党组织派遣，曾三和夏曦、熊亨瀚等8人组成代表团，到李宗仁的第七军做军队组织工作，随军北伐。1926年春节，曾三回县城，参加了以高文华为首组织的耍“诉苦灯”游行，还为游行活动撰写了“诉苦歌”。 

1927年初，曾三任中共湖南区执委秘书。马日事变发生后，受命潜回益阳隐蔽。

1930年他在武汉找到高文华，与党组织接上了头，并被派往上海中央特科学习无线电通信技术，从事地下无线电工作。经周恩来筹划，他与李强和张沈川等创办无线电训练班。大革命失败后，在国民党白色恐怖的环境下，曾三辗转到汉口。

1931年被派往江西中央革命根据地，担任报务员，实现了中央红军与在上海的党中央的第一次无线电联系。从此，在毛泽东、朱德等的领导下，曾三及其战友开创中国工农红军的无线电通信事业。曾三先后任苏区中央局电台政委、台长，并兼任红军通信学校政委。参加了第二、三、四、五次反“围剿”和红军二万五千里长征。

1936年西安事变后，曾三赴西安，任红军联络处电台台长。

1937年3月回到延安。曾三是中共及红军早期电台的报务员和领导者，为开创中共的无线电通信事业，培养机要人员，做出了重要贡献。抗日战争初期，曾三担任与友军联络的工作。

1938年，赴新疆任西路军“新兵营”政治委员、党委宣传委员、政治处副主任。

1940年3月到西安做秘密情报工作，同年11月返回延安。在延安，曾三先后任中共中央敌区工作委员会秘书处处长、第二室副主任兼政治处主任，中央办公厅机要科政治协理员、中央秘书处处长，并当选为中共“七大”代表和中央直属机关党委副书记。

1946年冬，中共中央机关开始疏散转移。曾三和中央秘书处部分人员带着一大批核心机密档案，东渡黄河到晋绥，于1948年5月到达河北平山西柏坡，历经千辛万苦，胜利的完成了中共中央档案的安全转移任务，为保存宝贵历史资料立下功勋。在西柏坡，曾三参加了中共七届二中全会的记录工作。

新中国建立后，曾三历任中共中央办公厅秘书处处长、秘书局局长、中央办公厅副主任、新中国第一任国家档案局局长、中央档案馆馆长、是第一届全国人大代表和中共“八大”代表 。

1962年起先后担任全国地方志小组组长，中国地方志指导小组组长、名誉会长等职，在坚持马列主任、毛泽东思想为指导，继承民族优秀文化传统，组织编纂全国新的地方志方面做了大量开拓性的工作。

1951年至1961年连续担任中共中央直属机关党委副书记、书记处书记职务，十分重视对干部的培养、教育，关心青年成长，为加强中央机关党的建设和思想政治工作做出了贡献。

“文化大革命”中，曾三遭受迫害，身心受到严重摧残，但他坚贞不渝，与林彪、“四人帮”一伙进行坚决斗争。党的十一届三中全会后，他的冤案得到彻底平反，恢复了原职务，仍任中央办公厅副主任兼中央档案馆馆长。党的十二大当选为中顾委委员，并以特邀代表的身份出席党的十三大。

1990年11月28日曾三因病医治无效在北京逝世，享年85岁。