谭平山，原名彦祥、鸣谦，别号聘三。1886年9月1日出生于广东高明县新元村一个贫寒的缝纫匠的家庭里。他的父亲谭恢世，原是高要县大乐棠村人，幼年逃荒到高明县为一寡妇收养为子，并替人当伙计，又做货郎，走村串巷摆卖绒线，后来在明城南街开设和生小布店，除了卖些绒线外，也代人裁缝衣服。母亲李氏在家里为人缝补衣服，增加经济收入。

谭平山有兄弟姐妹五人，兄谭干祥，平山排行第二，三妹谭喜，四妹谭竹山，五弟谭君牧。他的父亲为了改变其下层社会的地位，让谭平山上学堂念书，争取功名，光宗耀祖。但父亲病逝后，由于家庭生活困难，平山被迫停学。到明城教了几年私塾，弥补家庭经济不足。他一边教书，一边坚持学习。后来，其兄为了成全他的学业，曾以店中及家中一些财产作典押，向族人借了不少银两，供平山读书之用。

谭平山在兄长的支持下，继续读书。他为人聪慧，勤勉好学，记忆力强，成绩常列前茅。他读完广肇罗实中学后，又以优异的学习成绩考上当时广州有名的两广优级师范本科学习，成了这所学校的工读生。

在广州读书期间，谭平山深受孙中山先生革命思想的影响，懂得了不少革命道理，仇恨封建社会制度。他四年学习结业后，到雷州中学担任数学教员，后又担任校长之职。此间，他参加过同盟会，以后又加入国民党，曾当选为广东省参议会代议士(即议员)。