傅玄的祖父傅燮，曾任东汉汉阳太守。父亲傅干，是曹魏的扶风太守。傅玄少时孤苦贫寒，但博学多识，文采出众，通晓乐律。他的性格刚强正直，不能容忍别人的短处。

傅玄最初在郡里任计吏，两次被推举为孝廉及太尉府的征召，他都不就任。后被州里举为秀才，任郎中，与东海人缪施都因当时美名被选拔为著作郎，奉命撰集《魏书》。 

傅玄后来参安东、卫将军军事。转任温县令，又升任弘农太守，领典农校尉。任内颇为称职，多次上书陈说治国之策，都时事多有匡正。

公元264年（咸熙元年），五等制建立后，傅玄受封为鹑觚男。同年，司马炎继位晋王，以其为散骑常侍。

公元265年（泰始元年），司马炎受禅，建立西晋。进封傅玄为鹑觚子，又加官驸马都尉。 

司马炎刚即位时，广纳直言，傅玄与散骑常侍皇甫陶共同掌管谏官之职。傅玄于是上疏请求推荐贤才，司马炎同意，并让傅玄草拟诏书献上。傅玄上疏认为：应该撤除闲散无用的职位，并建议统一规划天下若干人分别为士人、农民、工人、商人。尊崇儒道崇尚学术，以农业为贵，以商业为贱。又提起先前皇甫陶建议任命散官都要经考核事的上奏，认为应该制定相应的制度，考核天下官员，缩短居官时间久，以鼓励他们建立良好的教化，争着做一些政绩。还认为应该将恢复儒学看做当务之急。书上奏后，武帝下诏褒赏。不久，傅玄升任侍中。

最初，是傅玄推荐皇甫陶的，但等到入朝后两人就有抵触，傅玄因政事与皇甫陶争执，被有关部门弹劾，两人都因而获罪免官。 

公元268年（泰始四年），傅玄被任命为御史中丞。当时州郡多有水涝旱灾，傅玄又上疏陈述应做的五事：

应该在用牛问题上以雇佣士兵用官府的牛给予利润十分之四，用私人的牛则与官府平分。

应该重申汉代对于开垦农田不务实，验证后便诛杀二千石俸禄官员的旧典，以警戒天下郡县，都用死刑督促他们。

应该重新选用河堤谒者，并将其分为五部，使他们各自精通分掌的职事。

应该询问河堤谒者石恢关于水利和农田方面的得失，会对现今的田税制度有所补益。

应该在高平川再设一郡，让安定西州都尉征募乐意迁徙的百姓，以大量免除徭役之数来补充，这样来打通北行的道路，渐渐充实边境，以防羌胡屡次反叛。又建议将这安定和武威二郡归秦州刺史胡烈统管。 

武帝下诏回报说：“得到你所陈奏的应办之事，谈到农事的得失和水利官员的兴废，以及安定边境抗御胡夷政事宽严的事，你的陈述周详完备，一应俱全，这的确是治国的根本大事，当今的迫切任务。你的论述都很正确，朕深知你忠心王室，你要更广泛地思考应做的事，并把情况告诉朕。” 

公元269年（泰始五年），傅玄任太仆。当时连年五谷不登，西羌胡人骚扰边境，武帝下诏让公卿讨论这些事。傅玄应答武帝所问，陈述事理恳切率直，他的建议虽然没有全部施行，但时常得到宽容。后转任司隶校尉。

公元278年（咸宁四年），景献皇后羊徽瑜驾崩，在弘训宫设立祭丧的位置。按旧制，司隶校尉上朝时应该在端门外面独坐一席。而进入殿内，便按司隶校尉的官秩在众卿之下，按次序就坐，与人同坐一席。而谒者认为弘训宫是在殿内，于是把傅玄的位置设在卿位之下。傅玄大怒，大声呵叱谒者。谒者假称是尚书安排的，傅玄又面对百官大骂尚书并离席。御史中丞庾纯劾奏傅玄大不敬，傅玄自己的上表又不合事实，因而坐罪免官。

傅玄天性严峻急躁，碰上事情不能有所宽容；每次有奏疏检举，有时候时间已经很晚，他便手捧奏章，整饬自己的冠带，焦躁不安地不睡，坐着等天亮。于是那些王公贵族都对他感到畏惧屈服，使得台阁之间风气清廉。不久，傅玄在家中去世，享年六十二岁，朝廷赐谥号为刚。 

后来被追封为清泉侯，其子傅咸世袭爵位。