潘安出身儒学世家。少年时，随父宦游河南、山东、河北，青年时期就读洛阳太学，二十余岁入仕，供职权臣贾充幕府，后历任京官，因作赋颂扬晋武帝躬耕藉田显露才华被当权者左迁河阳县令（今洛阳吉利区），潘岳负其才而郁郁不得志 。

当时任尚书仆射山涛、领吏部王济、裴楷等受宠，潘岳很憎恨他们，于是在宫殿大门柱子上写下歌谣：“阁道东，有大牛。王济鞅，裴楷鞧

，和峤刺促不得休。”又被左迁离洛阳更远的怀县做县令。潘岳做得有声有色、政绩斐然，朝廷提拔他到京城做财政部官员，后来因为犯事被免职，不久被太傅杨骏引入门下做了太傅主簿。

后来太傅杨骏被害夷三族，潘安作为幕僚也在被诛之列，幸亏当时他公事在外又有当权者、楚王的心腹、他的好友公孙弘替他说话（潘岳曾在他贫困潦倒时帮助过他），他被调往长安做县令，因为母亲生病辞官奉养，在此期间与好友石崇附会贾充外孙贾谧，之后升迁做了黄门侍郎，贾谧开阁延宾，召集天下文士潘安、石崇、陆机、左思、刘琨等二十四人，因文采盖世被称为“鲁公二十四友”。他们经常活跃在巨富石崇的金谷园里，因此也被称为“金谷二十四友”。贾谧“晋书断限”的功劳是潘安出的主意，潘安的母亲经常劝他不要趋附不已，他虽然口头受教，实际上却愈发不知足，始终改不掉。

之后赵王司马伦囚禁晋惠帝自立为帝，他的亲信孙秀当上了宰相。原来当初孙秀不过是个下人小吏，潘岳的父亲曾经做过他的上司，当时潘岳因为看不惯孙秀为人狡黠经常鞭挞他，如今孙秀得势遂罗织罪名说他和石崇要和某王爷一起造反，于是他和石崇等人被诛灭三族，当初孙秀当上宰相，潘岳在朝堂上遇见他，问道：“孙令犹忆畴昔周旋不”（孙令还记得当初吗）孙秀回答：“中心藏之，何日忘之！”潘岳于是自知不免。当初被收押，石崇和他都不知道对方也在其中，石崇已经送往刑场，潘岳后至，石崇对他说：“安仁，怎么你也来了！”潘岳回答道：“可谓白首同所归。”潘岳《金谷诗》云：“投分寄石友，白首同所归。”本意是说两人关系很铁，老了还在一起玩，谁知到竟然成了他们死亡的预言。潘岳的母亲及兄侍御史潘释、弟燕令潘豹、司徒掾潘据、潘诜，兄弟之子，已经出门的闺女，无长幼一时被害，唯潘释的儿子潘伯武逃难得免。而潘豹的闺女与其母相抱号呼不可解，于是被赦免。