嵇绍的父亲嵇康，因得罪掌权的司马氏集团，而在嵇绍十岁时遇害，嵇绍奉养母亲孝顺慎重。因为父亲获罪，静居在家中。山涛掌管选举事时，奏请晋武帝说：“《康诰》上说‘父子罪不相及。’嵇绍的贤能可以和郤缺相比，应当加以任命，请让他任秘书郎。”晋武帝对山涛说：“像您所说的，他能胜任秘书丞，何况秘书郎。”于是下诏征召嵇绍入朝为秘书丞。 

多次升迁后为汝阴太守，尚书左仆射裴頠很器重他，常说：“如果让嵇延祖任吏部尚书，可使天下的人才不会再有遗漏。”沛国人戴晞年轻有才气，同嵇绍之侄嵇含交好，当时人们相信他将来必有大用，嵇绍却认为他一定不会成大器。戴晞后来任司州主簿，因为行为不端被驱逐，乡里都说嵇绍有知人之明。 

后转任豫章内史，因母亲去世，未到任。丧服期满后，拜徐州刺史。当时石崇监徐州诸军事，性格尽管骄横暴戾，但嵇绍以道义劝说，石崇对他甚为亲近敬重。后来嵇绍因为长子去世而离职。 

元康初年，任给事黄门侍郎。当时侍中贾谧凭借外戚的身份，年纪轻轻就身居

高位，潘岳、杜斌等人都依附他。贾谧请求与嵇绍交好，嵇绍拒绝不理。等到贾谧被诛杀，因为嵇绍不亲附恶人，受封弋阳子，又升为散骑常侍，兼任国子博士。 

永康元年（300年），太尉陈准去世，太常奏请加给谥号，嵇绍反驳说：“谥号是用来流传后世、永不磨灭的的，大德之人应当授予大名，微德之人就应授予微名，’文、武‘这些谥号，显扬死者的功德，’灵、厉‘这些谥号，标志着死者的糊涂昏昧。由于近来掌礼治之官怀抱私情，谥法便不依据原则。加给陈准的谥号过誉，应该加谥号为’缪‘。”此事虽然没有听从嵇绍的意见，但是朝臣都甚为惧怕他。 

永康二年（301年），赵王司马伦篡位，以嵇绍为侍中。同年，晋惠帝重新继位，嵇绍仍然任侍中。当时，众人建议追复已遇害的张华的官爵，嵇绍认为张华不能坚持正道，认为不应该追复他的官爵。又上疏希望惠帝及当权者吸取教训。 

永宁二年（302年），齐王司马冏在辅政后，大肆建造自己的宅第，骄纵日益加深，嵇绍为此劝谏司马冏，司马冏虽然谦逊恭顺的回报嵇绍，但就是不能听从他的意见。 

一次，司马冏与董艾等人中宫中闲聊，畅谈国家大事。嵇绍穿着朝服求见，董艾就对司马冏说：“嵇侍中善丝竹，您可以让他弹琴。”司马冏也正有此意，就命人抬琴进来请嵇绍演奏。嵇绍不愿意，司马冏就说：“今天大家都挺高兴，您又何必如此扫兴呢？”嵇绍庄重是回答：“您匡复社稷，更应讲究礼仪，端正秩序。我今天穿着整整齐的礼服前来见您，您怎能让我做些乐工的事呢？如果，我身着便服，参回私人宴会，那倒不敢推辞了。”司马冏和董艾等人听了此话后，都很惭愧。 

不久，因公事被免职，司马冏以其为左司马。没几天，司马冏被长沙王司马乂诛杀。之前，在双方交兵时，嵇绍前往宫中，有人持弩在东阁守卫，看到嵇绍，要拿箭射他，正好有一位殿中统兵的将领萧隆，看到嵇绍姿貌不凡，怀疑他不是一般人，于是上前夺下箭，嵇绍才得以幸免。于是返回在荥阳的旧宅。 

太安二年（303年），嵇绍被征召为御史中丞，未拜受，又任侍中。河间王司马颙、成都王司马颖起兵直驱京都，借以讨伐司马乂，惠帝的车驾驻扎城东。司马乂向属众说：“今日西征，希望谁作都督呢？”军中将士都说：“希望嵇侍中尽力在前面引导，我们虽死犹生。”于是以嵇绍为使持节、平西将军。 

永兴元年（304年），司马乂被俘，嵇绍重任侍中。公王以下的官员都到邺城向司马颖谢罪，嵇绍等人均被罢官，免为平民。 

不久朝廷北征，重征嵇绍为侍中，恢复了他的爵位。嵇绍因天子流亡在外，接奉诏书驰往行驾住处。恰逢朝廷的军队在荡阴战败，晋惠帝脸部受伤，中三箭，百官及侍卫人员都纷纷溃逃，只有嵇绍庄重地端正冠带，挺身保卫天子，司马颖的军士把嵇绍按在马车前的直木上。晋惠帝说：“这是忠臣，不要杀他！”军士回答道：“奉皇太弟（司马颖）的命令，只是不伤害陛下一人而已！”于是杀害嵇绍，血溅到惠帝的衣服上，惠帝为他的死哀痛悲叹。等到战事平息，侍从要浣洗御衣，晋惠帝说：“这是嵇侍中的血，不要洗去。” 

等到张方逼迫惠帝迁往长安时，河间王司马颙上表请求赠嵇绍司空，进爵为弋阳公。正值惠帝还洛阳，于是此事未行。 

光熙元年（306年），东海王司马越出屯许，路经荥阳，经过嵇绍墓时，哭得非常悲伤，为其刊石立碑，又上表请赠官爵。怀帝于是遣使赠嵇绍侍中、光禄大夫，加金章紫绶，进爵为弋阳侯，赐一顷墓田，以十户人家守护，以少牢礼仪祭祀。 

永嘉六年（312年），晋元帝司马睿为左丞相，秉承旨意，认为嵇绍死节之事重大，但赠礼没有表彰他的功勋，于是表赠太尉，以太牢礼仪祭祀。 

太兴元年（318年），司马睿即皇帝位，赐嵇绍谥号忠穆，再次以太牢礼祭祀。