荀勖是东汉司空荀爽的曾孙，出身于世家名门。幼年时十分聪慧，十岁时就能做文章。荀勖的堂外祖父曹魏太傅钟繇感叹道：“这孩子将来一定比得上他的曾祖父（指荀爽）。”

荀勖成年后，博学多闻，被大将军曹爽辟为掾属，又迁任中书通事郎。 

正始十年（249年），高平陵事变发生，曹爽被诛杀，门生故吏没有人敢前往吊丧，唯有荀勖前往，于是众人也跟从荀勖。

后来任安阳令，转任骠骑将军从事中郎。荀勖在任安阳令期间，治理有方，人民为他建立了生祠。之后调任廷尉正，又参谋大将军司马昭军事。赐爵关内侯，转任大将军从事中郎，领记室。 

甘露五年（260年），魏帝曹髦不满司马氏专权，想要秘密讨伐司马昭，当时司马昭的掾属孙佑等人守在阊阖门。司马昭之弟安阳侯司马干听说发生兵变，要进阊阖门，孙佑对司马干说：“还没有人进这个门，可以从东掖门进去。”司马干进入后，司马昭责怪他来得太晚，司马干将来迟的原因说明后，司马昭欲将孙佑灭族。荀勖进谏说：“孙佑不让安阳侯进门，确实应深受责备。然而事情总有顺心的不顺心的，用刑轻重不能以喜怒为转移。成倅有罪，刑只及于本人，而孙佑却要全族诛灭，恐怕天下义士们会有所议论的。”于是只免孙佑为庶人。

当时官骑路遗请求作为刺客入蜀行刺（之前的中郎郭修就成功刺杀了蜀汉大将军费祎），荀勖对司马昭说：“明公您以至公之道治理天下，应该举正义之师来讨伐叛贼，用行刺的办法去除贼，这不是以德服远人的道理，也不能为四海之人做榜样。”司马昭认为这个意见很好。 

景元四年（263年），钟会在蜀谋反时，消息并没有得到证实，只是外人传闻，司马昭平素待钟会甚厚，不相信他会谋反。荀勖说：“钟会虽然受了您的恩惠，但此人不能看作是得恩而思义的人，应该早作戒备。”于是司马昭立即出镇长安。主簿郭奕、参军王深认为荀勖是钟会的从外甥，幼年在舅家长大，劝司马师将荀勖贬出去。司马昭不听，并且使荀勖与自己同车陪坐，像原来一样对待他。

此前，荀勖进言道：“伐蜀应该以卫瓘为监军。”及平蜀后发生钟会叛乱，有赖于卫瓘才得以平息。

景元五年（264年），钟会之乱被平定后，荀勖随司马昭回到洛阳，并与裴秀、羊祜共掌机密之事。 

当时将要派使者出使东吴，让诸位文士草拟与孙皓的书信，司马昭选用了荀勖所作之信。孙皓接书后回报说愿意和亲通好，司马昭对荀勖说：“您之前作的那封信使吴国顺服，真是胜过十万大军啊！”

司马昭即位晋王，以荀勖为侍中，封爵安阳子，食邑一千户。

泰始元年（265年），晋武帝司马炎受魏帝曹奂禅让，建立西晋。改封荀勖为济北郡公，但因为羊祜辞让自己的封爵南城郡侯，于是荀勖也跟着辞让，降为济北郡侯。又被拜为中书监，加侍中，领著作事，与贾充等人共同制定律令。 

泰始七年（271年），向来与贾充不和的侍中任恺、河南尹庾纯推荐贾充镇守关中，以抵抗秃发树机能。荀勖对冯紞说：“如果贾公远放外任，我等在朝会失势。现在太子的婚事未定，如果让贾公的女儿成为太子妃，那贾公自然会留在京师任职了。”于是荀勖与冯紞找机会在武帝面前称道：“贾充的女儿才色绝世，如果纳入东宫，必然能扶助未来人君，就像《诗经关雎》所歌颂的后妃之德一样。”于是太子的婚事就这样定下来了。此事甚为当时正直之士所愤恨，讥讽荀勖是奸佞谄媚之徒。

很久之后，进荀勖位为光禄大夫。荀勖曾掌管音乐，他所修订的音律流行于世。当初，荀勖在路上听到赵地商人的牛铃声，识辨其中音律。掌管音乐之后，音调不能协调，对人说：“如果得到赵地的牛铃音调就会协调了。”立即下令让郡国都送牛铃来，果然得到了音调和谐的牛铃，调好了音律。不久，任秘书监，与中书令张华一起按照西汉刘向的《别录》整理古籍。又立书博士，设置博士弟子，教习书法，以钟繇、胡毋敬的为规范。 

咸宁初年，与石苞等并为开国功臣，列入列名受祭的名单。

咸宁五年（279年），王濬上表请求伐吴时，荀勖与贾充坚决谏阻，认为吴国还不可以讨伐，司马炎并没有听从他们的意见，而伐吴果然成功。

太康元年（280年），司马炎论荀勖专管诏命之功，封其一子为亭侯，食邑一千户，并赐荀勖绢千匹。又封其孙荀显为颍阳亭侯。汲郡古墓中的古文竹书被发现后，司马炎下诏让荀勖编撰整理，撰成《中经》（即《中经新簿》），交由秘书监保管。 

当时朝中议论让王公们都到封国就职，武帝以此事问荀勖，荀勖回答说：“诸王公多已任都督之职，若使其回封国，则都督地方之任废弃。按封国治理，必然分割郡县，人心恋眷乡土，必因此而心意不顺。封国都要置军队，官兵还要供封国使用，守边的军队就会不足。”

司马炎让荀勖再作考虑，荀勖又陈述说：“如果按照诏书仿效古代诸侯选拔人才，使军务与政令合一，在封国地域都督军务，那诏书旨意是对的。至于将固定的封疆割裂开，而又亲疏不同，这当然也是好的。然而使旧土割裂，恐怕会发生动荡，必使人心急促生变。我审慎思虑，私下认为还是应依原制不动。若遇到某种情况，不得不转移封地，只要不至于分割土域，损夺封国之利，是可以相宜行事加以节度的。五等封国行于远古，今日实不成制度，只是虚名，事实上和旧时的郡县乡亭的封制无异。若匆忙改变，恐怕将成遗憾。当今先解决大的问题，五等制的问题可以在以后再裁定。凡事虽有经久而更加完善者，但临时有不得不解决的问题，也不可忽视。”武帝认为荀勖的意见允当，因此在很多地方都听从他的意见。 

当时朝中又议论裁减州郡县官吏半数以支援农业生产，荀勖提出意见认为：“省吏不如省官，省官不如省事，省事不如清心。昔日萧何、曹参为汉相，怀清静之心，百姓有‘萧何为法，觏若画一’的歌谣，这是清心之本。汉文帝垂衣拱手而天下大治，几乎不用刑法，这是省事的结果。汉光武帝合并吏员，县官国邑设置官吏才及原来的十分之一，这是省官。魏太和年间，派遣朝廷使者四出，精简天下吏员；正始年间，也曾合并郡县，这是省吏。现在想要寻求根本，就应该以省事为先。处在官位上的人，一定要使他们知道萧何之心，来辅佐国家，大行教化。重义行，崇和睦，使以邪道得宠者不得居官位，则虚伪之行自然消逝，浮华之人会畏惧缩敛。重敬让，尚知足，令贱者不妨害贵者，少者不欺凌长者，疏远者不离间近亲，新识者不离间旧友，小者不加于大者，淫行不破义举，则上下相安，远近之人互相信任了。官位不能以钻营的手段得到，荣誉不能靠朋党吹捧求得，则是非就会弄清，官人不会受迷惑了。去掉奇技，抑制异说，好改变旧规以侥幸获非常之利者必加重刑，则官守其职，民心不会见异思迁了，事存则政繁，政繁则功废。在位的官吏孜孜不倦，守职司者日夜不懈，虽是才智短浅之人，也能尽其职守。上下信任如金石之坚，即使有小过失，也不会妨害国家大政，应该忍耐宽容。简省文牍案卷和细碎繁苛的条文，法令的施行，一定易于人民接受。得益如盼阳春，避罚如畏雷电。不能使细碎条令烦扰百姓，并为百官所轻慢，不能朝令夕改，使百姓厌恶，如此则官吏竭诚尽职，百姓拥护国家法令。分职务而设官，委托政事以求成效。君子竞争向上存于心而不以力相争，估量自己的才能接受职位，谋不出其位，则官无分外之业，政事少有奸诈了。这些都是我所说的省事之本。若无多事之弊，虽不省吏，天下人也认为是省吏了。如果想要省官，我认为九寺之职可合并于尚书，兰台的事应交付三府。然而现行制度已历多代，为世人所习惯，所以很久以来有这种想法而未敢提出。至于省事，还是以求实为善。若只作笼统的规定，都减少一半，恐怕文武众官、郡国职责及事之兴废各不相同。凡发号施令，典则允当者可以使民安，无规律而杂乱者会使政道壅塞。凡到职临事的人都要精察得失。使忠信明察的官长，裁决适中的举措，列条上奏。然后全面斟酌，宜省者省，则令下必行，不可动摇。如不这样，恐怕只是迷惑视听，会造成前面省去，后面恢复，或更加繁杂，这也不能不重视。”荀勖议论政事的损益得失，大多都类似这样。 

太康三年（282年），司马炎下诏道：“荀勖聪明通达，辨识天命所归，有佐命创业之功，兼有博学多识之才。久任内职，功勋卓著，咨询朝政，谋略允当。应登大位，以辅助朝政。现在以荀勖为光禄大夫、仪同三司、开府辟召掾属，守中书监、侍中、济北侯职务封爵不变。”

当时太尉贾充、司徒李胤都相继去世，太子太傅职务又空缺。荀勖于是上表陈说道：“三公和太子太傅之职，应有恰当人选。如果让杨珧为太子太傅，一定符合圣意。尚书令卫瓘、吏部尚书山涛都可担任司徒。如果认为卫瓘新任尚书令不便改任，那山涛就更为合适。”司马炎采纳了这些建议。 

太康四年（283年）秋季，各州郡发生水灾，兖州一带尤其严重。荀勖上奏认为应该设立都水使者。

此后门下启通事令史伊羡、赵咸为宫中舍人，掌管法令条文。司马炎下诏就此事询问荀勖的意见，荀勖说：“当今天下幸赖陛下圣德，使得四海统一，可望大道兴隆，教化和睦，垂训于将来。而门下官员上有程咸、张恽，下有此类人物，想要以繁法苛令治国，这是我不能理解的。汉朝的张释之劝谏汉文帝，认为兽圈啬夫不宜被任用；邴吉停车，阐明调和阴阳之理。此二人难道不知道小吏也可施恩惠，只是更重视朝廷教化的推行。当年魏武帝让中军司（应作中军师）荀攸掌管刑狱，魏明帝时就将这一职务交付内常侍。据臣所知，明帝时只有刘泰所任的通事等官，不过与殿中官是一样的。又论者都说应省官简事，而要求增加管理的人又相继而来。很多人说尚书郎太令史不亲手起草文书，都委托给书令史及干事，真是吏多就互相依赖。增设掌文法的官职，恐怕只能会干扰台阁大臣的工作，损耗他们的精力，臣私下认为是不可行的。” 

司马炎素来明白太子司马衷愚钝懦弱，恐怕以后给国家带来祸乱，于是派荀勖与和峤前往观察情况。荀勖回来后极力赞扬太子有德，而和峤却认为太子还是老样子，于是天下人尊敬和峤而鄙视荀勖。司马炎将要废黜贾南风时，荀勖与冯紞等进谏请求，贾南风才没有被废，当时议论的人都以为荀勖倾覆国家搅乱时局，是孙资、刘放之类的人物。

然而荀勖做事小心谨慎，每有他所参与的诏令大事，就算已经宣布，他也始终不说，不想让别人知道他参与其事。族弟荀良曾劝荀勖说：“您失去众人的信赖，给别人做了好事就应该说出来，那样对您怀德感恩的人就会多了。”他的女婿武统也劝说道：“应为自己的事经营安置一下，以便有人归附拥戴您。”荀勖都沉默不应。回来对儿子们说：“作为人臣不守密则失掉自己的身份，树私党则背公事，是应该深为警戒的，你们也会官路亨通，应当懂得我的用意。”很久之后，以荀勖代理尚书令。 

荀勖长期在中书监之位，专管机密之事。失去此职后，心中怅恨不满。任职时有人前往祝贺，荀勖说：“夺了我禁苑中凤凰池的官署，诸位怎么还来祝贺我！”但在尚书令任上，还是尽职尽责。考试令史以下的官吏，核实其才能高低，那些不熟悉法令条例，不能解决疑难处理事务的人，当即就被遣出。

司马炎曾对荀勖说：“魏武帝说：‘荀文若（荀彧）提拔善者，不提拔起来不休止；荀公达（荀攸）斥逐恶人，不赶走他们不罢休。’两位令君（荀彧和荀攸都担任过尚书令，并受人尊敬，所以称其为“令君”）的美德，希望您兼而有之。”

在职一月多，就因为母亲去世而上缴印绶请求辞职，司马炎不许，派散骑常侍周恢传达旨意，荀勖这才奉诏履行职责。

荀勖久管机密之事，才思敏捷，能揣摩人主心思，不触犯人主之意，所以能始终受到皇帝宠信，保存其爵禄。

太康十年（289年），荀勖去世，下诏追赠其为司徒，赐棺木、朝服一具，钱五十万，布百匹。派遣代理御史持节护丧，谥成侯。荀勖有十个儿子，比较出名的是荀藩、荀组和荀辑。