胡威又名胡貔，是寿春人。早年就自勉立志向上。父亲胡质，曹魏荆州刺史。一次，胡质的手下都督在胡威看望胡质完告辞出发之前，请假回家，暗暗准备行装盘缠在百余里外等候，约胡威作伴同行，经常资助胡威。同行数百里，胡威生疑，有意诱问原因，终于明白了用意，便取出父亲赠的绢给都督，申谢送别。后来托他人带信告诉了胡质，胡质打了都督一百杖，革除了官职。他们父子廉洁慎重竟如此。于是名誉广为人知。 

胡威后来任侍御史，任封南乡侯、安丰太守，升迁为徐州刺史。勤于研究施政方法，教化之风盛行一世。 

他后来入朝，武帝谈到从前的事，因而赞叹他父亲廉洁，询问胡威说：“你和你父亲谁更廉洁？”胡威答道：“臣不如父。”武帝说：“你父亲为什么胜于你？”答：“臣父廉洁恐怕人们知道，臣却惟恐人们不知，所以臣差得很远。”武帝认为胡威的话坦率而又委婉，谦虚而又顺理。 

胡威后来接连升迁任监豫州诸军事、右将军、豫州刺史，又入朝任尚书，加奉车都尉。胡威曾向武帝谏言指出时政过于宽松，武帝说：“尚书郎以下的官，犯了错误朕没有原谅的。”胡威说：“臣所说的宽松，哪里是指对丞郎令史等官，臣是说对与臣同等的一批官也要严格，才可以严肃教化晓谕法制。”又被授任为前将军、监青州刺史，因功封平春侯。 

公元280年（太康元年）十月，胡威逝世，朝廷追赠使持节、都督青州诸军事、镇东将军，其余官职如旧，谥号烈。