庾冰早年已受重视，曾受司徒府辟命但不应，后被征为秘书郎。后因参与永嘉五年（311年）讨伐江州刺史华轶的行动而封都乡侯。后来司徒王导请庾冰为司徒左长史，后来出任吴国内史。 

咸和二年（327年），历阳内史苏峻拒绝朝廷征召并起兵进攻建康，引发苏峻之乱。至次年苏峻攻破建康，亦派兵进攻吴国。庾冰不敌，于是弃郡而逃奔会稽。当时苏峻正悬红追缉庾冰，吴国铃下卒则在浙江以船载庾冰，并以竹席覆盖，带他南下会稽。 

王导不久秘密地宣太后诏谕通告三吴吏士，请他们起兵勤王。会稽内史王舒于是以庾冰行奋威将军，领一万兵西渡钱塘江。而虞潭、新任吴国内史蔡谟和前义兴太守顾众等都向应，蔡谟更以庾冰本为吴国内史而让位。苏峻知道三吴的东军起兵后便派张健、管商等人抵抗。庾冰后来与张健相拒，因张健兵多，众将都不敢进击，庾冰则率兵众击败张健，并乘胜西进，兵临建康。当时苏峻已死，温峤等人所领的西军正要进攻领导苏峻余众的苏逸所占据的石头城并救晋成帝，庾冰亦派司马滕含一同进攻，并与诸军成功击破。 

苏峻之乱平定后，庾冰以高功勋而封新吴县侯，但庾冰不受。后庾冰出任振威将军、会稽内史。咸康五年（339年），丞相王导逝世，庾冰入朝任中书监、扬州刺史、都督扬豫兖三州军事、征虏将军、假节。当时庾冰受到朝野寄予厚望，庾冰上任后亦不分日夜处理政事，而且提拔后进，敬重当朝贤士，时人都他为贤相。及后庾冰又整理户籍，查出万多名本记录的人，充实人口，增加军资供应。 

咸康八年（342年），晋成帝病重。当时年仅十八岁的晋成帝已有司马丕和司马奕两名皇子，但仍是婴儿，庾冰自以为庾氏兄弟掌权已久，怕成帝之子继位后会因与皇帝血缘变疏而被离间，失去权力。于是常常向成帝说东晋仍有强大外族政权，应该立年长的君主，并建议由成帝弟琅邪王司马岳继位。成帝最终答允。及后庾冰与中书令何充、武陵王司马晞、会稽王司马昱和尚书令诸葛恢被任命为顾命大臣辅政，庾冰进号左将军。同年成帝逝世，司马岳（晋康帝）继位，庾冰进车骑将军。庾冰以权力正盛而感到惧怕，于是多次请求出镇。

至建元元年（343年），庾冰的弟弟安西将军庾翼有北伐志向，更联结前燕和前凉，意图分别进攻后赵和成汉，并且请转镇襄阳，预备攻打后赵。庾冰于是以车骑将军都督江荆宁益梁交广七州豫州之四郡军事、领江州刺史、假节镇武昌，作为庾翼后援。 

建元二年（344年），晋康帝驾崩。太子司马聃继位，即晋穆帝，并由母亲褚蒜子以皇太后身份临朝。禇太后同时征召庾冰入朝辅政，庾冰则因病而辞让。同年十一月庚辰日（12月29日），庾冰逝世，享年四十九岁。册赠侍中、司空，谥忠成。获祠以太牢之礼。