羊琇出身于当时的名门望族“泰山羊氏”，是后来的景献皇后羊徽瑜的从父弟。其父羊耽，官至太常；母为卫尉辛毗之女辛宪英。羊琇的兄长羊瑾，官至尚书右仆射；他的从兄是西晋名将羊祜。

羊琇在少年时便被泰山郡举为上计吏。后来，镇西将军钟会召时任郎中的羊琇为参军事，辛宪英听闻后忧虑地说：“之前我见钟会出兵，虽然忧虑，但也只是为国而忧罢了。今日祸难将会牵涉到我的家族，而且也是国家的大事，我实在不得不阻止了。”羊琇便向司马昭极力请辞，但司马昭没有同意。辛宪英无奈之下只好对羊琇说：“此事必须实行了，你要留心！古时的君子，在家则奉孝于双亲，出外则为守节于国家，担任职务时要慎思你的责任，面对义理时则要慎思你的立场，不要让父母为你感到忧虑。军旅之间，最能令你顺利的，只有仁恕的态度而已！你必须要谨慎留意啊！”公元263年（景元四年），钟会、邓艾等率军伐蜀，羊琇随军出征。等到灭蜀后钟会发动叛乱，羊琇直言苦谏，得以保全自身。不久后，监军卫瓘等平息钟会叛乱，羊琇得以返回洛阳，因之前曾直言劝谏钟会而被封为关内侯。 

羊琇研究学问而有智谋，年轻时与司马炎同门，二人关系亲密，在接筵同坐的时候，羊琇曾经对司马炎说：“如果你富贵受到重用，我任中领军、中护军各十年。”司马炎和他开玩笑，同意了他的话。 当初，司马昭并未立司马炎为世子，而羊琇帮司马炎密谋画策，助其取得储位。 

司马炎任抚军将军后，任命羊琇为抚军参军。即王位后提拔羊琇为左卫将军，封甘露亭侯。西晋建立后，羊琇经屡次升迁任中护军，加散骑常侍，典禁兵，参预机密，在职十三年，受到武帝宠待。 

羊琇性格奢侈放恣，名闻京师。后遭司隶校尉刘毅弹劾，应被处以重刑，武帝因为羊琇与自己的交情，只是将他免官而已。又以列侯及白衣身份兼领护军。不久后，被复职。 

公元282年（太康三年），齐王司马攸遭构陷、被武帝派遣出镇青州，羊琇恳切劝谏违反武帝旨意，又因得知构陷齐王出镇的人是杨珧等，便与北军中候成粲谋杀杨珧，因而被诬陷降职为太仆。羊琇因为失宠而感到愤怨，于是发病，以病重为由请求逊位。被授职特进，加职散骑常侍，回府后便去世。武帝亲自下诏哀悼，追赠他为辅国大将军、开府仪同三司，并赐东园秘器，朝服一件，钱三十万，布百匹。谥号威。