杨彪出身于著名的弘农杨氏，曾祖父杨震、祖父杨秉、父亲杨赐都官居太尉，并且都以忠直而闻名。还是世代研习《欧阳尚书》的家族。和汝南袁氏同为当时的名门大族。 

最初被举为孝廉，州里推举其为茂才，公府征辟，都不应命。 

在熹平年间，杨彪因博学多闻而被公车征为议郎，任内与马日磾、蔡邕、卢植、韩说等共同续写《东观汉记》。后来迁任侍中，转为京兆尹。 

光和二年（179年），杨彪得到了黄门令王甫之前唆使宾客勒索敲诈郡国的财物共计七千余万的证据，并把此事告知司隶校尉阳球。阳球早就对王甫恨之入骨，于是迅速把此事上奏灵帝，并逮捕诛杀了王甫及其党羽。大家都因此欢呼雀跃、拍手称快。 

后被征为侍中，相继任五官中郎将、颍川太守、南阳太守、永乐少府、太仆、卫尉等职。 

中平二年（185年），杨赐去世，杨彪世袭父亲临晋侯的爵位。 

中平六年（189年）九月，以太中大夫职接替董卓为司空。同年十二月，接替黄琬任司徒。 

初平元年（190年），关东义军起兵，董卓在惧怕之下意图迁都长安，杨彪与太尉黄琬据理力争，因而被罢免。不久，与黄琬一同被拜为光禄大夫（一说二人得知伍琼、周毖被杀后很害怕，到董卓那里谢罪。董卓也因杀死伍琼、周毖而感到后悔，于是上表推举二人任光禄大夫 ）。十多天后，迁任大鸿胪。随从献帝入函谷关，转任少府、太常，因病罢免。后又任京兆尹、光禄勋，再迁任光禄大夫。 

初平三年（192年）九月，接替淳于嘉任司空、录尚书事，后因地震免。又被拜为太常。 

兴平元年（194年）七月，代朱儁为太尉，录尚书事。 

兴平二年（195年）三月，李傕遣其侄李暹率兵数千包围皇宫，想要劫持献帝前往李傕大营。杨彪对李暹说：“自古帝王没有在人臣家里的，诸位做事，怎么能这样！李暹说：”将军已经决定了。“于是杨彪随献帝出行。不久，献帝派杨彪及诸位公卿前往郭汜营劝和，不料郭汜将杨彪和司空张喜、大司农朱儁、卫尉士孙瑞、太仆韩融等人扣留为人质。 

郭汜又大会公卿，议论责备李傕。杨彪说道：“群臣共斗，其中一人劫持天子，一人以公卿为人质，这可以吗！”郭汜恼怒，想要动手杀之。杨彪说：“你尚且不侍奉陛下，我怎么能独自求生呢！”经中郎将杨密力劝，郭汜才没有加害他。 同年，献帝移驾东迁，杨彪尽节卫主，到了最危难的时候，几乎遇害。献帝回到洛阳后，以杨彪代理尚书令。 

建安元年（195年），杨彪随献帝定都许县。当时百官举行大宴，兖州刺史曹操见杨彪神情不悦，惧怕之下离开宴会。不久，杨彪便被罢免。当时袁术在淮南称僭号，曹操因此诬陷杨彪与袁术是亲戚，想要勾结袁术废献帝，将其下狱。将作大匠孔融听说后连朝服都来不及穿就匆匆面见曹操，为杨彪辩解，曹操仍然强辩道：“这是陛下的意思。”孔融则回答：“如果让成王杀邵公，周公可以说自己不知道吗？如今天下士人之所以仰慕明公您，是因为您聪明仁智，辅弼汉朝，举荐正直之士，斥退邪妄之人，致使四方和乐。如今却要杀害无辜之人，那么海内旁观侧听之人，谁也不会再肃敬待您了！我孔融还是鲁国一男子，明天便拂袖而去，不再来朝。” 而负责拷问的许县令满宠也对曹操说道：“拷问杨彪没有找到罪证。如果要处决他，要找到证据才能执行。此人有名于海内，若找不到证据而把他处决，会大失民心，请主公想清楚。”曹操无奈之下只得释出杨彪。 杨彪到许县后，保存了不少《东观汉记》的注记。

建安四年（198年），再拜为太常。建安十年（205年），被罢免。 次年，杨彪的爵位被剥夺。杨彪见汉室将衰，于是诈称脚抽筋退居不出。 

黄初元年（220年），曹丕称帝，想要让杨彪出任太尉，先让使者告诉杨彪。杨彪说：“我杨彪担任过汉朝的三公，遭到乱世而不能对国家有所补益，现在年老多病，怎么能够再去新朝任职。”因而坚决推辞。 

黄初二年（221年）十月，曹丕拜杨彪为光禄大夫。在初一的朝会时，位次三公，待以宾客之礼。又赐杨彪延年杖及冯几，允许戴鹿皮冠，杨彪辞让，只穿着布单衣和皮弁入见 。 

数年后，有鹈鹕聚集于灵芝池中，下诏公卿举荐有独特行为、操守的君子。司空王朗举荐杨彪，曹丕因此置官吏士兵来护卫杨彪。 

黄初五年（225年），杨彪去世，享年八十四岁。