乔玄年轻时担任县里的功曹。当时的豫州刺史周景带领官属巡察到梁国，乔玄前往拜见周景，列数陈相羊昌的罪恶，请求周景任命自己为陈国从事，彻查羊昌的罪行。周景认为他意气豪迈，同意并派他去了。乔玄上任以后，收捕了羊昌的食客，详细地核查他的罪行。但羊昌一直被大将军梁冀优待。梁冀为了羊昌派快马传文书救他。周景按照梁冀的意思召回乔玄，乔玄只交还文书而自己不出发（回去汇报），核查羊昌的罪名更加急切。羊昌最后被囚车押解进京，乔玄因此而出名。 

乔玄后来被举荐为孝廉，任命为洛阳左尉。当时梁不疑为河南尹，乔玄因为公事去拜见梁不疑接受问话，但乔玄耻于被梁不疑所侮辱，于是辞官回乡。 

后来经过四次升迁而担任齐相，因为过失被罚服兵役，服刑完毕后，乔玄被朝廷征辟，出任上谷太守，后改任为汉阳太守。当时上邽县令皇甫祯犯了贪污罪，乔玄抓捕拷问他并施以拔光头发鞭笞的刑罚，皇甫祯死在冀地的集市。一郡的人都感到震惊。 

郡人上邽姜岐，恪守信仰隐居不仕，闻名西州。乔玄召他出仕，姜岐托病不答应。乔玄大怒，命令督邮尹益逼迫他来，并说：“姜岐如果不来，马上就让他的母亲改嫁。”尹益坚持劝止乔玄没有成功，马上转告了姜岐。姜岐坚决躺在床上不起来做事。郡内的官员和读书人也都去劝说乔玄，乔玄才肯罢休。当时的人都拿这件事讥笑他。后来托病免职，又被公车征为司徒长史，后迁任将作大匠。 

汉桓帝末年，鲜卑、南匈奴以及高句丽的继承人伯固等一同叛乱，在边境一带抢劫掠夺，四府共同举荐乔玄为度辽将军，特赐可以使用黄钺的权力。乔玄到任，修养兵士，然后监督各将领讨伐胡虏以及伯固等。将其全部击溃，任职三年，边境安定无事。 

汉灵帝即位初年，乔玄入朝任河南尹，又转任少府、大鸿胪。 

建宁三年（170年）八月，升任司空。次年三月，接替许训为司徒。 乔玄平日里与南阳太守陈球有仇怨，但当他任三公时，反而推荐陈球任廷尉。乔玄因为国家力量薄弱，并揣度自己的能力没有用武之地，于是托病上奏，把发生的各种灾害归咎在自己身上，于是被免职。一年多后，被任命为尚书令。当时太中大夫盖升和灵帝关系密切，曾任南阳太守，贪污好几亿钱。乔玄上奏罢免盖升并把他关押起来，没收他贿赂所得的财产。灵帝不同意，反而升任盖升为侍中。乔玄托病辞职，又被任命为光禄大夫。 

光和元年（178年）十二月，升任太尉。 光和二年（179年）三月，因病再次被免职，改任太中大夫，在家中养病。 

光和六年（184年）五月十日（6月6日），乔玄在洛阳去世，享年七十五岁。灵帝甚为哀痛，遣使吊唁并赠送财物，命以隆重的礼仪安葬他。九月十三日（11月4日），乔玄得以安葬。 蔡邕撰有《太尉乔玄碑》、《太尉乔玄碑阴》、《中鼎铭》、《东鼎铭》、《西鼎铭》、《黄钺铭》等传于后世。

黄初六年（225年），魏文帝曹丕征吴会师自谯经过梁，遣使以太牢礼祀乔玄。