郤缺之父郤芮在晋惠公时为大夫，因反对晋文公归国而被杀。晋文公即位，郤缺因是罪臣之子，不得入仕，躬耕于冀野。

一次，晋文公的大臣胥臣路经冀野，看见郤缺在田里锄草，其妻送饭到田间，二人相敬如宾，很受感动。胥臣回去以后，对晋文公说，他看出郤缺是有德君子，可以治民，不能因为他父亲有罪就摒弃他，应该充分利用他的德才为晋国服务。由于胥臣的极力推荐，晋文公任命郤缺为下军大夫。

晋襄公元年(前627年)，晋与狄战于箕(今山西蒲县东北)，郤缺擒获白狄的首领，使人们认识到他的军事才干。战后，襄公特别赏赐了胥臣举荐郤缺的功绩，同时任命郤缺为卿，参与国政。

此后，郤缺在晋国的地位日渐重要。晋灵公六年(前615年)，任上军主将。九年，兼帅上下两军伐蔡，使其订城下之盟。晋成公六年(前601年)，任中军元帅，掌晋国大政。