刘表任荆州牧时，黄祖出任江夏太守。据推测为江夏安陆黄氏族人。在东汉时江夏黄氏为著名的士人家族，即名臣黄香一族。刘表在荆州重用地方豪族势力，如蔡瑁、蒯良、文聘等，黄祖很可能为江夏黄氏。

公元191年（初平二年）四月，袁术派孙坚征讨荆州，攻打刘表。刘表派黄祖在樊城、邓县之间迎战。孙坚击败黄祖，乘胜追击，渡过汉水，包围襄阳。刘表闭门不战，派黄祖乘夜出城调集兵士。黄祖带兵归来，孙坚复与大战。黄祖败走，逃到岘山之中，孙坚追击。黄祖部将从竹林间发射暗箭，孙坚中箭身亡， 

公元198年（建安三年），曹操派祢衡出使荆州，因侮慢刘表，刘表觉得羞耻，不

能容忍，认为江夏太守黄祖性情急躁，所以把祢衡又送给黄祖，黄祖也能善待祢衡。祢衡替黄祖做文书方面的事，孰轻孰重、孰疏孰亲，都处理得很恰当。黄祖拉着祢衡的手说：“先生，这正合我的意，和我心中要说的话一样啊。”黄祖的长子黄射，为章陵太守，和祢衡尤其友善。黄射一次宴请宾客，有人送给他一只鹦鹉，黄射举着酒杯对祢衡说：“希望先生（就鹦鹉）作一篇赋，以此来使嘉宾高兴高兴。”祢衡提笔就写，中间没有任何改动，一气呵成，文辞色彩也很华美。

后来黄祖在大船上，宴请宾客，但祢衡出言不逊，使黄祖很难堪，就斥责祢衡。祢衡更是仔细地盯着黄祖，说：“死老头！”黄祖非常生气，想要打他。祢衡更是大骂，黄祖气愤到极点，就下令杀祢衡。因为黄祖的主簿一向恨祢衡，即刻就杀了祢衡。黄射（得知消息后）光着脚来救，但没赶上。黄祖也后悔，就厚葬了他。祢衡死时年二十六岁。 

黄祖领兵驻防在沙羡之后，多次防备来自江东的孙氏军队的进攻，虽然史料记载对抗孙军的战事上几乎呈现下风，甚至有屡战屡败之绩，但仰赖刘表的守土防御战略，其江夏领土从未落入过孙家之手，而仅有军民被虏走的记载，此外，黄祖军还有射杀凌操、徐琨的小胜。自199年、203年、204年、206年、207年，与孙氏军队有过交战5次的纪录。

公元208年（建安十三年），孙权遣军进行再度西伐黄祖。

面对孙权的进攻，黄祖任部将张硕为先锋，陈就为舰队首领，本人留守江夏。战前，张硕率部乘大船侦察江岸，却被同样在侦察的凌统发现。当时，乘小船的凌统身边只有数十勇士， 但仍登上了张硕的船，可能是在夜幕掩护下伪装成张硕部卒，奇袭张硕军。张硕被凌统所杀，所部水兵尽数被擒。 

得知张硕被杀，黄祖当即命陈就率两艘蒙冲舰守沔口， 还让大力士和弓箭手在河边的崖顶埋伏，向敌军的大船投掷石头和火把。为了打败黄祖的蒙冲，周瑜派出大舰队，却被崖顶掷下的石头摧毁。几小时的战斗过后，周瑜认识到黄祖的军械并非如此欠缺，孙权只能面对士卒疲惫伤亡惨重的现实。

为了扭转战局，周瑜命凌统、董袭率100敢死队每人穿上两件盔甲乘大船冒着石头和火把冲锋。经过艰苦的战斗，凌统、董袭最终成功切断了两艘蒙冲间的联系，这也鼓舞了孙权军的斗志。吕蒙在近战中格杀陈就。失去首领的黄祖大军反被处于少数的孙权军歼灭。在吕蒙全歼黄祖军之前，凌统分兵攻陷江夏。 

无力抵抗孙权的黄祖逃离江夏，却被骑士冯则追上枭首。孙权下令将黄祖首级盛放在容器中验看。得到黄祖首级后，孙权将其献祭亡父孙坚。