索綝年轻时就有超凡的才能，受父亲索靖赞赏。后举秀才、任郎中。先后任太宰长史、好畤县令、黄门侍郎、征西参军及长安县令，任内都称职。

永安元年（304年），司马越号令全国讨伐成都王司马颖，并带晋惠帝亲征。然而，军队于荡阴被司马颖部队击败，晋惠帝亦被俘。不久，安北将军王浚联结司马腾和段部鲜卑及乌桓军队进攻司马颖，司马颖不敌并与惠帝一起逃离根据地邺城，奔赴洛阳。当时河间王司马颙部将张方控制洛阳，但部众都想返回关中，于是挟持惠帝西迁长安。索綝亦参与护送惠帝西迁，故此事后被加号鹰扬将军。

光熙元年（306年），司马越击败司马颙并迎惠帝回洛阳，索綝转任镇守许昌的南阳王司马模的从事中郎，曾以奋威将军抵御汉赵前来进攻关东地区的军队，击斩汉将吕逸和攻破刘丰。永嘉元年（307年），司马模改镇长安，索綝亦迁任新平太守，后又击败前来进攻三辅的汉赵将领苏铁及刘五斗等人。索綝升安西将军、冯翊太守。因其在地方有威严和恩德，故不论胡汉都服从他，不敢侵犯其辖区。

永嘉五年（311年），洛阳和长安先后被汉赵军队攻占，司马模亦被杀。索綝闻讯后哭着说：“与其这此死去，不如当个伍子胥。”于是与安夷护军曲允等人一同出赴安定投奔安定太守贾疋，在路上遇上贾疋派往汉赵的人质并与人质一同到安定，与贾疋共谋复兴晋室，并举兵五万进攻长安。及后索綝领兵营救响应他们的新平太守竺恢，经过数百次大小战事后生擒敌将李羌并击退汉赵军，而同时贾疋等亦大败汉赵军，进围长安。同时豫州刺史阎鼎护送秦王司马邺入关中，并在次年汉赵军队撤出长安后迎司马邺入城，与贾疋等奉司马邺为皇太子，建立行台。但在当年，以太子詹事总掌行台事的阎鼎与梁综争权并将对方杀害，索綝与曲允等人亦欲专权，于是称阎鼎有无君之心，擅杀大臣，并组成联军讨伐阎鼎，并将其赶走。阎鼎及后被杀。

建兴元年（313年），司马邺即位为晋愍帝，以索綝为侍中、太仆，并以迎帝到长安，奉玺登位之功封弋居伯。不久，迁任前将军、尚书右仆射、领吏部、京兆尹。后加平东将军，又再进号征东将军，不久再授予索綝卫将军、领太尉，位特进，将军国之事都交给索綝处理。但在当年，汉赵将领刘曜就率乔智明和赵染等进攻长安，受诏抵御的曲允屡战皆败，逼近长安，索綝于是获授征东大将军，持节领兵助曲允抵抗。在战事中，索綝打败汉将呼延莫，曲允最终亦击败刘曜，解除危机。索綝因功封上洛郡公，食邑达万户。

建兴二年（314年），刘曜再与赵染等来攻，索綝领兵抵抗，在新丰对抗赵染。当时赵染轻视索綝，只以数百名轻骑兵攻击索綝，终被索綝所败，赵染单骑逃走。及后曲允再度击败刘曜，赵染更中流矢而死。索綝因功再加骑骑大将军、尚书左仆封、录尚书，承制行事。

建兴三年（315年），刘曜再度进攻长安，先攻北地郡，晋愍帝于是派曲允抵御，以索綝为尚书仆射、都督宫城诸军事。但曲允面对一直进攻的刘曜却不敢前进；而另一方面，当时曲允打算奉愍帝到司马保那里，但索綝认为司马保有晋愍帝在手后就会因其私心为所欲为，在其反对之下就没有实行。次年，刘曜进围长安，附近诸郡都有派军救援但皆不敢前进，而晋愍帝屡次向其借兵的南阳王司马保就派了胡嵩领兵救援，并在灵台击败刘曜。可是胡嵩随后就怕一但助愍帝击败刘曜后，反会助长了曲允和索綝的威势，故此就退兵不再进攻。而刘曜亦进占长安外城，逼愍帝与索綝和曲允等退守长安小城自保。在刘曜的围困下，小城内闹了饥荒，人吃人，死亡和逃走的人很多，只有一千凉州义兵仍坚守。但当时连愍帝亦缺乏粮食，于是唯有派侍中宗敞[1]向刘曜投降。索綝却暗中将宗敞留下，命儿子向刘曜说：“现在城中粮食足够支持一年，你未能轻易攻占的了。但若果你答应让索綝为车骑将军、仪同三司和食邑万户的郡公，那就会以城向你投降。”刘曜听后杀了索綝儿子，并送还给索綝，传话给索綝：“帝王之师以义行军，我统领军队十五年来，没有试过以假消息和诡计击败对手，而会用军事力量完全压倒对方。现在索綝托人所说的是天下首恶，我就为你们杀了传话人。若觉得粮食未尽，就勉强守着吧；但若缺粮而兵力薄弱，那就早早顺应天命吧。我怕我威严一振，玉石俱摧。”不久愍帝出降，索綝亦与曲允随愍帝被押至平阳，汉赵皇帝刘聪认为索綝以献城出降条件请求敌国高位的行为是不忠于晋朝，于是在平阳东市处死索綝。