İran’ın Tus kasabasında dünyaya geldi. Devlet hizmetindeki hayatı, babası ile beraber Gazne Devleti’nin Horasan valisi Ebü’l-Fazıl Es-Suri’nin hizmetinde bulunmakla başladı.

Alp Arslan ve kardeşi Süleyman Bey arasındaki taht mücadelesi sırasında yerinde görüş ve tedbirleriyle dikkatleri çekti ve 1063 yılında Alp Arslan’ın yanında hizmete başladı. Alp Arslan Sultan olunca 1064 yılında Büyük Selçuklu Devleti’ne vezir tayin edildi.
Nizamülmülk, vezir olduğu 1064’ten, şehit edildiği 1092 senesine kadar aralıksız yirmi dokuz sene Büyük Selçuklu Devleti’ne, tam bir dirayet ve adaletle hizmet etti. Vazifeli olduğu için katılamadığı Malazgirt Meydan Muharebesi hariç, bütün Selçuklu fütuhatında bulundu. Sultan Alp Arslan’ın vefatıyla veliaht Melikşah’ın tahta geçmesini sağlayıp, nizam ve asayişin korunmasında muvaffak oldu.

Nizamülmülk’ün Selçuklu Devleti’ndeki bütün düzenleme ve değişiklikleri ciddî bir şekilde tetkik eden, devlet idaresinde kendi görüşlerini, icraatını ve bunların gerekçelerini gelecek nesillere intikal ettirmek maksadıyla Farsça olarak yazdığı Siyasetname isimli eseri, bugün siyaset ilmiyle uğraşanların el kitapları arasında sayılmaktadır. Siyasetname’de Türk-İslam devletlerinin idari, mali, siyasi, askerî, sosyal ve kültürel yönlerini incelemektedir.
Siyasetname, birçok dillere tercüme edilerek yayınlanmıştır.