1882’de İstanbul’da doğmuştur. Kazım Karabekir, Mehmed Emin Paşa’nın oğludur.
1905’te Erkan-ı Harbiye Mektebi’ni bitirerek “yüzbaşı” rütbesiyle orduya katıldı. II. Meşrutiyet’ten sonra Edirne’de II. Ordu 3. tümen “kurmaylığına” atandı. 31 Mart 1909 ayaklanmasında Hareket Ordusu’nda görev aldı. 14 Nisan 1912’de Binbaşılığa yükseldi. Balkan Savaşı’nda Trakya Sınır Komiseri olarak görev yaptı. 1914’te Yarbay rütbesiyle Birinci Kuvve-i Seferiye komutanlığıyla İran ve ötesi harekâtıyla görevlendirildi. Bir süre sonra İstanbul Kartal’da 14. tümen komutanlığına atandı ve Çanakkale’ye gönderildi. Kerevizdere’de Fransızlar’a karşı üç ay savaştıktan sonra “albaylığa” yükseldi. İstanbul’da I. Ordu erkan-ı harbiye başkanlığına atandıktan sonra, Galiçya ve Irak’a gitti.
1916’da Kutü’l-Amare’yi kuşatan 18. Kolordu komutanlığına getirildi ve burayı aldıktan sonra Irak’ta İngilizler’le çarpıştı. 1917’de 2. Kolordu komutanlığına getirildi ve Van, Bitlis, Elazığ cephelerindeki II. Ordu komutanlığına vekâlet etti.
1918’de Erzincan ve Erzurum’u Ermeniler’den ve Ruslar’dan geri aldı. Ardından Sarıkamış, Kars ve Gümrü kalelerini ve Karakilise’yi (Karaköse) kurtardı. Aynı yıl tümgeneral oldu.
Tekirdağ’daki 14. Kolordu Komutanlığının ardından Erzurum’daki 15. Kolordu Komutanlığına atandı. Hazırlıkları yapılan Erzurum Kongresi’nin toplanmasında önemli rol oynadı. Kurtuluş Savaşı’nda Edirne milletvekilliği ve Doğu Cephesi Komutanlığı yapan Kazım Karabekir Paşa, Ermeniler’in eline geçen Sarıkamış, Kars ve Gümrü kalelerini geri alarak 15 Kasım 1920’de Ermeni ordusunu kesin olarak ortadan kaldırmış, akabinde Gümrü Antlaşması’nı imzalamıştır.
Kars’ın alınmasıyla korgeneralliğe yükseldi. Rus Sovyet Sosyalist Federe Cumhuriyeti ve Kafkasya hükümetleriyle Kars Antlaşması görüşmelerini yürüttü. Kurtuluş Savaşı’nın bitiminden sonra I. Ordu müfettişliğine atandı.
1923’te İstanbul milletvekili oldu. 1924’te, TBMM’deki Dörtler Grubu’nu destekledi. Ardından askerlikten ayrılarak Halk Fırkası’ndan istifa etti. 17 Kasım 1924’te kurulan Terakkiperver Cumhuriyet Fırkasının başkanlığına seçildi.
Siyasi yaşamına on iki yıllık aradan sonra, 6 Ocak 1939’da İstanbul milletvekili olarak devam etti.
1946’da TBMM başkanlığına seçildi ve bu görevde iken vefat etti.