Mondros Mütarekesi'nden sonra Anadolu'da milisler (Kuvayı Milliye) şeklinde örgütlenen direniş hareketleri başladı. "Fahri Yaver Hazreti Şehriyari" Mustafa Kemal Paşa, Padişah VI.Mehmet (Vahdettin) tarafından olağanüstü yetkilerle donatılarak Vilayet-i Sitte (Altı Vilayet)'yi "Büyük Ermenistan" ve "Bağımsız Kürdistan" projelerinden korması için görevlendirildi. 19 Mayıs 1919'da Refet Bey (Bele), Kâzım Bey (Dirik), 'Ayıcı' Mehmet Arif Bey, Hüsrev Bey (Gerede)lerle beraber Samsun'a çıktı.

22 Haziran 1919'da Rauf Bey (Orbay), Kâzım Karabekir Paşa, Refet Bey (Bele) ve Ali Fuat Paşa (Cebesoy) ile birlikte Amasya'da yayımladığı genelgeyle "Milletin istiklâlini yine milletin azim ve kararının kurtaracağını" ilan etti. Kâzım Karabekir Paşa tarafından Erzurum'da toplanan Doğu İlleri Müdafaa-i Hukuk Kongresine (Erzurum Kongresi) katıldı. Kongre üyelerinin ısrarıyla Osmanlı ordusundan istifa etti ve Kongre başkanlığına seçildi. 4 - 11 Eylül 1919 tarihleri arasında Sivas Kongresi'ni toplayarak ulusal direnişi yönetecek olan siyasi yapılaşmayı kurdu. 27 Aralık 1919'da Ankara'da heyecanla karşılandı. Osmanlı Meclis-i Mebusan'ın Mart 1920'de işgal güçlerince basılması ve önde gelen vatanperverane mebusların tutuklanması üzerine 23 Nisan 1920'de Ankara'da Türkiye Büyük Millet Meclisi'nin açılmasını sağladı. Erzurum mebusu sıfatıyla Meclis ve Hükûmet Başkanlığına seçildi. BMM, bir kurucu meclis gibi çalışarak Milli Mücadele'yi yürütecek olan Anadolu hükûmetinin altyapısını kurdu.