1891 yılında, bugünkü Başkurdistan topraklarında dünya geldi. Henüz medrese tahsilini yaparken bir taraftan da özel Rusça dersleri aldı.

 Annesinin öğretmen olmasını değerlendirerek Farsça öğrenmeye de başlayan Togan, orta öğretim için Ütek’teki dayısının medresesine gitti. Burada da Arapça öğrenerek dil bilgisini geliştirdi. Eğitimi sonrasında Kazan’daki Kasımıye Medresesi Türk Tarihi ve Arap Edebiyatı Tarihi öğretmenliği yaptı. 4 yıl öğretmeliğin ardından kaleme aldığı “Türk ve Tatar Tarihi” kitabı sayesinde oldukça meşhur oldu. Bu eserin Kazan’da yankıları sayesinde Kazan Üniversitesi’nde Arkeoloji ve Tarih Cemiyeti’ne üye seçilen Togan, 1913 Fergana ve 1914’te de Buhara’ya araştırma yapması için gönderildi. Buradaki çalışmaları başta Petersburg Arkeoloji Cemiyeti olmak üzere Kazan ve Taşkent Arkeoloji cemiyetleri mecmualarında yayımlandı.

Rusya’daki Çarlık idaresi sonrasında siyasete atılan Togan, Türkistan Millî Özerk Hükûmeti’nin bastırılmasından sonraki Basmacı Hareketi’nin içinde bulundu. Kısa süre de olsa Başkurdistan Cumhurbaşkanı oldu. 1920-23 yıllarında Türkistan’da amansız bir mücadeleye giriştiyse de başarılı olamadı. Türkistan Millî Birliği’nin kurucusu ve ilk başkanıdır.

Almanya’da Göttingen ve Bonn üniversitelerinde profesörlük yaptı. Almanya sonrasında ise Türkiye’de Maarif Vekâleti Telif ve Tercüme Heyeti üyeliğine seçildi. Daha sonra İstanbul Darülfünun Türk Tarihi Müderris Muavinliği’ne tayin edilen Togan, ilerleyen dönemlerde de İstanbul ve Anadolu kütüphanelerinde çeşitli çalışmalar başlattı.

Göttingen Üniversitesi’nde dersler vermeye başlamış, 1939’ da Milli Eğitim Bakanı’nın daveti ile yeniden Türkiye’ye gelmiştir. İstanbul Üniversitesi’nde Umumi Türk Tarihi Kürsüsü’nü kurmuştur.

İkinci Dünya Savaşı sonlarında Türkiye’deki Sovyetler aleyhinde faaliyetleri ve Turancılık gerekçesi ile tutuklandı. 10 yıl hapse mahkûm edilse de Askeri Mahkeme bu kararı bozdu ve Togan beraat etmiştir.

1948’de yeniden döndüğü üniversitede görevine devam eden Togan,  26 Temmuz 1970’de İstanbul’da hayatını kaybetti. Türk Tarihi adına birçok çalışması olan Togan’ın mezarı, bugün İstanbul Karacaahmet Mezarlığı’nda