劉淵迫切希望馬上離開鄴城，但居鄴城的成都王司馬穎不同意，劉淵只好先讓呼延攸回去聯絡匈奴五部和雜胡，自己則等待適當機會再回去。永興元年（公元304年），王浚、司馬騰起兵反晉，劉淵乘機對司馬穎說：「王浚、司馬騰有10萬多名士兵，僅憑我們目前所掌握的軍隊恐怕很難把他們消滅。我想回去為殿下調動匈奴五部的兵馬，共赴國難。」司馬穎看著劉淵那副認真、自信的樣子，也就答應了他的要求。

曹魏嘉平年間（公元249年～254年），匈奴左部帥劉豹的妻子呼延氏結婚多年，仍沒有懷孕，十分焦躁。一天，呼延氏到了龍門，虔誠地跪在地下反覆祈禱早得貴子。一個月之後，呼延氏發現自己已經懷孕。又過了12個月，呼九*九*藏*書延氏果然生了個兒子，他就是劉淵。

元熙五年（公元308年）七月，劉淵遷都蒲子，自稱皇帝。太史令宣于修之對劉淵說：「據我觀察，不用3年時間我們一定能夠攻克洛陽。蒲子崎嶇不平，不是久留之地，而平陽是陶唐舊都，而且紫氣升騰，風水不錯，應當將國都遷到那裡。」劉淵下一步是想向洛陽用兵，所以聽了宣于修之的話以後就把國都遷到了平陽（今山西臨汾西北）。接著，劉淵又派王彌、劉曜兩次進攻洛陽，但都沒有成功。河瑞二年（公元310年），劉淵病死，葬于永光陵，謚號「光文皇帝」，廟號「高祖」。

這時「八王之亂」已經拉開了序幕，北方地區成了西晉宗室互相殘殺的舞台。劉淵的堂祖父、匈奴左九-九-藏-書賢王劉宣等人見恢復匈奴故業的時機已到，便湊到一起商量說：「昔日我們祖先與漢結為兄弟，約定同甘苦共患難。自從漢朝滅亡之後，我們匈奴單于只有虛名，沒有半點地盤，從王侯降低到同普通百姓一樣，難道我們就這樣甘心情願地受他人奴役嗎？劉淵有卓越的領導才能，我們為何不推他當單于，大幹一場呢？！當今司馬氏骨肉之間互相殘殺，正是我們恢復邦業的大好時機。」大家一致同意劉宣的看法，秘密推舉劉淵為大單于，並委託呼延攸到鄴城請劉淵回到他們身邊。

劉淵落地半年多就會說話，聰明慧黠。7歲那年，呼延氏不幸去世，劉淵悲痛欲絕，哭得死去活來，把左鄰右舍感動得陪著他痛哭流涕。劉淵喜歡學習，幼年就拜read.99csw.com上黨崔游為師，學習《毛詩》、《京氏易》、《春秋左傳》、《孫吳兵法》、《史記》和《漢書》。劉淵在書的海洋中暢遊多年，長了不少知識和才幹，也產生了遠大志向和抱負。當時天下大亂，劉淵深知要建功立業就得有好武藝，因此他又發憤練習武功。由於他身材魁偉，有兩隻很長的胳膊，手臂也很有力氣，自然是個拉弓射箭的能手，練了沒有多久，就成了遠近聞名的射箭高手。

劉淵離開鄴城不久，王浚的將軍祁弘就率領鮮卑人包圍了鄴城。劉淵聽到這一消息時，準備發兵攻打鮮卑、烏桓。劉宣等人見狀便對劉淵說：「西晉君臣不是東西，像奴僕一樣對待我們，這口氣能咽得下去嗎？！現在司馬氏互相殘殺，正是滅晉復漢的大好時機九*九*藏*書。況且，鮮卑、烏桓與我們的習性基本相同，可以結為外援，怎能去傷害他們呢！」劉淵一聽如夢初醒，激動地說：「好！我現在有10萬兵馬，個個以一當十，消滅晉朝，就像秋風掃落葉般容易。但是，我們不要忘記，佔有天下需要贏得人心；從長遠利益著想，我們應當打出漢朝的旗號。我們都知道，我們的祖先冒頓單于曾經娶漢女作閼氏（相當於中原王朝的皇后），和漢高祖劉邦是結拜兄弟，我們都是漢朝的外甥。這樣，我們把國號叫作漢就名正言順了。」於是劉淵便自稱漢王，改元元熙，把國都從離石遷到左國城。同年年底，劉淵派建武將軍劉曜攻陷太原。這時，在趙魏起兵的汲桑，在山東起兵的王彌，在河北起兵的羯族石勒遭到晉軍重創后，先後投入了劉九*九*藏*書淵的懷抱。劉淵的勢力更加壯大。

曹魏咸熙年間（公元264年～265年），劉淵以人質的身份到了洛陽，廣泛結交漢族官僚。司馬氏建立西晉之後，劉淵仍留居洛陽。后其父劉豹病死，晉武帝讓劉淵接替左部帥之職。太康末年（公元280年～289年），劉淵又被封為北部都尉。劉淵嚴肅法治，懲治奸佞，輕財好施，以誠待人，吸引了一大批有志之士。匈奴的五部、幽冀等地的名儒潮水般地湧向了劉淵。隨著兵多馬眾，劉淵的官銜也不斷升級，到晉惠帝時已經升任了五部大都督，後來又被調到鄴城，提拔為寧朔將軍，負責匈奴五部的軍事工作。

劉淵離開鄴城，馬不停蹄地奔向了左國城（今山西離石），自稱大單于，起兵反擊司馬騰，不到20天，兵眾就發展到5萬人。