就民族地理構成而言，從先秦到秦漢前期，嶺南之地是古代越（粵）人的天下。因其種類眾多，故被稱為「百越」。如唐代學者顏師古在《漢書地理志注》一文中引述臣瓚之言曰：

關於中原移民（特別是漢族移民）與嶺南文化進步之間的密切關係，曾身為中原移民的薛綜進行了較全面的總結：

可以肯定，從秦朝開闢嶺南以來，嶺南地區的風貌發生了相當巨大的變化，對於這一變化，來自中原地區的移民居功甚偉。另外，從民族地理分佈而言，秦朝至兩漢時期，中原地區向南嶺地區的移民，實現了漢族人口南向擴展的突破性的進展，對於改變當地民族構成起到了重大影響。而就前先後順序而言，移民為因，文化為果。移民是文化最重要的載體，移民與文化的密切關係在嶺南發展中找到了堅強的佐證。

任囂在分析南越建國基礎時，著重強調了兩方面的因素：一是自然環境，如重山環繞，道路險峻，幅員廣闊，易守難攻；二是民族構成，如「頗有中國人相輔」等等，可以證明，時至秦朝末年，在當地人口中，漢族移民（即所謂「謫徙民」）的數量已相當可觀，足以成為建立割據政權的堅實基礎。趙佗本人卻是一位地地道道的中原移民。read.99csw.com他的原籍就是秦朝真定郡（治今河北正定縣南）人。趙佗沒有辜負任任囂的期望，在兼并桂林、象郡后，合三郡為一體，自立為「南越武王」，建立起一個獨立的王國。漢朝建立之初，無力南討，派遣使者封立趙佗為南越王。至西漢呂太后執政期間，南越國與漢朝交惡，趙佗公然獨立，自號為「南越武帝」，役屬周邊小國，疆域面積膨脹，「東西萬余里，廼乘黃屋左纛，稱制，與中國侔。」

關於嶺南地區的文化發展狀況，南朝史學家范嘩在《後漢書·南蠻列傳》也稱：「凡交阯所統，雖置郡縣，而言語各異，重譯乃通。人如禽獸，長幼無別。項髻徒跣，以布貫頭而著之。后頗徙中國罪人，使雜居其間，乃稍知言語，漸知禮化。」顯然，這兩篇文獻的內容是一脈相承的。封建士大夫經常用「人|獸之別」來區分處於不同階段的文明外在文化面貌，顯然是極端荒謬的。薛綜所論，將漢武帝平定南越國，開設九郡，作為嶺南文化發展的劃時代事件，固無不可。但就實際移民過程而言，中原地區向嶺南地區的移民並不肇始於九郡之設。

孝文帝即位后，注重以故土之情來感化趙佗，重修趙佗父母的墳塋地，並專門設置守邑，「歲時奉祀，」而且以高官、厚禮賞賜趙佗的親屬。這一切安撫行動收到了不錯的效果。趙佗主動提出去除帝號，他在回復漢朝皇帝的書信中還深切表達了他的中原情愫：「……老夫身定百邑之地，東西南北數千萬里，帶甲百萬有餘，然北面而臣事漢，何也？不敢背先人之故。老夫處粵四十九年，於今抱孫焉。然夙興夜寐，寢不安席，食不甘味，目不視靡曼之色，耳不聽鐘鼓之音者，以不得事漢也。今陛下幸哀憐，復故號，通使漢如故，老夫死骨不腐，改號不敢為帝矣！」

然而，惡劣的自然環境並沒有完全阻擋中原移民的腳步。秦朝統一六國后，積極向楚國以南地區拓展，在征服當地主要民族「楊越（或作揚粵，『粵』與『越』相通）」后，先後在嶺南地區設置了桂林（治今廣西桂平縣西南古城）、南海（治番禺縣，今廣東廣州市）、象郡（治今廣西崇左縣）。嶺南三郡的設置，是秦朝疆域與政區建設的重要成就。為了有效維護疆域建設的成果，秦朝在南方建置政區的同時，實施了較大規模的移民活動，當時向南方地區移民的主體為所謂「謫徙民」，即因各種原因被貶斥流放的人們。這些「謫徙民」應該是南越地區最早的漢族移民，我們看到，這些中原移民為南越王國的建立發揮了重要作用。

劉安所言，包含了相當豐富的有關嶺南的自然地理與歷史文化知識，並非完全的誇大不實之詞。越民與中原地區在文化風俗上存在很大的不同，而且自先秦以來，始終沒有划入中原政權的統治範圍。當時中原人所熟知的最大的兩個越族王國——吳國與越國之間長期爭戰不休。中原政權的統治者們之所以長期沒有染指百越地區，主要是因為對於中原華夏族來說，越族地區的自然環境過於惡劣，中原人進入之後，常常或因水土不服，或因疾癘險阻，而遭受到重大傷亡，以致讓後來有心南下的人們萌生畏懼情緒，裹足不前。

後來，當趙興即位南趙王時，太后摎氏為來自邯鄲（今河北邯鄲市）的中原移民，她堅決主張歸依漢朝，與土著派官僚呂嘉展開了激烈的鬥爭。呂嘉最終起兵反叛，攻殺南越王趙興與太后。漢武帝為此派遣大軍南征，順利佔領南越國首府番禺，南越王國最終歸入漢朝版圖，漢朝在南越王國的疆域內開設九郡，這九郡分別為：儋耳、珠崖、南海、蒼梧、郁林、合浦、交阯、九真、日南。

後來，大批南下嶺南任職的中原地區官員為嶺南地區的發展作出了自己的貢獻。如據《後漢書·任延傳》記載，中原人錫光在西漢平帝在位時期任交阯太守。他「教導民、夷，漸以禮義，化聲侔于（任）延。」任延則于東漢建武年間任九真太守，「九真俗以射獵為業，不知牛耕，民常告糴交阯，每致睏乏。延乃令鑄作田器，教之墾闢。田疇歲歲開廣，百姓充給。」同時傳授儒家禮義之道，影響深廣，故而，「領（同嶺）南華風，始於二守（即錫光、任延）焉。」也就是說，兩位太守被公認為在嶺南地區傳播華夏文化的先驅者。

據此可知，在秦漢時期，從江浙以南到今天的越南北部地區的廣袤地區，廣泛分佈著不同族種類的越民。就地理差異而言，南嶺（又稱為五嶺，即由大庾、騎田、萌渚、都龐、越城五嶺組成）一線也是中國的一條重要的地理分界線，不僅是華中與華南的分界線，也是長江水系與珠江水系的分水嶺，還是中亞熱帶與南亞熱帶的分界線。嶺南地區的自然環境與中原地區差異懸殊。後來，漢朝淮南王劉安曾經為了阻止漢武帝征伐閩越國，上書極言南方地區的險惡環境：

學者出身的士燮愛護儒士，勤于著述，引來大批中國士大夫前來投靠。「燮體器寬厚，謙虛下士，中國士人往依避難者以百數。」當時避難居住于當地的名士不乏其人。如程秉「汝南南頓人也，逮事鄭玄，後避亂|交州，與劉熙考論大義，遂博通五經，士燮命為長史。」又如薛綜「沛郡竹邑人也，少依族人，避地交州，從劉熙學。」兩位共同師事的名士劉熙為漢末著名學者，同樣是為來自中原的移民，他為嶺南地區文化發展作出了卓越的貢獻。明人歐大任所著《百越先賢志》卷三較全面地總結了他的事迹：「劉熙，字成國，交州（即治番禺）人，先北海（郡，治今山東昌樂縣東南）人也。博覽多識，名重一時。薦辟不就，避地交州，人謂之『徵士』，往來蒼梧、南海，客授生徒數百人，乃即名物以釋義，惟揆事源，致意精微，作《釋名》二十七篇，自為之序。又著《謚法》三卷，皆行於世。建安末，卒于交州。」劉熙所著《釋名》，是中國古代訓詁學名著，為歷代學者所推重。

「日啖荔枝三百顆，不辭長作嶺南人。」這是北宋大文學家蘇軾（東坡）的著名詩句，表達了他read.99csw.com對嶺南風物的喜愛。但是，在早期中原人眼中，嶺南卻是一個草莽榛榛、瘴癘籠罩的蠻荒之地。

南越王國正是在秦朝嶺南三郡（桂林、南海、象郡）的基礎上建立起來。曾經擔任秦朝南海郡尉的任囂富有遠見，認為「南海僻遠」，在中原喪亂的狀況下，當地形勢足以割據自守，建立起一個獨立的王國。後來，當陳勝、吳廣等人揭竿而起，秦朝統治陷入土崩瓦解之時，任囂不幸一病不起，在他臨終之時，他極力勸說時任龍川令的趙佗閉關自立，他分析說：

東漢末年，中原大亂，而嶺南地區相對安定，於是，交州成為中原人士爭趨的避難地。此外，時任交阯太守的士燮禮賢下士，更成為吸引漢族士大夫前來的重要因素之一。士燮本人就出身於一個移民家族。他的祖先原為魯國汶陽（治今山東寧陽縣東北）人，在西漢末年王莽之亂時避難交州，從此定居下來。董卓之亂后，交州地區也陷入淆亂之中。士燮兄弟數人分別為交阯、合浦、九真、南海諸郡太守，獨攬大權，威震嶺外，重新上演了西漢初期趙佗割據嶺南的故事，當時的交州又儼然成為一個獨立王國。「燮兄弟併為列郡，雄長一州，偏在萬里，威嚴無上。出入鳴鐘磬，備具威儀，笳簫鼓吹，車騎滿道，胡人夾轂道焚香者常有數十。妻妾乘輜軿，子弟從兵騎，當時貴重，震服百蠻，尉他（即趙佗）不足逾也。」