蘇軾流寓惠州，上無蓋頂之茅，下無立錐之地，幸叼程之才的面子，再度遷入合江樓，但樓在三司行衙內，決非外人所能久居。

蘇軾是個懷鄉病很重的人，從十年前起，「鄉思」在他所作的詩文書簡中，隨時流露；但至身陷儋耳之日，他已不敢再存這樣奢侈的願望，只盼有一日能夠重返白鶴新居，已是脫水火而登衽席的天惠。他在海南，就曾夢歸白鶴山居，醒后，作《和陶還舊居詩》，但就只這麼一點卑微的願望，也達不到：

六月間，蘇邁已經得授韶州的仁化縣令，即將挈家南來。其時，蘇軾從前在湖州時的僚友陳師錫，又派遣專差前來探望，復書中述說他的近況道：

他在這傾囊營造的白鶴峰新居里，住了不過兩個月，就須倉皇地拋撇，除出夢中，不再重見。

從白鶴峰下，歷級而上，門下有親種的兩株柑橘，此時花猶盛開，屋內所種古荔，綠葉鋪滿牆頭。穿過前廡三間平房，則是一大院落，花木交錯，清芬撲鼻。徑升石階，就是「德有鄰堂」，這是正廳，它的特點是特別寬闊和高敞，所以惠州新守方子容參觀過後，作詩讚美說：「遙瞻廣廈驚凡目，自是中台運巧心。」

因為「罪在不赦」，所以悉索敝賦，在白鶴峰頭營造一間風雨茅廬，兒媳孫子都來了，一時平添幾多食口，縱使手頭非常拮据，不知為計，但是想到一室春溫、笑語充盈的生活，對於孤獨的老人來說，精神上的歡快，幾將是無可比擬的收穫。

紹聖三年（1096）正月，程之才將被朝廷召還，則合江樓就寄住不下去了；何況蘇邁方在活動指派粵中的差遣，假使事情成功，兒孫皆至，合江樓也住不夠。自朝廷公開詔告「元祐臣僚，一律不赦」以來，蘇軾已經斷了北歸的希望，決心就在惠州落籍，又豈可不弄個房子，以蔽風雨。所以，致程之才書說：

作過這詩后數日，蘇軾被流放海南的大災禍，就晴天霹靂似的突然爆發了。

蘇軾的經濟情況，非到實在窘迫萬分時，他不會在意這點責官俸料的折支券。然而到他在意時，卻領不到貨，變不了錢。

此詩眼界澄明，意境超脫，實則于虛無中透著悲愴。

至是（紹聖四年二月，1097），白鶴峰新居，指日可以落成了。這座山居，雖然限於經濟能力，不能算是很好的建築，但其一磚一瓦，一花一木，都是蘇軾自己設計經營的，也著實不同凡俗。

閏二月初，蘇邁、蘇過帶領兩房家小，到了惠州。蘇邁的大兒子簞（楚老），已是二十歲的青年了；次子符（仲虎），就是蘇軾所謂「夢中時見作詩孫」的孫兒，已十七八歲；還有過的夫人和長子籥都一起來了。白鶴峰上，笑語盈室，一倏時熱鬧非凡。患難雖然未盡，而家人得以重聚，竟然覺得過往三年，真如一夢。老人久已想望的「明年更有味，懷抱帶諸孫」的情味，忽然實現，怎不大為歡暢！

其時，與南華重辯書說：「行館僧舍，皆非久居地，已置圃築室，為苟完之計。方斫木陶瓦，其成，當在冬中也。」

書齋後面，有道後門，開門就是兩家貼鄰——釀酒的林行婆和老秀才翟逢亨家。

後來，他又派蘇過到河源去，親訪縣令馮祖仁，督促蔣親斫木，忙了一個多月。

二月間，蘇軾找到了歸善縣城東面的白鶴峰上一塊數畝大的空地，面臨東江，景色甚美，就將它買下來了。

陶淵明別無所嗜，就是歡喜喝點酒，他做彭澤令，令公田全都種秫，他說：「吾常得醉於酒，足矣。」他的夫人認為人總不能光喝酒，不吃飯，堅決反對。於是使二頃五十畝種秫，五十畝種秔。淵明在《自敘》一文中說：「公田之秫，足以為酒，故便求之，猶望一稔而逝。」不料他這縣官從仲秋做到冬天，在官只有八十天，即自辭去。洪邁在其《容齋隨筆》里，代他抱屈：「所謂秫秔，未嘗顆粒到口。」蘇軾起造白鶴峰新居，與陶淵明的種秫一樣，也只住了兩個多月。

紹聖三年的下半年間，蘇軾在惠州的幾個好朋友，紛紛都要走了，如惠州守詹范罷任（方子容來代），章楶也罷了廣州任（王古來代），還有循州太守周彥質，在那兩年，與蘇軾書問無虛日，忽又罷歸，依依不捨，特來惠州相伴半個月才走。初是朝雲新喪，還賴朋友之樂，聊得排遣；不料一倏時又風流雲散，這孤獨而又倔強的老人，心情不免落寞，《和陶時運四首》之一說：

建造圖樣粗定，就託人到河源去找木匠作頭王皋來，估計斫木陶瓦的數量，仍叫一個姓蔣的工頭在河源購買木料。當時在惠州，要找木匠，似乎也不甚易，因為蘇軾有一封給博羅縣令林抃（天和）的信說：「豐陸數木匠，請假暫歸，多日不至，敢煩指揮與押送來，為幸。」木匠棄工不顧，居然要勞動縣太爺拘送，其難可知。

佛說念念成劫。時光過得那麼快，俯仰之間，就過完一輩子。人也不過是這個世界中的萬物之一，物雖各有分際，但人如超越世界萬有之上，下觀生物之以息相吹，則人在這個世界里呼吸，與春天田野中移動的氣流（野馬）、大地上飛揚的塵埃、蚊蚋之生息於世，還不都是一樣。

紹聖四年二月十四日，老人先自嘉祐寺遷入白鶴峰新居，等待子媳孫兒的到來。陶淵明《時運》詩：「斯晨斯夕，言息其廬。」老人環顧新居，覺得此言似乎為他今日所發，心裏很高興：「長子邁與余別三年矣，挈攜諸孫，萬里遠至，老朽憂患之餘，不能無欣然。」拈筆和陶《時運》四首，錄一：

蘇軾是紹聖元年（1094）十月初二到惠州的，被招待暫寓合江樓，住了六天，就搬到嘉祐寺去了。在嘉祐寺住到二年的三月十九，因程之才的好意，復遷於合江樓，住了一年零一個月。至三年四月二十日，他們又不得不再搬回嘉祐寺去住，與重辯書說：「不欲久留，占行衙，法不得久居。」這是一個原因，次則蘇軾既欲水東造屋，每日要去監工，中隔大江，其時船橋尚未造好，往來甚為不便，所以程之才去后兩個月，他就搬回嘉祐寺。這樣搬來搬去，不得定居，竟如水上的飄蓬一樣，只望白鶴峰的新居早日落成，則可「庶幾其少安乎」！作《遷居》詩曰：

白鶴峰頭，只此一方平地，四面山勢陡下，山上只有一兩戶人家，房子都低於該地。地形左右稍廣，而前後則較狹隘。

只是蘇邁本來已授仁化令，現在卻發生了變故。因為仁化轄屬韶州，而韶州與惠州為鄰，現行朝廷新制，責官的親屬，不得在責地的鄰邑做官，蘇邁尚未到任，即已罷去。蘇軾與博羅縣令林抃（天和）書曰：

時間過得快，錢花得更快，一旦生活問題逼來時，蘇軾只得動腦筋到他那寧遠軍節度副使的俸料，欲將政府發給的折支券請領實物，然後變賣。責官俸料，本來不多，經過衙門剋扣，市場折價，大概只能換到三成的錢，而且申請了十八個月，還拿不到手。蘇軾沒辦法，寫信託廣守王古幫忙，書言：「某為起宅子，用六七百千，囊為一空，旦夕之憂也。有一折支券，在市舶許節推處托勘請。自前年五月請，不得，至今雲：未有折支物。此在漕司一指揮爾，告為一言于志康也。」志康，孫勰字，是蘇軾老友孫介夫之子，也是他省試的門生。

又稍後致王古（敏仲）書，則曰：

造屋的工程，進行得還算順利，將近過年時候，已經計算得出完工的日子。新居之西，有兩家近鄰：一家是林姓的老媼，以釀酒為業；一家是老秀才翟逢亨，很有一點學問。蘇軾有天晚上，走過翟家門口，就進去拜訪了他。作詩二首，其一雲：

這屋子從上年（紹聖三年）三月買地、設計構造起算，到本年三月遷入居住，足足費了一年時間，才告落成。其間蘇過親往河源督工斫木（那個時代，似乎還沒有木行這個專業，買木料須往林坂現斫），而蘇軾則日日上山，監工築造，一磚一瓦，一花一木，儘是辛苦。終於有了屬於自己的窩巢，老人在新居前後徘徊觀瞻，心裏非常高興，三月二十九日，作詩記事道：

得到消息，蘇邁已帶了自己和小弟過的家眷，到了虔州，預備從虔州換乘小船，由龍南江到方口出陸，至循州溯流而來惠州，蘇軾派過前往虔州迎接。

蘇軾按地形，打算造屋兩進；前面小屋三間，作為門房，中間隔個ｈtｔpｓ://rｅａd•９9ｃｓw•ｃom庭院，可以種植花木；第二進為堂三間，擬題為「德有鄰堂」；宅地左側較為寬闊，擬造居室、庖廚、廁所等；在此後面，造為書室，擬題名為「思無邪齋」；周以廊廡，共計為屋二十間。

山上沒有水源，飲水須到江邊汲取，甚是不便。蘇軾決定在新居里鑿井一口，約這兩家鄰居，可來共享此井。新居的庭院需要種點花木，寫信向程天侔要，書曰：

蘇軾《和陶貧士七首》詩引說：「余遷惠州一年，衣食漸窘，重九伊邇，樽俎蕭然，乃和淵明《貧士》七篇，以寄許下、高安、宜興諸子侄，並令過同作。」其實這時候，雖說貧窮，還不算真到捉襟見肘的地步，作《和陶乞食詩》時，還說：「幸有餘薪米，養此老不才。」但到白鶴新居將要完工，他那一點微薄的積蓄，卻已真箇用光，到了囊空如洗的地步了。蘇軾用錢，向來撒潑，起先一副熱心，做慈善事業，毫不顧慮自己。如《寄羅浮重辯書》說：

白鶴峰緊靠江濱，沿江築城，就利用此山深入水中的石腳及山壁峭拔之地，築為城址。當築城時取用山土，刨平了一段峰頂，蘇軾買的就是這方空地。故老傳聞該地舊有白鶴觀，現在已廢。

左邊是一組列的居室，繞以竹籬，以分內外，籬間雜栽花草，頗饒幽趣。右側為「思無邪齋」，是蘇軾的書房。書房的一頭，開一大窗，則江山數百裡間的景色，朝雲夕靄，水光嵐翠，都紛紛延入屋中，成為與書齋不可分割的一部分。