1897年4月，因祖父病重，蘇傑生回到家鄉，在上海讀書的蘇曼殊隨大陳氏一起生活，受盡虐待。到11月間，祖父病重，大陳氏攜女返鄉，將生活用品盡數帶走，連被子的被面被裡都拆走，僅留一條棉胎給曼殊度日。大堂兄蘇維春從日本返鄉，途徑上海，得知后極為不忍，為曼殊重新買了被子。

蘇曼殊養母河合仙在看過何震編輯的曼殊畫作后寫道：

二次革命失敗后，蘇曼殊咄咄書室，鬱鬱不樂，有時擁衾病卧，竟日不食，食則立進飯五六盂。每每嘆息：「飄零之痛，愈於斯乎？」曼殊操普通話而雜以粵音，讀「飄零」之「零」如「楞」，聽了使人尤其感到痛心。不久，曾經幫助宋教仁起草過國民黨大政見書的徐血兒，憂傷病死。姜可生重遊上海，曼殊蹙額以告。兩人驅車會館，撫棺慟哭。

在日本大同學校讀書時，一日，教員陳蔭農在課堂上談及某事時說：「汝等誰為相子者舉手。」日語「相子」指混血兒，當時旅日華僑稱華父日母的混血兒為「相子」。全班舉手者過半，曼殊亦在其中。

大陳氏離開后，蘇曼殊便託付給姑父姑母照拂，境況依舊不好。曼殊後來翻譯雨果的《悲九_九_藏_書慘世界》，裏面杜撰某姑母逼迫寄養的侄女為娼，大概為對姑母當年冷眼相待之控訴。

次年3月，蘇傑生沉痾纏身，奄奄待斃，他托同鄉簡世錩到香港尋蘇曼殊，規勸其回鄉，希望臨終前父子見上一面。但曼殊對簡說：「我身上無錢，請伯父先回去。我到友人處借錢，然後回去。如果無錢回去，會被家人小看。」3月15日，蘇傑生去世，曼殊拒絕奔喪，而是擇道直奔上海。

1907年，蘇曼殊在東京與養母河合仙會面。此時河合仙已經嫁給了一位日本商人，見面是想告訴曼殊自己再嫁之事，並準備讓他與自己的丈夫見面。大約一個月後，曼殊與母親及母親的丈夫會面。曼殊似乎對母親再嫁之事頗為不滿，將見面地點選擇在日本人用於政治會談的料亭，且拒絕用日語與母親交談，兩次見面都是友人陳國權同往，任其翻譯。

蘇曼殊在日本求學的費用由表兄林紫垣提供，林生性吝嗇，每月只支助曼殊十元。當時，留日學生可以靠譯書賺取稿費，但曼殊兒時在鄉間只九_九_藏_書上一年村塾，且因其身體羸弱，一年村塾學習有大半在病中，故國學功底較差，不能勝任翻譯一事。曼殊只能住日本最窮的學生住的最低廉的「下宿屋」，吃的是摻了石灰的白飯。但他安之若素，不以為苦。為了節省火油費，他晚上竟不點燈。同住者問他，他則答曰：「余之課本，日間即已熟讀，燃燈奚為？」

次年3月，蘇曼殊由姑母帶到上海，找到父親。他對父親說，一家數十人，最愛他的是祖母，嫂嫂還算賢良，嬸嬸和親戚則輕視他，因而「淡觀一切，矢志永不回鄉」。從此，曼殊再未回到家鄉。

關於蘇曼殊的身世，存在諸多猜測，其友人陳獨秀、柳亞子柳無忌父子亦對此進行了諸多考證。1969年，蘇曼殊九妹蘇慧珊揭開了曼殊身世謎底：其父蘇傑生長年在日本橫濱經商，娶日妾河合仙。河合仙有妹河合若，年在妙齡，隨河合仙來到蘇家，願作蘇傑生偏室。河合若胸前有一紅痣，蘇傑生見后稱：「伊當生有貴子。」遂與河合若同居。河合若身懷六甲時，曼殊二叔蘇德生在國內為蘇傑生聘娶第三妾大陳氏，來到橫濱，見河合仙姐妹后，將二人逐出家門。蘇傑生只好九九藏書另覓房屋安置河合仙姊妹，不出數月，河合若即生曼殊。

蘇曼殊從不對人談及其身世，即使親密如劉季平、陳獨秀亦不言及。劉半農曾在信中談及其小說《碎簪記》，曼殊複信竟一連用了兩個不必問。他答道：「所記固屬子虛，望先生不必問也。……不慧正如圖騰社會眾人，無足為先生道也。今日病少除，書《人鬼記》，已得千余字。異日先生如見之，亦不必問也。」

蘇曼殊出生三個月後，河合若回到娘家，后嫁給一名日本軍人。曼殊便隨河合仙一起生活，亦曾一度被生母接到東京。曼殊六歲時，因蘇傑生的妻子黃氏年屆不惑，妾大陳氏連生女兒，蘇家子嗣僅長子蘇煦亭一人，有「香火」之慮。蘇傑生便乘機告知曼殊的存在。蘇家人聽罷大喜，馬上將曼殊接回蘇家，帶回老家廣東香山縣瀝溪村生活。蘇曼殊雖得祖父母疼愛，但在家中屢遭到黃氏、大陳氏等人冷眼。

蘇曼殊為庶母大陳氏虐待，卻對大陳氏所生的幾個妹妹很是愛護。1898年春，曼殊隨表兄林紫垣赴日本讀書，甫一下船，得知此處正開展會，急忙到花粉店選購了各式胭脂水粉送給年幼的妹妹們。同行的表兄、堂兄素知他性情https://read.99csw.com，一笑了之。

7歲開始，蘇曼殊入村塾讀書。很快，曼殊便表現出過人之處，寫字速度異常迅速，為他人所不及。但他性格孤僻，極少與人交談，然而一旦與人交談，遇到與他意見不同的，必與人爭辯，滔滔不絕，一直駁到對方無可置喙為止。

據蘇曼殊九妹蘇慧珊說，簡世錩是蘇父逝世時才到香港找曼殊回鄉奔喪的。曼殊問簡：「父親在世乎？」簡回答：「已去世。」曼殊說：「父親若在世我即回去，今雲父親已去世，回去無甚意味。」遂沒有回鄉奔喪。

1895年，蘇傑生攜妾大陳氏及女兒們赴上海經商，而長兄蘇煦亭則到日本隨表兄學習商業，獨將虛齡12歲的曼殊留在瀝溪老家。當時正值甲午中日戰爭之後，國人仇視日本人，曼殊獨自在老家被族人視為「異類」，遭到唾罵。曼殊「感懷身世，鬱郁不安」，以至於認為自己是遭到拋棄，被蘇家收養的日本人。日後，他曾在《燕子龕隨筆》中以前人詩自況，悲雲：「挑燈含淚疊雲箋，萬里緘封寄可憐。為問生身親阿母，賣兒還剩幾多錢？」

1903年，父親蘇傑生得知曼殊到香港后，曾到香港中國日報報社找曼殊，催促他回鄉完婚ｈtｔｐｓ://ｒeａｄ•９9csw.ｃoｍ。曼殊避匿室內，堅決不出，陳少白勸之再三，他唏噓不答。不多時，曼殊告知陳他決意出家為僧，準備到某寺拜師受戒。陳以為他天性涼薄，遂贈其數十金，資助其成行。幾個月後，曼殊再出現在香港時，已經是緇衣芒鞋。

沈燕謀回憶，蘇曼殊于身世，本有難言之隱。偶爾向沈口頭陳述，十九語焉不詳。若加詢問，他總是說：「無聊得很，無聊得很。」

諸宗元回憶，蘇曼殊與友人交談，「每言及其母，輒作長談。每曰：『我必有以慰老人之意。』其行役時，雖不挈一物，而老母之攝影必置襟囊間。其與友人交誼篤摯者，必以其母之攝影相贈」。