作為江戶幕府初期最大規模的暴亂，島原之亂原本並非因宗教原因而起，而是因為幕府強加給島原藩的重稅。1634年至1637年間，由於九州的島原地區連續多年發生天災，幕府卻並沒有減少對島原藩所要求的稅收，島原藩主松倉重政只得採取嚴刑峻法，逼迫農民繳納他們無法負擔的賦稅，再加上此前松倉因禁教令而對基督教徒進行了殘忍屠殺，最終導致島原地區的農民發生起義暴動。起義的領導人則是原先小西行長的家臣益田好次之子益田時貞，后改名為天草四郎。

在17世紀至19世紀的歐洲戰場，火繩槍逐漸演化成了燧發槍，後來又誕生了線膛槍和后裝步槍，隨著火器威力的逐漸增大，貴族身上穿著的甲胄已經無法再為自己提供保護，反而成為了束縛手腳的負擔。因此除少量胸甲騎兵以外，裝甲已經被完全從軍隊中淘汰了。依靠方陣的衝擊戰術作用也在愈發減小，各國軍隊在戰場上的隊形變得越來越薄，以使其更易發揚火力。刺刀則取代了長矛成為步兵最主要的白刃戰武器。19世紀初的拿破崙戰爭中，法國軍隊又能夠將靈活機動的縱隊和散兵戰術與橫隊配合在一起，同時炮兵無論在野戰還是圍攻戰中都早已成為了決定性力量。到19世紀中葉，隨著線膛槍和後膛槍的普遍採用，步兵甚至已經沒有必要再採取齊射戰術來發揚火力，散兵又取代了戰列步兵成為戰場上的主流。後來當仍在使用鐵炮齊射戰術的日本軍隊面對他們時，前者便經常無法找到可以還擊的目標，只能在對方蜂群一般的打擊下自行崩潰。

1846年，幕府又一次面臨危機，法國艦隊突然出現在了琉球，要求與日本進行貿易。而在此之前三年，美國軍艦「哥倫布」號便曾來到江戶，提出通商要求。對幕府而言，琉球和江戶是完全不能相提並論的兩個問題，前者本身只是薩摩藩的屬國，地處偏遠，即使允許法國通商也不會對日本本土造成太大影響，但江戶卻是幕府的核心，一旦答應了美國人的要求，其後果便很可能無法收拾。因此幕府雖然拒絕了美國人，但卻將琉球問題交給了薩摩藩主島津齊興來協調解決，力求在不改變鎖國政策的基礎上與法國達成協議。如果無法達成這一點，那麼便同意開放琉球。幸運的是，法國人並沒有堅持自己的要求，很快便起錨而去，此後七年間西方列強也沒有再來到日本。

面對此事，江戶幕府第十二代將軍德川家慶心中焦急，在與重臣商量對策期間便中風而亡，其第四子德川家定繼承將軍寶座。日本在國難面前急需一位強有力的統治者來擺脫困境。但德川家定卻偏偏是一位從小就體弱多病、生性懦弱且極不願意在大庭廣眾下說話的人。如果按照現代醫學的說法，德川家定很可能患有腦損傷性麻痹，因此智力很低。後來一位曾見過家定的外國使臣回憶到，當他前往將軍御所參見家定時，家定根本沒有注意他在說什麼，而且不住地左右搖頭，時不時用力踢踏地板，發出很大噪音。而在使臣陳述國事之後，家定一言不發便急不可耐地走了出去。面對此景，就連這位外國人都不由得對日本產生了一絲同情——在這樣九-九-藏-書一位無能領導人的帶領下，日本遲早會淪為歐洲列強的殖民地。1854年1月，佩里率領7艘軍艦第二次來到江戶。正在一片混亂中的幕府自知無力抵擋外敵，只得接受了美國方面的開國要求，江戶幕府的鎖國政策至此宣告崩潰。

7月6日，家定因腳氣病去世，而德川慶福直到三個月後才登上將軍寶座並改名德川家茂。孝明天皇藉此機會向歷來主張尊皇的水戶藩發出密詔，要求後者剷除獨攬大權、對朝廷橫加干涉的井伊直弼。井伊直弼得知消息后立刻派心腹前往朝廷所在地京都進行調查，同時要求水戶藩交出密詔，由此拉開了安政大獄的帷幕。在這場日本歷史罕見的政治清洗中，上至藩主、公卿，下至浪人，但凡支持一橋派或反對幕府者均受到了處罰。由於策劃暗殺井伊直弼，大批水戶藩志士被捕，一部分因嚴刑拷打而死在獄中，一橋慶喜也被禁止參与政務。不久之後，清洗的風潮又擴散到了日本各地藩國。之前因企圖偷渡登上美國軍艦留洋學習而被長州毛利藩逮捕的著名學者吉田松蔭由於反對幕府政治，被引渡至江戶受審，並最終與另外6人被處以斬首之刑。儒學者梅田雲濱則在被捕后遭到迫害，死於獄中。薩摩藩的西鄉吉之助（即後來的西鄉隆盛）被逼投海自盡，被藩兵救起后流放奄美大島。

此時幕府雖然本心仍希望恢複原先的完全鎖國政策，但卻已經有心無力。「哥倫布」號來到江戶時，其搭載的火炮超過了江戶沿海炮台所有火炮數量的總和，威力上更是佔據著壓倒性優勢，幕府只得好生招待美國船員，直到將其送出日本之前都在小心避免惹出事端。在此之後，幕府雖然已經認清憑現有軍事力量根本無法恢復擊退政策，並開始著手加強各地海防，但由於其軍事科技、戰術以及戰略觀念早已落後于西方，因此其戰備工作也只是白白耗費國力和時間。

目的達成后，志士們立刻四散奔逃，除在暗殺過程中死亡的稻田重藏以外，山口辰之介、鯉淵要人、廣岡子之次郎以及帶著井伊頭顱的有村次左衛門等四人在逃跑過程中被井伊的護衛砍成重傷，眼見難逃一死便選擇自行切腹自殺，井伊直弼的首級則被彥根藩的護衛武士奪回。其餘有10人在逃亡后被捕或者自首，並在1861年至1862年間被處以斬首，另有一人後來切腹自殺。在策劃了這場史稱櫻田門外之變的刺殺行動的志士中，僅有兩人逃亡成功，並一直活到了明治維新之後。

1853年6月，美國海軍東印度艦隊司令馬修·佩里（Matthew Perry）准將率領著兩艘蒸汽戰艦和兩艘風帆戰艦來到日本，當地奉行所（江戶幕府在地方設立的行政機構，相當於中國的衙門）無奈之下只得以自己無權接受美國國書為由，希望讓美國人前往日本鎖國期間唯一對歐洲通商的長崎港駐泊，藉此拖延時間等待幕府決斷。但佩里沒有聽從日本人的說法，反而率領軍艦直逼江戶，率領300名軍官及陸戰隊上岸，在軍樂隊的伴隨下將美國總統親筆國書交予幕府，並在海灣里進行了一番水文勘測后啟程返航。臨行之前，佩里給幕府留下了消息告知後者，自己明年還會率艦隊再來日本，如果到時幕府仍不接受美國總統的開國「建議」，他便會帶領艦隊直搗江戶，以武力強迫幕府開國。

日本的鎖國態勢自此以後平穩地持續了200餘年時間。在九*九*藏*書1850年之前，西方列強在歐陸和美洲的爭奪使他們無暇過多顧及亞洲方向。荷蘭人為保證自己獨佔日本的利益，也一直在對其餘國家進入日本加以阻撓。直到19世紀初的拿破崙戰爭時期，荷蘭成為了拿破崙事實上的屬國，才給了英國攻擊荷蘭船隻並切斷其歐亞貿易航線的理由。1814年拿破崙第一次退位后，英國船隻在17世紀后的初步探索后重新回到了太平洋海面上。不過在那之前，俄國人便已經從北方將自己的觸角伸向了東亞。從18世紀30年代起，俄國探險家和商船便開始在日本海域出現，有時甚至還會在幕府管轄較為鬆懈的地區靠岸進行補給或從事地下貿易。

在信長和秀吉政權時期，日本與西班牙和葡萄牙進行的貿易中摻雜著大量歐洲傳教士。而在與荷蘭進行貿易時，後者卻並沒有將宗教過多融入貿易之中，這就使家康決心在1612年和1613年連續兩次發布禁教令，開始對基督徒進行大規模鎮壓甚至屠殺。到以實行鐵腕統治聞名的德川家光時期，幕府壟斷了全部的日荷貿易利潤，並在因過高稅收和屠殺教徒雙重原因導致的島原之亂后開始實行徹底的鎖國政策，禁止日本人走出西至對馬、南至琉球、北至蝦夷的地區，除荷蘭以外禁止歐洲一切國家與日本進行貿易，而居住在日本的荷蘭人也被全部遷居到了長崎，其餘國籍的歐洲人則更是被統一驅逐出境。除此以外，僅有朝鮮和中國商人仍在與日本進行著非正式的貿易。

「由於清國擁有十分強大的力量，因此夷人不會對其輕舉妄動……俄國很可能會首先征服日本，然後再征服清國……」

自井伊直政修建彥根城、建立彥根藩以來，井伊家作為世代追隨德川家的譜代大名之一，到黑船來航之前已經有四位藩主擔任過幕府大老（在德川幕府時期，家老成為非常設官職，是將軍以外的幕府最高決策人，僅有非常情況下才會任命大老），是德川家的核心政治力量之一。井伊直弼是其父井伊直中的第14個兒子，生於1815年。直弼17歲時，井伊直中去世，藩主地位由直中的兄長井伊直亮接任。為確保自己的嗣子直之能夠繼承家業，直亮將直中以及自己的兒子相繼送到了其他大名家裡作為養子。尚未被決定應送到何家的井伊直弼則被賜予300石封地，住在彥根城下。在此期間，井伊直弼學習了兵法和茶道。其後由於直之英年早逝，直弼才成為了直亮的繼承人。1850年直亮去世，井伊直弼成為彥根藩主，走進了幕府政治舞台的核心。

1858年4月，在南紀派幕府重臣的策劃推舉下，井伊直弼出任大老，獲得了輔佐將軍執掌天下的權力。直弼上台僅僅兩個月後便不顧朝廷反對在6月19日簽訂《日美通商親善條約》，之後又在7月間相繼簽署《安政五國條約》，引起了朝野上下的極大不滿。主張攘夷的一橋派立刻被激怒了，水戶藩主德川齊昭、福井藩主松平慶永、尾張藩主德川慶勝在《日美通商親善條約》簽訂5天後便來到江戶質問井伊直弼。後者非但沒有理會三位藩主，反而在第二天促使德川家定宣布慶福為繼承人，通過這一間接手段徹底打垮了一橋派勢力。7月5日，井伊又下令將三位藩主軟禁在自己家中，並禁止其與外界的一切聯繫。此外松平慶永和德川慶勝還被迫將藩主交椅提前傳給嗣子。

事與願違的是，美國人很快便露出了真正的爪牙，提出進一步的通商要求。1858年，幕府被迫與美國簽訂《日美通商親善條約》，接著又與俄國、英國、法國和荷蘭簽訂了類似條約，統稱《安政五國條約》（此時的孝明天皇年號「安政」）。不過在條約簽訂后，幕府卻在將條約呈九九藏書交天皇時受到了責難。雖然日本的外交權無論是從法理還是從事實上講都握在幕府手中，後者簽訂條約根本沒有必要呈交給遠在京都朝廷中的天皇批准。但由於江戶時代儒學當道，自德川家光之後的歷代將軍都無法漠視天皇威望，倘若幕府失去朝廷支持，民心就會發生動搖，威脅幕府統治的根基。此時位居天皇寶座的孝明天皇對外國勢力又恨又怕，既對外國人膽敢踏上「神國」土地感到忿然，又害怕幕府一旦開國幅度過大，外國人就會乘機使用武力征服日本，因此拒不批准通商條約。

此外，通商條約締結后，日本與外國的貿易導致國內物價上漲，加重了普通人民生活的負擔。因此，從武士階級的底層出現了許多主張恢復天皇權力並推翻幕府的尊皇志士和反對幕府開國政策並主張將外國人趕出日本的攘夷志士，國內頻繁爆髮針對外國人和幕府相關人員的恐怖事件。即使是在京都朝延內部，屬於攘夷派的朝臣勢力也在增大。本來幕府便是迫不得已才選擇了開國，在條約被朝廷拒絕後，雖然幕府仍堅持對外國履行條約協議，但在國內卻遭到了大批尊皇派和攘夷派人士反對。此時日本國內四處高漲著抵制外國人、外國船的情緒。一部分大名對幕府表示抗議，並紛紛搬出天皇作為對抗幕府的名義。此時的幕府實際決策人井伊直弼面對困境，只得使用高壓手段，對國內的攘夷派、倒幕派人士展開了史稱安政大獄的清洗行動。

然而這一情況並沒有持續太長時間。19世紀20年代，隨著西方捕鯨業的迅速發展，越來越多的捕鯨船開始出現在西太平洋方向，而日本東北方的海域對他們而言是一塊利潤非常豐厚的捕獵場。這些捕鯨船一旦失事或需要補給便會前往日本，要求幕府為其提供幫助。1824年，水戶藩和薩摩藩便與西方船員發生了兩次衝突，一位薩摩武士甚至拔刀砍傷了對方。由於擔心西方勢力越來越多地進入日本，幕府從18世紀末開始逐漸形成了一種抵制思想，並在1800年正式向各藩下令應擊退或扣押一切試圖在長崎以外地區靠岸的外來船隻。不過後來為避免與西方船隻發生武裝衝突，法令又被改為可以向這些船隻提供給養，但不能允許其進行貿易，並應在最短時間內將其送出國境。在1824年的兩次衝突發生之後，幕府重新轉為強硬，並在次年專門頒布法令要求大名在看到外國船隻到來時必須立刻趕走對方。

從一方面講，美國人成功實施了一場炮艦外交，邁出了打開日本國門的第一步。但對幕府而言，其在條約中允諾的所謂開國，也只是允許美國船隻在幾個有限的開放港口停泊，由日本方面為其提供糧油補給，並沒有太多實質性內容，反而是通過這樣一個有名無實的協議制止了外國軍隊入侵。在當時的日本學者眼中，清政府之所以淪為半殖民地社會，最重要原因便在於其採取過於武斷的外交政策，將自己拉進了一場力所不及的戰爭，失敗后只得在談判桌上任由列強宰割。

在征服琉球之後，幕府突然下令諸大名不得再建造或保有載重量超過500石以上的船隻，開始實行海禁。不過由於幕府與荷蘭正式建交，並允許後者在九州的平戶開設商館，因此日本在與中國恢復貿易的交涉失敗后也並沒有完全鎖國，家康本人甚至還鼓勵各大名與荷蘭、英國進行貿易。由於豐臣秀吉的禁教令因無法將對外貿易與宗教剝離而遭到失敗，這也使家康在接管日本政權后便一直在尋求對貿易和宗教進行切割分離的手段，而與荷蘭的正式建交終於使家康找到了辦法。

更為嚴重的是，井伊直弼死後無人再願意就任大老，承擔幕府興亡重任，將軍德川家茂又少不更事，導致幕府權九九藏書利核心出現了巨大的真空，無力壓制各地反對幕府的藩主和攘夷派志士。因此井伊直弼之死，也象徵著幕府對攘夷派和尊皇派實施鐵腕鎮壓的失敗。櫻田門外之變后，伴隨著各強藩對幕府和朝廷控制權的爭奪，全國上下積蓄已久的攘夷熱浪也終於逐漸湧出了水面。

女兒節當天，井伊直弼在上午9時離開宅邸，在60餘名武士保護下坐轎前往距其宅邸僅有500米之遙的江戶城櫻田門。由於當日天降大雪，武士們身披斗笠、佩刀也被裝在專門的防水袋子里。行至半路，水戶志士之一的森五六郎突然衝到隊伍前列，舉起一張狀紙佯裝告狀，高喊要求幕府大老為他主持公道。就在護衛們跑過去阻攔時，森五六郎突然拔刀砍向對方。隊列中的武士們聽聞此事紛紛趕到隊列前方，負責指揮暗殺行動的關鐵之介見有機可乘，立刻號令其餘17名埋伏在道路兩側的志士衝殺出來，直衝井伊直弼乘坐的轎子。眾武士由於要先解開佩刀的防水袋才能抽刀應戰，被打了個措手不及。水戶志士稻田重藏首先衝到轎子旁邊，將長槍刺入轎子，但隨後被護衛砍倒。廣岡子之次郎第二個趕到轎子旁，踢破轎門，舉刀便是一陣亂砍。最後志士中唯一的薩摩人有村次左衛門為表示薩摩藩對此事的熱誠，親自割下了井伊直弼的頭顱，高聲通知眾人行動成功。

事實上，對於英國和法國等歐洲國家而言，雖然以武力強迫日本開國並非難事，但由於日本與歐洲過於遙遠，其出產的物資、商品大多又能夠在中國等地取得，並不值得勞師動眾地出兵壓迫幕府，也沒有必要花費資金在日本維持另一支艦隊來保衛自己的利益。因此只有距離更近的美國和俄國才真正希望打開日本市場。對美國而言，日本是其跨越太平洋進入亞洲大陸的理想跳板，而對俄國而言日本則是擋在其通往太平洋道路上的絆腳石。

黑船來航之後，隨著德川家慶的去世和無能的家定繼位，幕府陷入了一片混亂。由於多病的家定必然會在不久后撒手人寰，而且其本人沒有生育能力，將軍繼承人的爭奪也變得愈發激烈。呼聲最高的兩位繼承人分別是出身紀伊藩的德川慶福，以及出身水戶藩的一橋慶喜。相比之下，德川慶福血緣與家定更為親近但年紀較小，到家定成為將軍時慶福僅有12歲，且能力平平，並無太多過人之處。與之相比，一橋慶喜雖然血緣稍遠，但21歲的他正值當打之年，而且也是公認的政治好手。推舉一橋慶喜者大多支持對幕府體系進行改革，主張不再由幕府壟斷日本政治，而將各地有實力的大名引入決策層，藉此聯合全日本之力救國，這一派人通常被稱為一橋派或水戶派。而以井伊直弼為首的另一派人堅持維護幕府的獨裁地位，拒絕改革，對外國則採取妥協態度，這一派人通常被稱為南紀派。

雖然德川齊昭的判斷並不正確，但卻明白地表達出了對歐洲列強征服日本的擔心。在中國失敗后，日本更是岌岌可危。巨大壓力之下，幕府被迫再次改變政策，同意向外國船隻提供補給。此後十年間，雖然一些歐美船隻陸續來到日本，並提出了通商要求，但在幕府新政策的緩衝下並沒有造成衝突。

在此後的幾個月中，由於擔心國內外形勢會因井伊直弼之死而發生變化，而且彥根武士也奪回了井伊的首級，不致幕府大老的頭顱被志士們拿去示眾，因此幕府對外宣布井伊直弼只是身負重傷，正在逐漸康復。但由於女兒節當天站在道路兩旁圍觀打鬥場面的百姓很多，不少人目睹了事件經過，因此幕府的託詞既無法瞞住日本的武士和百姓，也無法瞞住西方各國使節。

由於與外國私定條約，又掀起了血腥的安政大獄，再加上天皇的討伐密詔，井伊直弼一下子成為九九藏書了賣國賊和天皇的朝敵。攘夷派、尊皇派志士人人慾誅之而後快。最為活躍的水戶、薩摩兩藩志士決定聯手借1860年3月3日女兒節幕府重臣和各藩藩主登城發表祝詞之機誅殺井伊直弼。後來由於薩摩志士擔心藩主受到牽連，僅有有村次左衛門一人參與了實際行動，而水戶志士則有關鐵之介等17人參與刺殺。

1842年，幕府方面得知清帝國在鴉片戰爭中遭到失敗，而荷蘭方面也向幕府發出了警報，聲稱一支英國艦隊正在駛向日本，很可能會向幕府提出進行自由貿易的要求。雖然最終並沒有英國艦隊抵達日本，但幕府方面卻還是對這些情況感到膽戰心驚。對於此時的日本而言，亞洲大陸的中國擁有著高不可攀的實力，如果歐洲人能夠輕易擊敗中國，日本便也無法在戰爭中倖免。水戶藩主德川齊昭在1839年還曾發表過如下看法：

日本方面對此自然不會完全沒有警覺。18世紀80年代，幕府便曾專門商討外國船隻在日本出現時自己該採取何種對策，但並沒有得出具體結論。1808年，幾艘俄國船隻大搖大擺地公然進入江戶灣，要求日本開放同俄國的貿易往來，併為此襲擊了江戶附近的一些村落，試圖逼迫幕府滿足自己的要求。幾乎與此同時，一艘在太平洋地區尋找法國船隻的英國戰艦進入了長崎港，要求日本人為其提供補給。雖然幕府一度對這兩個同時發生的事件焦頭爛額，但不久之後俄國人和英國人便離開了日本。到拿破崙戰爭結束后，荷蘭重新成為獨立國家，恢復了自己在日本的獨佔地位，而英國船隻在日本出現的次數也並不多。

在篤信基督教的小西行長影響下，天草四郎也同樣信奉基督，並在起義軍中宣揚基督教中人人平等的思想。到1637年10月20日時，起義軍已經包圍了島原城。7天之後，天草群島也爆發了起義，甚至還在11月14日擊敗了唐津藩的鎮壓軍隊。德川家光震怒之下命令自己的部下板倉重昌前往九州，將附近各藩軍隊集結起來鎮壓起義軍。到1637年12月，幕府已在島原附近集中了將近12萬人的部隊，而島原和天草兩地起義軍雖然已經會合到了一起，但人數也僅有3萬人左右，而且其中很大一部分人根本沒有戰鬥力。天草四郎只得率領起義軍退守到島原藩南部的廢棄城堡原城，並在原城豎起了十字架振奮士氣。次年新年當天，幕府軍對原城發動攻擊，但卻並沒有在戰鬥中取得優勢，死傷人數多達3900人，甚至連板倉重昌本人都在攻城時戰死了。接替其出任指揮官的松平信綱一直將圍城態勢維持到了2月下旬，才終於在起義軍耗盡補給後於28日攻陷城池，並在城內進行了大規模屠殺。