放弃木寨，搬到冈恩的山洞去住。这时，那张地图已变成无用的废物，于是，他们就把它交给了海盗们。
他们走后，海盗们立刻占据了木寨。
吉姆飘泊了一整天，第二天夜里，摸回木寨，正好落进了敌巢，强盗们由于死的死，病的病，只剩下六个人，他们这些人互相猜疑，争吵不休。老奸巨滑的西尔弗看出了形势不妙，他为了给自己留一条后路，便出面保护吉姆，不让别的海盗加害于他。西尔弗的手下群盗，为此非常愤怒，对西尔弗出示了“黑点”，西尔弗从怀中掏出宝藏的地图，才将他们的愤怒平息下去。
天亮后，海盗们带上地图去找宝藏，但只发现一处空穴，财宝早已无影无踪。他们惊呆了，接着像野兽般发起狂来。这时，西尔弗毫不迟疑地抛弃了过去的同伙，和吉姆一起投奔到埋伏在附近的医生等人那里。经过一番激战，乌合之众的海盗被打垮了。
吉姆和他的朋友们把财宝装运上船，等到涨潮后，便驾着帆船返航，满载而归，回到了自己的家园。
张不伦那一夜将近鸡鸣时刻才睡去，梦里是浩瀚的海洋，好多藏着财富的小岛，竟咯咯笑醒了。一段时间，他做梦都向往着海洋，直到他碰到了《基督山伯爵》，立刻兴致索然。