Kapitán sa rozhodol, že ak muži chcú, môžu ísť na ostrov. Presne tak sa aj stalo. Niektorí muži nasadli na člny a niektorí ostali na lodi. Jim sa prešmykol na čln. Skoro nikto si ho nevšimol. Keď priplávali na breh, Jim ihneď vyskočil z člna a upaľoval, čo mu sily stačili. John Silver naňho kričal, no Jim ho nepočúval. Po nejakej chvíli, keď už piráti neboli na dohľad, prestal. Užíval si čaro ostrova. Zrazu začul dupot nôh a nejaké hlasy. Jeden patril Silverovi a druhý nejakému námorníkovi. Jim sa prikrčil a pomaly sa k nim cez húšťavu zakrádal. Podarilo sa mu vypočuť ich rozhovor. Stal sa však svedkom nepríjemnej udalosti. Potom čo sa námorník chcel pridať na Silverovu stranu, ho Silver odpravil. Hneď ako to bolo možné, sa Jim rozbehol preč. Len tak sa prechádzal po ostrove. V tom začul výstrel z dela. Zaznel skôr ako mal. Ponáhľal sa k lodi. Cestou niečo stretol. Najskôr si myslel, že je to nejaké čudné zviera. Po krátkej naháňačke vysvitlo, že je to človek. Volal sa Ben Gunn. Bol členom Flintovej posádky, až pokým ho pred tromi rokmi nevysadili na tomto ostrove. Počas tohto nečakaného pobytu sa mu podaril úžasný nález. Jim a Ben sa dali do reči. Nakoniec sa stali spojencami. Ben pomohol Jimovi na chvíľu sa skryť pre pirátmi. Zatiaľ čo Jim prežíval svoje malé dobrodružstvo na ostrove, doktor a ostatní verní ho prežívali na lodi. Všetci sa zavreli do svojej kajuty. Rethrut, krytý slamou, strážil. K okienku priplával Joyce na člne. Začali deň nakladať potrebné veci ako zásoby, zbrane a strelivo. Potom sa vydali na more. Na pobreží ich videli piráti, ale tvárili sa akoby nič. Doktor s Joycom zašli za výbežok. Tam sa vylodili a zásoby a zbrane nasťahovali do zrubu s ohradou. Vydali sa na ďalšiu cestu. Podarilo sa im to aj druhýkrát.

To už pirátom na brehu začalo byť podozrivé, a tak jeden zašiel po Silvera. Pri treťom raze sa museli brániť aj na lodi. Pribudol k nim ešte jeden verný. Bol ním Gray. Trewelneymu sa podarilo poraniť jedného piráta na lodi. Začali na nich páliť z dela. To bol výstrel, ktorý počul aj Jim. Po tomto výstrele sa museli pasažieri člna trocha uhnúť. Bohužiaľ sa im podarilo celý člnok prevrátiť a zásoby so zbraňami im popadali do vody. Nemali už čas sa nimi zapodievať, pretože po brehu sa k nim rútili ďalší piráti. Ihneď sa pobrali do ohrady. Joyce presťahoval všetko do vnútra a čakal na svojich spojencov. Dorazili do zrubu práve včas. Piráti sa ponáhľali za nimi. Po pár výstreloch bolo ticho. Po krátkej porade pirátov vyslali jedného piráta a Silvera vyjednávať. Kapitán Smolett dovolil Silverovi preskočiť ohradu a prísť bližšie. Smolett so Silverovým návrhom nesúhlasil. Silver mu povedal nech teda o hodinu očakávajú útok. V zrube sa všetci chystali. Najskôr sa všetci ako tak najedli a prichystali si zbrane. To bol už Jim v zrube. Dostal sa tam počas ostreľovania zrubu delovými guľami. Kapitán všetkých rozostavil pri strieľne na každú stranu. On a Jim im mali nabíjať pušky. Všetci zaujali svoje miesta. Pozorovali každý pohyb. Gray zbadal niečo a ihneď vystrelil. Ako odpoveď mu prišlo niekoľko guliek. Začala sa prestrelka, poranili Redrutha, ktorý neskôr na následky zomrel. Piráti začali preliezať ohradu a začali sa k nim približovať čoraz viac. Stratili svoju výhodu zrubu. Doktor sekal šabľou toľko pirátov, koľko mohol. Aj kapitána poranili, našťastie zranenia neboli také vážne. Piráti tiež prišli o niekoľko mužov. Jim svojim spoločníkom rozpovedal príbeh o stretnutí s Benom Gunnom.

Na druhý deň doktor skontroloval ranených, potom pochovali mŕtvych. Všetci sa ako tak najedli. Doktor si vzal niečo na jedenie, zbrane a šabľu a potom zmizol niekde v lese. Jimovi skrsol v hlave nápad. Vzal si niekoľko suchárov, zbrane a strelivo. Keď sa nik nedíval prešmykol sa von. Mal plán a jeho prvým cieľom bolo nájsť čln Bena Gunna. Našiel ho pod bielym bralom. Bol to ľahučký, malý, kožený člnok. Chvíľu Jimovi trvalo kým sa ho naučil ovládať. Potichučky priplával ku kotvovému lanu Hispanioly. Lano bolo napnuté a z kabíny nad sebou počul nejaký rozhovor, ktorý sem-tam prechádzal do šarvátky, ale nakoniec sa vždy upokojila. Jimovi prialo šťastie. Vietor sa obrátil a napnuté lano povolilo. Podarilo sa mu ho aspoň trochu prerezať. Ticho čakal a načúval rozhovoru dvoch pirátov. Nastalo ticho. Piráti boli takí opití, že zaspali. Jim to využil a rozrezal aj zvyšok lana. Hispaniolu začal unášať prúd. Vzala so sebou aj kožený člnok. Jim vesloval ako vládal, po nejakej chvíli ho ovládol strach a únava. Keď sa prebral, plával okolo ostrova. Člnok sa ľahko kĺzal medzi vlnami. Keď si však sadol a snažil sa trochu veslovať, člnok akoby zdivel. Znovu si teda ľahol a člnok sa upokojil. Keď sa dalo, Jim prikrčený trochu vesloval. Tak aspoň čiastočne usmerňoval člnok. Snažil sa dosať na nejaký mys, ale zatiaľ mu to nešlo. V tom zbadal na mori o niečo ďalej Hispaniolu. Plávala raz na východ, no vzápätí sa obrátila a plávala na západ. Vysvitlo, že ju nikto neriadil. More bolo pokojnejšie. Jim sa zo všetkých síl snažil priveslovať k nej. Pomaly ju dobiehal. Loď však zrýchlila. Myslel si, že mu už ujde, keď tu spravila oblúk a znova sa vrátila k Jimovi. Zoskočil zo svojho člnka a zachytil sa na kotvovom lane. Hispaniola jeho malý člnok potopila. Vyštveral sa na palubu.