Ale keď bolo od Bartlebyho požadované niečo naviac (napríklad prekontrolovanie hoci aj krátkeho dokumentu) vždy odpovedal: „Nie prosím, ak proti tomu nič nemáte.“ To sa ale Melvillovi a jeho zamestnancom nepáčilo. Spočiatku si Melvill myslel, že má niečo s očami, avšak podobných odpovedí bolo od Bartlebyho počuť čoraz častejšie a onedlho odmietal aj chodiť na poštu „ak proti tomu Melvill nič nemal“. Jedno nedeľné ráno šiel Melvill do Kostola sv. Trojice, ale zdalo sa mu, že prišiel príliš skoro a rozhodol sa ešte zájsť do kancelárie. Kľúčikom sa však nedalo otočiť a nevedel si odomknúť. Zistil, že niečo je zasunuté do zámku z vnútra. V kancelárii bol Bartleby, ktorý tu, ako Melvill neskôr zisti, spával, jedol a teda očividne tu už dlhšie býval. Melvill ho požiadal, aby sa odtiaľ vysťahoval, ale opäť odmietol poslúchnuť. Neskôr sa situácia natoľko skomplikovala, že Bartleby odmietal všetko, čo mu bolo povedané. To sa Mellvilovi prestalo páčiť a dal Bartlebymu šesť dní, aby si našiel novú prácu. Po týždni však Bartleby ešte vždy sedel v kancelárii. Melville mu dal 32 dolárov aby sa mu ľahšie odchádzalo, ale on stále odmietal. Stal sa trvalou súčasťou kancelárie i napriek nesúhlasu svojho zamestnávateľa. Po dlhom uvažovaní sa Melville rozhodol ustúpiť a nechal Bartlebyho, aby tam naďalej býval. Ale jeho klienti si začali všímať, že sa tam zdržuje mladý muž, ktorý odmieta pracovať. Melvillova reputáciu začala klesať a robilo mu to starosti. Bartlebyho sa mu však nepodarilo vysťahovať, a tak si Melvill našiel novú pracovňu a starú nechal napospas osudu aj s Bartlebym.
Jedného dňa navštívil Melvilla neznámy muž - advokát. Oznámil mu, že je zodpovedný za toho mladíka, ktorého nechal vo svojej bývalej pracovni. Ale Melville odmietal akékoľvek príbuzenstvo, alebo vzťah s Bartlebym. Po niekoľkých dňoch sa advokát opäť vrátil. Povedal, že Bartleby odmieta pracovať a robí problémy. Nechcel opustiť budovu aj po uzavretí priestorov kancelárie, ostáva Bartleby sedieť na schodoch. Situácia okolo neho vyzerala čoraz vážnejšie, a tak sa Melville rozhodol, že predsa len s Bartlebym prehovorí. Ale po ich spoločnom rozhovore bola Bartlebyho odpoveď rovnaká „Radšej by som nič nemenil“. Do konca odmietol Melvillovu ponuku, aby určitý čas býval v jeho príbytku. Kvôli tejto svojej tvrdohlavosti sa nakoniec Bartleby ocitol vo väzení. Melville ho tam šiel navštíviť, aby videl ako sa mu darí. Podplatil dokonca aj „kuchmajstra“ (servíruje jedlo vo väzenskej jedálni), aby dal pozor na Bartlebyho na stravovanie. Bartleby sa však rozhodol, že by radšej nejedol. Jedného dňa keď prišiel Melville opäť na návštevu, našiel ho spať na dvore spolu „s kráľmi a radcami“.