Najprv sa bolo treba postarať o vyčistenie kasární, pretože boli zamorené hmyzom. Hőss dostal k dispozícii komando poľských vojnových zajatcov, aby mohol postaviť strážne veže a natiahnuť ostnatý drôt okolo obidvoch táborov, ktoré mali ostať oddelené. Osvienčim pre židovských väzňov a Birkenau pre vojnových zajatcov. Už 14. júna 1940, krátko po obsadení Paríža nemeckými vojskami, prišiel do Osvienčimu prvý transport židov, ktorí dostali rozkaz postaviť si svoj vlastný tábor. Hőss musel okrem vybudovania tábora zabezpečiť aj vysušenie močiarov a zaplavených miest. Existoval jediný spôsob – postaviť na rieke Visle priehradu. Hőss žiadal na výstavbu 4 roky. Dostal jeden. Preto nenechal robotníkov ani minútu oddychovať. Úmrtnosť medzi nimi dosiahla obrovské rozmery, čo však neprekážalo, lebo z nových transportov automaticky zapĺňal medzery. Stavba bola hotová 24 hodín pred určeným termínom.
Hőssovým pričinením sa zakrátko stal koncentračný tábor Osvienčim–Birkenau veľkým mestom. Bol však primalý na to, aby mohol prijať príliv čoraz väčšieho množstva väzňov. V tábore nastala strašná situácia, zúrili tu epidémie a krivka úmrtnosti rýchlo stúpala.

Čoskoro sa Hőss dozvedel štátne tajomstvo, ktoré vyplývalo z prejavu Adolfa Hitlera: Fűhrer nariadil definitívne vyriešiť židovskú otázku v Európe. Na túto úlohu vybrali tábor Osvienčim. Fűhrer bol totiž tej mienky, že ak nevyhubia židov teraz, vyhubia oni neskôr nemecký ľud. Tábor Osvienčim vybral preto, lebo sa tu stretávajú štyri železničné trate a je ľahko prístupný pre transporty. Okrem toho krajina je málo obývaná a poskytuje preto priaznivé podmienky na vykonanie tajnej operácie...
V tej dobe sa v Poľsku nachádzali už tri vyhladzovacie tábory: Belzek, Wolzek a Treblinka, ktoré však nepracovali spoľahlivo, pretože neboli schopné zlikvidovať za šesť mesiacov viac ako 80.000(!) jednotiek (používanie výrazu jednotka – 1 žid už bolo bežné). K tejto informácii sa vtedy Reichsfűhrer vyjadril: “Taký výsledok je predsa smiešny”.

Hőss sa musel pripraviť na to, že v prvých šiestich mesiacoch celkový počet dodávok dosiahne okolo 500.000 jednotiek. Jeho úlohou bolo urobiť v každom transporte výber z tých, ktorých práve dovezú. Osoby schopné pracovať mal dať k dispozícii priemyselnému alebo poľnohospodárskemu podniku v Osvienčime-Birkenau. Jeho ďalšou úlohou bolo posielať štatistické údaje o práceneschopných osobách z každého transportu, ktoré sa podrobili špeciálnemu ošetreniu. To znamenalo, že bude potrebné ošetriť až 2.800 jednotiek za 24 hodín. Hőss dostal upozornenie, že po šiestich mesiacoch sa tempo odosielania transportov podstatne zvýši.

O pár dní navštívil Rudolf Hőss tábor Treblinka. Všetci väzni boli v barakoch, nemohli vyjsť von. I keď bol tábor menší ako Osvienčim, bolo tu dvakrát viac strážnych veží a plot bol nabitý elektrinou. Za barakmi s väzňami sa nachádzal jeden oveľa dlhší barak ako ostatné s hermeticky uzavierateľnými oknami. Bol obklopený tridsiatimi SS s automatmi a psami. Celý barak obkolesovali dva rady ostnatých drôtov. Vnútri baraku bola vycementovaná podlaha a tri lampy chránené drôtenými mriežkami. Pri jednej z nich bol v strope otvor s priemerom asi päť centimetrov. Na opačnom konci boli druhé dvere bez okienka. Inak bola budova celkom prázdna. Čoskoro príslušníci SS dohnali skupinu dvesto väzňov, v ktorej bolo niekoľko zdravých chlapov a väčšiu časť skupiny tvorili ženy a deti. Viaceré židovky niesli v náručí dojčatá. Prikázali im, aby si vyzliekli šaty, ktoré vydezinfikujú, kým oni počkajú v dlhom baraku. Dostali rozkaz, aby vstúpili do miestnosti, a povedali im, že potom, keď budú dnu, otvoria obloky. Vstupovali pomaly, usporiadane. Keď vošiel posledný väzeň, uzavreli dubové dvere a spustili závoru. O chvíľu začal vrčať motor nákladného auta. K jeho výfuku bolo pripevnené potrubie, ktoré ústilo do otvoru v strope baraku... O pol hodiny už ležali na cementovej podlahe mŕtvoly s pokojnými tvárami a doširoka otvorenými očami. Po vyvetraní prišla skupina väzňov a odvážala mŕtvoly k hromadnému hrobu. Druhá skupina ich v jame ukladala, aby zabrali čo najmenej miesta. Cynicky vtedy znela pripomienka veliteľa Treblinky Schmoldeho: “Tento spôsob síce nie je spoľahlivý, pretože môj výkon za dvadsaťštyri hodín je max. 500 jednotiek, ale v každom prípade je humánny. Ľudia zaspia a to je všetko”. Výkon v Osvienčime mal byť v porovnaní neuveriteľných 3.000 jednotiek denne.

Už o mesiac mal Hőss podať Reichsfűhrerovi súhrnný plán na vyriešenie problému rýchlej likvidácie židov, nemal však o riešení ani predstavu. Rozhodol sa pre začiatok vybudovať v tábore akési “výskumné stanice”, ktoré by umožňovali preskúmať nové metódy vyhladzovania, ktoré hľadal. Vylepšil systém z Treblinky. Na obe budovy dal napísať “Dezinfekčná miestnosť” a dovnútra dal namontovať sprchy a rúrky, aby väzni mali dojem, že ich tam vedú na to, aby sa umyli. Službukonajúcim vo výskumnej stanici rozkázal, aby oznamovali väzňom, že po sprche dostanú teplú kávu. Okrem toho mali vstúpiť do miestnosti spolu s nimi, prechádzať od skupiny ku skupine, žartovať a ospravedlňovať sa, že im nemôžu dať mydlo, kým všetci nevstúpia. Zariadenie začalo okamžite fungovať a skúsenosť potvrdila účinnosť týchto opatrení. Väzni nekládli pri vstupe nijaký odpor. Naďalej však ostávalo problémom neefektívne splynovanie.