Oldřich Zajíc z Valdeka postavil kolem roku 1280 na konci křemencového valu hrad, chráněný ze tří stran potoky a ze čtvrté hlubokým příkopem. Na severní straně přiléhalo k vnitřnímu hradu nevelké předhradí, bráněné vysokou válcovou věží vestavěnou do rohu hradební zdi a přístupné pouze z jejího ochozu. Z budov předhradí se zachoval jen zbytek velkého paláce, který dal postavit koncem 14. století král Václav IV. Kolem Václavova paláce vedla cesta k hornímu hradu, v jehož čele stála druhá válcová věž, ze tří stran obklopená hradební zdí. Při této věži stával palác, nejspíše jednopatrový, s věží spojený padacím mostem. Z tohoto paláce zůstala pouze severní zeď. Za palácem se rozkládala hlavní kaple, obnovená kolem poloviny 14. století. Dnes stojí z kdysi významného hradu pouze dvě válcové věže a zbytky obou paláců. Oldřich Zajíc ze Žebráku zemřel roku 1304. Jeho syn Zbyněk vyměnil Žebrák s Janem Lucemburským za hrad Budyni nad Ohří, takže od roku 1336 byl až do svého zániku hradem královským. Pro Lucemburky byl Žebrák hradem nešťastným. Karel IV. zde ztratil prvorozeného syna, Václav IV. byl při cestě ze Žebráku na Pražský hrad zajat představiteli odbojné šlechty a tehdy byl hrad obležen a zapálen. Přesto byl ještě během Václavovi vlády opravován, neboť se zde roku 1412 zúčastnil Jan Hus disputace s mistry Karlovi university.
O dalšího požáru v roce 1532 hrad chátral a v roce 1552 byl již opuštěný. Hrad Točník, další své oblíbené lovecké sídlo, dal král Václav IV. zbudovat od roku 1390 na vrcholu téhož křemencového valu, na němž se rozkládají zříceniny hradu Žebráku. Točník byl od svého vzniku hradem královským a měl být původně hradem státní reprezentace, jak prozrazuje velkolepý heraldický vlys znázorňující znaky zemí, v nichž Václav IV. vládl. V roce 1401 bylo sice opevnění hradu dokončeno, je však pravděpodobné, že se stavba protáhla až do roku 1408, kdy Václav IV. definitivně Žebrák opouští, a kdy přesídlil na Točník. Příjezdem byl Točník orientován k plzeňské cestě, kam se jezdilo přes široký příkop po mostě, z něhož zbyly kamenné pilíře. Za hranolovitou věží ústila cesta do obdélného prvního předhradí s příkopem a padacím mostem, aby se pak obrátila do druhého předhradí, které obklopovalo na západní a severní straně královský palác. Prvé předhradí nebylo zastavěno, druhé ovládala budova paláce, jednopatrová stavba se sklepy, jejíž zvýšené přízemí bylo přístupné ze dvora schodištěm a pavlačí. Většina oken paláce zachovala původní ostění, průčelí byla pokryta v polovině 16. století sgrafitovou výzdobou.