O další obrovské překvapení se Sharks postarali v ročníku 1994-95, když v úvodním kole play off vyřadili Calgary Flames. Po této sezóně odešlo ze San Jose několik hlavních postav, včetně trenéra Constantinea, kterého nahradil Jim Wiley, trenér farmářského týmu San Jose. Pravé křídlo Pat Falloon byl odeslán do Philadelphie a ofenzivní obránce Sandis Ozolinš byl vyměněn za tvrdého a velmi dobrého střelce Owena Nolana do Colorada. Z mužstva byli dále vyřazeni stárnoucí veteráni Sergej Makarov a Igor Larionov, které nahradil nadějný Jeff Friesen, jenž okamžitě patřil k nejvíce bodujícím hráčům klubu.

Tyto změny se projevily dvouletou absencí San Jose v play off, od roku 1998 ale Sharks už ve vyřazovacích bojích nechyběli ani jednou. V sezóně 1997-98 a 1998-99 pokaždé vypadli už v prvním kole, ale favorité Dallas a Colorado s nimi měli vždy plné ruce práce. Ještě hůře pak v roce 2000 dopadli v klání s dravými Žraloky Bluesmani ze St. Louis, překvapivý vítěz základní části. Sharks se proti Bluesmanům vybičovali k maximálnímu výkonu a majitele President's Trophy udolali v sedmi zápasech. V dalším kole poté sice San Jose ztroskotalo na Dallasu, oslnivý úspěch proti St. Louis ale týmu mimořádně zvedl reputaci a sebevědomí. Žraloci udivili NHL dokonce natolik, že se před sezónou 2000-01 objevily hlasy, že právě San Jose vyhraje základní část soutěže. To se Sharks splnit nepodařilo, mimo jiné díky dlouhé absenci kapitána Nolana, před play off však tým vypadal opravdu nebezpečně. Z Anaheimu přišel výměnou za Friesena ostrostřelec Teemu Selänne a borci jako Patrick Marleau, Niklas Sundström, Vincent Damphousse nebo Mike Ricci určitě strašili ve snech každého soupeře. Vyřazovací boje jsou ovšem věc velmi záludná a San Jose se v prvním kole s formou rozhodně nepotkalo. Bluesmani ze St. Louis tak mohli Žralokům vrátit vyřazení z minulého roku.

Sezóna 2001-02 byla pro hokejisty San Jose už šestou v pořadí (1996-2002), ve které se jim podařilo navýšit svůj bodový zisk v základní části NHL. Vyrovnali tak rekord, který dosud jako jediní drželi hráči New York Islanders (1973-79). Navíc si Sharks vytvořili klubový rekord v počtu vítězných utkání (44) i dosažených bodů (99). Není divu, že je mnozí odborníci tipovali za černého koně play off. Ve čtvrtfinále se o tom na vlastní kůži přesvědčilo favorizované Colorado, které San Jose vyřadilo až po sedmizápasové bitvě.