1937 wurde er wegen Nazi-kritischer Bemerkungen gezwungen, den Vorsitz niederlegen. Planck besaß zudem eine große musikalische Begabung. Sein Leben war nicht immer frei von Schicksalsschlägen: seine beiden erwachsenen Töchter starben bei Geburtskomplikationen. Einer von Plancks Söhnen fiel im Ersten Weltkrieg, ein zweiter gehörte der Widerstandsgruppe um Stauffenberg an und wurde 1944 nach dem missglückten Attentat auf Hitler hingerichtet. Plancks Haus und fast alle seine Aufzeichnungen wurde bei alliierten Bombenangriffen zerstört.