Już w latach trzydziestych pałacem interesowały się władze III Rzeszy. Zamierzał go nabyć Niemiecki Front Pracy (DAF) w celu otworzenia w nim szpitala. Ostatecznie w czerwcu 1943 roku zakupiła go Narodowosocjalistyczna Ludowa Opieka Społeczna, kierowana przez Magdę Goebbels. Ostatecznie pałac przejęła Śląska Wspólnota Przemysłowa, która koordynowała prace nad realizacją projektu „Olbrzym” w Górach Sowich. Jednak w kwietniu 1944 rolę Wspólnoty przejęła słynna organizacja TODT (to ona nadzorowała prace nad najważniejszymi projektami III Rzeszy – np. Wałem Atlantyckim i budową „Wilczego Szańca” – kwatery Hitlera). Na potrzeby bezpieczeństwa jej członków zaadaptowano pałacowe podziemia na schron przeciwlotniczy, zabezpieczony pancernymi i gazoszczelnymi drzwiami.

Sam projekt "Olbrzym" był owiany tajemnicą, a członkowie Organizacji TODT jeszcze 8 maja, czyli na krótko przed wkroczeniem Armii Czerwonej, palili na dziedzińcu pałacu stosy dokumentów.