A kastélydombon álló gróf Zichy- kastélyt 1722-ben kezdte építtetni a Várpalotán élő egyik Zichy család. A város uralkodó pontján álló épület 1860-ban leégett, melyet akkor a művészetpártoló földesúr, Waldstein János birtokolt, aki a kastélyt újjáépíttette. Waldstein János Széchenyi István legközelebbi baráti körébe tartozott, felesége Zichy Terézia révén került a birtokába. A kastély újjáépítésének terveit Ybl Miklóssal készíttette. A földszinti szépen felújított hall eredetileg kápolna volt, majd a világháborúk ideje alatt garázsnak használták. Az emeleti könyvtár gyönyörű fa polcai és különleges fa burkolatai máig láthatók, könyvei 1913-ban megsemmisültek. A könyvtárterem mennyezetén látható mitológiai korokat idéző freskóival ma is kulturális rendezvények rendszeres otthona. Az épület homlokzati attikái között a Waldstein - Zichy címer látható, a felirat szerint 1876-ban készült.
Ma az épület a Trianon Múzeumnak ad otthont, amely a Kárpát- medence természeti, történeti, kulturális értékeit, a XX. századi békeszerződés népességi, gazdasági előzményeit mutatja be. A kiállítás foglalkozik a trianoni békeszerződés, a bécsi döntések és a párizsi békeszerződés történetével, következményeivel.