A kastély tulajdonosa  a 19. század harmincas éveiben Szlavniczai és bajnai gróf  Sándor Móric  magyar főúr, európai hírű lovas, úszó és vadász, az Ördöglovas volt.  Sándor Móricot öntörvényű, hirtelen haragú embernek tartották, aki fogadásból még a  kastély erkélyéről is leugratott a lovával. A ló belepusztult a mutatványba, Sándort viszont még most is ördöglovasként emlegetik a bajnaiak. A gróf a szerelmének, a hírhedt Metternich kancellár lányának, Leontinának építtette át Bajnán az ősi családi fészket, a bajnai kastélyt Hild József tervei alapján.