A Belváros házainak egy része, így a Templom utcaiak is a római alapokra épült középkori városfalra támaszkodtak. A múzeum XIV. századi eredetű épületében a XVI-XVII. században a városkapitányok laktak. 1752-ben került az épület az Esterházy család birtokába, akik a homlokzatot barokk stílusban alakították át, míg az udvari fronton megőrizték a XVII. századi épületelemeket. Ekkor került a kapu fölé a hercegi címer, a homlokzati fülkébe pedig a máriacelli kegyszobor másolata. A bástyák tetején bástyakertet alakítottak ki, melyben ma is áll az 1789-ben épült zenepavilon.
A város tulajdonába került épületben 1957-ben nyílt meg a jelenlegi múzeum elődje.

A Központi Bányászati Múzeum a magyar bányászat országos gyűjtőkörű szakmúzeuma. A 2000-ben megnyílt állandó kiállításon hét tematikus blokkban mutatja be a Kárpát-medence legjelentősebb bányászati emlékeit az őskortól napjainkig. Az épület földszinti kiállításain eredeti méretű bányarekonstrukciókat, bányászati gépek kicsinyített, működő modelljeit nézhetik meg az érdeklődők.

A kiállítások témái:
- Bányászatunk képző és iparművészeti emlékeiből
- A magyar bányászati termelés története
- A bányászati oktatás története
- A bányászati tudományok fejlődése
- Ásványok és kőzetek, bányakincsek a Kárpát-medencéből
- A bányaművelés története a Kárpát-medencében
- A bányagépesítés fejlődése / Emberi erővel hajtott gépek