A középkorban Veszprémben nem volt még börtön, a rabokat a várhegy üregeiben őrizték. 1754–1763 között épült fel Veszprém vármegye új székháza (Vár u. 19.), benne helyet kapott a törvényszék és a tömlöc is. Az emeletes új épület azonban túl szűknek bizonyult, a megyei főorvos pedig már 1777-ben figyelmeztetett az ott uralkodó tarthatatlan állapotokra. A rabok közül három év alatt 27 férfi és 5 nő halt meg, közülük 21 még ítéletét várta. 1793-ban a börtönt kibővítették, de a zsúfoltságot csak átmenetileg oldotta meg.  

Az 1810-es földrengés komoly károkat okozott a vár épületeiben, azok átépítése elkerülhetetlenné vált. A vármegyeháza – és vele a fogház – megépítésére a megye közgyűlése 1846-ban hozott határozatot. Az építkezés egy év múlva kezdődött meg, és 1853-ban átadták az ötszintes épületegyüttest, amelynek két szintje a várudvar felett, három az udvar alatt helyezkedett el.  

1886–1887-ben az épületegyüttest a Törvényszék vette használatba, hamarosan azonban már ez is szűknek bizonyult. A börtönnek önálló utcai bejárata sohasem volt, járművekkel és gyalogosan is a közös nagy kapun át lehetett megközelíteni. Az épületen megépítése óta – kisebb átalakítások kivételével – nem történt szerkezeti változtatás, 2003-ig az ország egyetlen működő várbörtöne volt.

14 cella, 14 mikrotörténet és számos nézőpont, ami akár teljesen új megvilágításba helyezheti a börtönök világát és szerepét társadalmunkban. A Várbörtön Látogatóközpontban található, teljesen megújult börtönkiállítás várja az érdeklődőket, ahol a személyes szálakon túl természetesen a történelmi kontextust is megismerhetik.