Замок Пацов изначально был замком, основанным в 13 веке, перестроенный в замок в 16 веке под властью Робмхапов из Сухи. В 1960-х годах часть замка служила школой и квартирой для учителей. Поэт Антонин Сова родился здесь 26 февраля 1864 года в семье учителя Яна Совы, что увековечено памятником И. В. Душека на валу. Замок принадлежал семье Вайс фон Тессбах до мая 1945 года, когда он перешел под государственное управление, а в 1947 году в нем разместился военный гарнизон. Армия покинула здание в 1992 году, но только в 1997 году оно было передано городу.
Впоследствии замок был реконструирован, и в настоящее время в нем находится муниципальный офис Пацова, муниципальный музей Антонина Совы в Пацове, муниципальная библиотека и информационный центр.
В этом замке система Foxtrot управляет всей системой отопления, освещением витрин в музее, освещением общественного зала и системой кондиционирования воздуха в общественном зале.