Что делает Pernštejn необычным, так это то, чего с ним так и не случилось: его никогда не брали. Ни гуситские войны, ни шведская армия, осаждавшая его в 1645 году во время Тридцатилетней войны и оставившая на верхних башнях следы огня, заметные до сих пор, ни один из конфликтов, сравнявших с землёй столько его соседей. Барбакан, остановивший шведов, по-прежнему стоит у входа — его стены толщиной три метра. Внутри ждут Рыцарский зал с ренессансной лепниной, длинный сводчатый зал, который Митрожские превратили в библиотеку, и барочная часовня, пристроенная в 1716 году, — всё это часть примерно 80-минутного маршрута I с гидом по залам, прослеживающим историю замка от готических истоков до закрытия в XX веке.
На протяжении трёх столетий Pernštejns создавали здесь одно из величайших состояний земель Богемской короны, достигшее расцвета при William II of Pernštejn, чья семья, по большинству свидетельств, стала самым богатым и могущественным дворянским родом в Королевстве Богемия. Под его руководством суровая средневековая твердыня была пронизана эркерами, сводчатыми потолками и большим залом, построенным для приёмов, а не для обороны, — при этом более древние стены под ними никогда не были утрачены. Семья продала замок в 1596 году; позднее он перешёл к родам Stockhammer и Schröfl von Mannsperg, прежде чем Mitrovskýs выкупили его в 1818 году, владели им на протяжении XIX века и лишились его в пользу чехословацкого государства в 1945 году.