Zámek byl budován od roku 1363 jako posílení opevnění města kdy vévoda Rudolf IV. nařídil zakladateli vybudovat zámek. Až do jeho dokončení byla na veškeré državy spadající pod zemský soud ve Freistadtu uvalena daň: dvůr, polnosti, léna a statky. Po smrti Rudolfa IV. (1365) pokračovali jeho bratři Leopold a Albrecht ve výstavbě a nový zámek včetně bergfritu (hlavní kruhové věže) byl dokončen v letech 1397/98. Do roku 1440 bylo provedeno několik oprav a koncem 15. století došlo nejspíše i ke zvýšení bergfritu. Až do roku 1700 spadal majetkově zámek pod zeměpanskou vládu. Později se stal majetkem šlechtických rodů Harrach a Kinsky. V průběhu historických událostí a po četných změnách vlastníků sloužil k různým účelům. Byl panským sídlem, chorobincem, kasárnami, sloužil i jako obytná budova. Roku 1798 jej za 5000 zlatých koupilo město Freistadt. Od roku 1918 patří zámek Rakouské republice jako nástupci monarchie.

V areálu zámku se nachází Zámecké muzeum regionu Mühlviertel Freistadt

V roce 1921 vznikl vlastenecký spolek Alt-Freystadt a tím započala muzejní sbírkotvorná činnost. V roce 1926 tak mohlo být v zámecké kapli zřízeno první muzeum. Bezpočet exponátů z historie Freistadtu, světnice věžného dochovaná takřka v originální podobě a působivý pohled na historické město, to všechno promění návštěvu zámeckého muzea v zážitek.

V bývalé zámecké kapli se nachází největší sbírka podmaleb na skle v celém Rakousku, čítající přes 500 exponátů. Obrazy s převážně náboženskou tématikou pocházejí nejčastěji z oblastí Sandl a Buchers a vznikaly v období od roku 1780 až do třicátých let 20. století.

Expozice věnovaná řemeslům je zaměřena na výrobky a náčiní nejrůznějších řemeslnických odvětví. V místnosti cechů je umístěna rozsáhlá sbírka cechovních truhel, praporů a znaků. K nejvzácnějším exponátům patří korbel cechu freistadských tkalců z roku 1574.

Jeden z nejvýznamnějších celků hornorakouských muzeí představuje vlastivědná sbírka. Zahrnuje výklad lidových zvyků spojených s narozením, svatbou a smrtí, doklady lidové zbožnosti, středověkého práva a soudnictví, lidové kroje, zlaté čepce i předměty související se školou a trávením volného času.

Další sbírka poskytuje přehled o hornorakouském finančnictví a celnictví. Pozoruhodné jsou především skvostné úřední tabule z posledních dvou století a úřední uniformy od poloviny 19. století až po dnešek.