Краєзнавчий музей знаходиться у пам’ятці архітектури національного значення ХІV ст. — Вежі Мурованій.

Є унікальною пам’яткою оборонної архітектури середньовічної Волині. Вона розташована в південно-східній частині Замкової гори на її крутому схилі. Найдавніше ядро споруди – донжон – був споруджений у другій половині ХІV ст. і є найдавнішою кам’яною спорудою Замкової гори, Острога і Рівненщини. Наприкінці ХV – на початку ХVІ ст. до донжона прибудували південно-східний кут прямокутної форми. На протязі ХVІ ст. у Вежі з’явилися контрфорси, зазнали перебудови її бійниці, а частково і склепіння в окремих її приміщеннях. В цілому будівля отримала тоді ренесансний декор. В 1797 р. третій ярус споруди за ветхістю був розібраний і на початку ХІХ ст. він був зведений заново. Тривалий час у замковому комплексі розміщалися установи Острозького повітового суду (недаремно у ХІХ ст. навіть на офіційних поштових листівках Замкова Гора іменувалася Судовою; в 1844-1869 рр. секретарем Острозького повітового суду працював видатний острозький краєзнавець і археограф Станіслав Кардашевич).
Пізніше 20 у замкових будівлях розмістилися на якийсь час військово-складські приміщення.
1885 р. Департамент уділів Міністерства імператорського двору (на той час наше місто вже належало удільному відомству, що здійснювало управління маєтностями царської родини) прийняло рішення продати на злам будівлю Вежі Мурованої на Замковій горі, а частину отриманих коштів використати на ремонт інших трьох веж (Круглої, Луцької і Татарської), що уціліли в Острозі. «Фахівці» удільного відомства вважали, що замок князів Острозьких через пізніші перебудови і пошкодження не становить історико-архітектурної цінності і до того ж через руйнування контрфорсів щохвилини загрожує своїм падінням навколишнім жителям. На щастя, вища наукова наглядова інституція того часу – Імператорська археологічна комісія – не поспішила дати своє добро на ці висновки чиновників і їх очевидне бажання найлегшим шляхом вирішити складну проблему. Археологічна комісія висловилася за збереження замку в Острозі і за асигнування коштів на ремонтні роботи в ньому, які були проведені влітку 1887 р. на загальну суму 4775 рублів: тріщини були замуровані цеглою, зміцнені контрфорси, відновлено покриття замку, розчищено його стіни від дерев. Це не вирішило всіх проблем подальшого існування замкової пам’ятки, але питання про її знищення вже не стояло. Це дозволило Вежі Мурованій зберегтися до часу заснування в Острозі Братства імені князів Острозьких у 1909 р. і великої громадської ініціативи (за підтримки тієї 21 ж Імператорської археологічної комісії) щодо дійсно наукової реставрації замку у 1913-1914 рр. і відкриття в ній історичного музею 11 (24) серпня 1916 р.

Сьогодні у Вежі Мурованій розміщений Острозький краєзнавчий музей з експозиціями історичного та художнього відділів заповідника та музейними колекціями археології, іконопису, живопису, портретного та сюжетного живопису, скульптури, кераміки, зброї, посуду, інших пам’яток історії, насамперед, доби князів Острозьких.