Сградата се подготвя за музей в 1970 г.

Сградата на музея е построена в края на XVIII, началото на XIX век. До 1912 година в нея се е помещавал щаба на турския гарнизон, след което отново се използва за военни цели, само че от българския гарнизон. В двора на музея е имало барутен погреб, един от малкото в България. Помещението е запазено и до днес.

През 1962 г. сградата се използва като помощно училище за умствено недоразвити деца.

Още през 1970 г. сградата се подготвя за музей, където да се помести вече съществаващата археологическа и етнографска сбирка, но идеята не се осъществява и експонатите се предават в Кърджали, където се съхраняват и до днес.

Ардинският музей в момента се реставрира и паралелно се възстановява музейната сбирка от археологически и етнографски експонати, както и картинна галерия.