Det ursprungliga bostadshuset byggdes 1847, ritat i Bruniusstil. 1907 köptes huset av Kulturen, och 1908 gjordes sydgaveln om, med den samma år rivna borgmästaregården i Ystad som förebild. För östfasaden in mot stadsgatan stod ett annat köpmanshus från Ystad förebild. Båda hade byggts under 1500-talet med typiska utkragade övervåningar i korsvirke.
På sydgaveln finns en entré och ett fönster med en bodlucka som går att fälla upp som skydd för fönstret. Över entrén sitter en dörröverliggare från Malmö som bland annat har texten ”AO DNI 1529 BERNT AV T.”, alltså Anno Domini 1529 Bernt (”AV T” otolkat).
Den putsade västfasaden ger en uppfattning om hur hur huset såg ut från början, som bostadshus. Husets inre förvandlades för att passa museiändamålet och dörrhål togs upp till Schlyterska huset. En ramp byggdes för att tillgängliggöra huset i samband med ombyggnaden för utställningen Folkkonst & Design.