A Művészetek Háza a bécsi Plachnich iskola poszt szecessziós műalkotása, amely magában őrzi a bécsi szecesszió hatását és egyben a magyar szecesszió jellegzetes vonásait. A jelenlegi kutatások szerint 1905 körül épült Szemző Sándor ügyvéd megbízásából, de a tervező személye egyelőre ismeretlen. Szemző izraelita családba született 1876-ban, Budapesten volt ügyvédjelölt, házasságkötése után költözött Kőszegre, ahol irodát nyitott és városi képviselőként működött. Az első világháború idején katonatisztként szolgált, praxisát a háború után áttette Szombathelyre. A házat 1921-ben Reményi Ferenc katonatiszt, utazó vásárolta meg. Reményi Ferenc Pesten végezte elemi iskoláit, majd apja rábeszélésére 1882-ben beiratkozott a fiumei tengerészeti akadémiára. 1912–1917 között a Soproni Honvéd Főreál iskola parancsnoka volt, 1914-ben ezredessé léptették elő. Kitüntették a Ferenc József rend tiszti keresztjével. 1917 februárjában kőszegi előnévvel IV. Károlytól nemességet nyert. A minisztertanácsi jegyzőkönyvekből tudjuk, hogy a háború után, 1921 márciusában nyugalmazott ezredesként kinevezték a Kőszegi Katonai Alreál iskolába. Ekkor vette meg 54,000 korona értékben dr. Szemző Sándor házát. A visszavonult egykori tengerész 1940-ben bekövetkezett haláláig ott lakott. 
A második világháború után különböző funkciókban működött. A 2000-es években a kőszegi képzőművészeknek adott otthont, Művészetek Háza néven.
Az épületet a kőszegi KRAFT program részeként 2017-ben felújították. Gutowski Robert tervei alapján a Felsőbbfokú Tanulmányok Intézete egyik épületeként a földszinti kutatószobákat és irodákat az eredeti szobák és kiszolgáló helyiségek megtartásával alakították ki. A pince teljes felújításával nemzetközi színvonalú számítógépes szerverszoba és egy kisebb előadóterem jött létre.