Az épület a Művelődés utca, Park utca, Kistétény-köz és Piroska-köz által körülvett terület közepén helyezkedik el. Dr. Párkányi Ferenc helytörténeti könyve a következőket említi a villáról: „Ennek a környéknek a régi épületei közé tartozott a Piroska-közben a mai Huszár villa is.”. Az első adat 1881-ből arról tudósít, hogy használatba vették az akkori vadászkastélyt, ami Gróf Vojnovich Piroska számára épült.

Többszöri hozzáépítés után, 1928-ban vásárolta meg az épületet Dr. Huszár Géza matematika-professzor. Ő 1938-tól 1961-ig a Közgazdaságtudományi Egyetem tanszékvezető matematika-professzora volt, nagy műveltségű, nagy tudású biztosítás-matematikus, aki szintén sokat változtatott a ház eredeti állapotán. A professzor emlékét – hálás tanítványai által elhelyezett – márványdombormű és emléktábla is őrzi a villa toronyrészén. Abban az időben a villa komoly társadalmi összejövetelek színhelye volt, melyek néha házi muzsikálással is kiegészültek, lévén ifjabb dr. Huszár Géza a jogi egyetem után a Zeneakadémia zongoratanszakán is diplomát szerzett.

Az 1950-es évek folyamán a villát társasházzá alakították, így jelenleg három lakásra oszlik. A középső szalon és a díszpark az előző tulajdonosairól lett elnevezve. Elhatározták, hogy – zenészcsalád lévén – kamarakoncertek és irodalmi estek sorozatát rendezik itt, elsősorban a környéken lakók számára.

Az estek és a hozzájuk tartozó családias fogadás különleges együttlét hallgatók, vendégművészek és házigazdák között. Ez a ház múltját is idézi, hiszen ifj. Huszár Géza zongoraművész lévén, a zene és a társasági élet sohasem volt idegen a helytől.