Lusthuset står på sin ursprungliga plats och var en del av en trädgårdsanläggning på 1800-talet. Vackra sommarkvällar samlades man i lusthuset kring punschbålen eller drack choklad och kaffe och njöt av den prunkande trädgården.
Lusthuset är byggt i början av 1800-talet, troligtvis av professor Engeström som ägde fastigheten 1818-1845. Fastigheten innefattade det vi nu kallar Herrehuset, med trädgård och lusthus.
Då var lusthuset dekorerat som ett antikt tempel. Framför ingången fanns en kanal som enligt traditionen skall ha använts för att lära fäktmästare Per Henrik Lings studenter att simma (Ling började bygga Herrehuset, men det var inte helt färdigt när han sålde det till professor Engeström). Det är dock tveksamt om detta verkligen skedde eftersom vattendjupet knappast räckte till.