Hugo Ernst war in vielem ein typisches Kind seiner Zeit. Dass er sie schlussendlich gleichsam sogar überlebte, bringt einen melancholischen Aspekt in seine Laufbahn. Er war Künstler, verwandelte sich aber im Lauf seiner Karriere immer mehr in einen Kunstpraktiker, indem er sich weniger als Baukünstler denn als Steinmetzspezialist betätigte und als solcher dann ein richtiger Unternehmer wurde - mit wirtschaftlichen Höhen und Tiefen. Dass er sich eine künstlerisch stimmungsvolle, ansehnliche Villa samt Park errichtete, mochte nicht nur mit persönlichem Empfinden und Lebensgefühl des gehobenen Bürgers zusammenhängen, sondern bedeutete auch eine Art gebauter Visitenkarte. Wer sich in solcher Sphäre präsentierte, strahlte durch sie Kultur, Erfahrung und Leistungsvermögen aus, bekannte sich zu den traditionellen abendländischen Werten, ohne moderne Errungenschaften und "grünes" Bewusstsein zu verleugnen - ja man dokumentierte auf diese Weise überdeutlich, dass sich Tradition und aktuelle Tüchtigkeit auf einen gemeinsamen Qualitiätsnenner bringen ließen. Das Bürgertum bekundete namentlich in solchen Villenbauten, die Behaglichkeit, Komfort und Solidität vereinten, seine Bildung und seinen sozialen Aufstieg. Am Höhepunkt Hugo Ernsts beruflicher Laufbahn und damit vermutlich auch seiner Einkünfte kaufte er in dem damals mondänen Kurort Kaltenleutgeben das bereits 300 Jahre bestehende Bauernhaus Thumer und errichtete dort eine Villa im Schweizer Stil. Aus den Bauplänen gehen Hugo Ernst als Architekt und Josef Wenz als Baumeister hervor. Zu seiner Zeit dürfte in der Bevölkerung von Kaltenleutgeben der Begriff "Villa Ernst" für das Anwesen gebräuchlich gewesen sein, unter dem nachfolgenden Besitzer Georg Borgfeldt wurde es laut Postkarten "Borgfeldthof" genannt. Nach dem Tod von Borgfeldt war die Bezeichnung "Villa Hönigschmied" üblich, später wird die Villa als Taubstummeninstitut, heute wird sie als "Villa Elfenhain" bezeichnet.