Errichtet wurde dieses Gebäude 1720 von Kammerrat Gabriel Friedrich Kühnemann, der bereits das Privileg zum „freien Branntweinbrennen und-verkauf“ besaß.
Nach mehreren Besitzerwechseln erwarb 1879 der Konditor Ernst Kuhlmann das Haus Neustadt 4 und eröffnete eine Konditorei mit einem Café. Seither werden in diesen Räumen Kaffee und Kuchen angeboten. Damit befinden Sie sich im ältesten Kaffeehaus der Stadt Detmold.