Участок дома №17 на Невском проспекте в 1736 году пострадал от пожара, уничтожившего большинство построек на противоположном берегу Мойки. На погорелом месте портной Иоганн Нейман (владелец соседнего дома №18) "зачал строение
каменного дому в два апартамента по Невской прешпективой, да в заворот по речке Мье". Проект дома для Неймана составил архитектор М. Г. Земцов. В единый комплекс с особняком портного были встроены соседний дом придворного повара Шестакова и дом Янкова - адъютанта генерала Салтыкова (Невский пр., 19)