Переулок был одним из основных спусков к Дону для жителей Солдатской слободы. На пересечении с Московской прежде стояла часовня во имя Святого Николая Чудотворца, построенная в память об избавлении Николая II от нападения самурая, грозившего ему в Японии. Во время путешествия царя по этой стране на него кинулся ниндзя с мечом.

Выше по переулку на углу Садовой в 1883 году вырос доходный дом Генч-Оглуева по проекту петербургского архитектора Померанцева. На первом этаже здесь были торговые ряды, на верхних - конторы и съемные квартиры. На Николаевском за городской администрацией работала Школа домоводства и кулинарии, построенная по проекту архитектора Васильева, следом расположилась первая городская электростанция, от которой остался только цоколь. Переулок заканчивался городским кладбищем.