В апреле 1846 году император Николай I собирался встречать праздник Пасхи без супруги и дочери Ольги, находившихся в Палермо. На торжественном богослужении Николай Павлович немного загрустил. Настроение императора тут же заметили приближенные.
После причащения к царю подошел петербургский генерал-губернатор Александр Александрович Кавелин и прочувствованно произнес:
"Государь, теперь, к сожалению, с вами нет ни императрицы, ни великой княжны Ольги Николаевны, но у вас есть заступающие их должности: я с Перовским... (Перовский был министром внутренних дел).
Николай Павлович пристально посмотрел на своего губернатора, помолчал... и, решив, что подобные речи являются следствием старого ранения в голову, незамедлительно уволил его с занимаемого поста с почестями и наградами.