Епископ Русской Церкви; с 4 июня 1915 года епископ; с 1918 — архиепископ Омский и Павлодарский.
Родился в семье диакона. Окончил Киевскую духовную семинарию (1883), Киевскую духовную академию (1887) со степенью кандидата богословия.
Будучи семинаристом, был определён чтецом к профессору академии архимандриту Сильвестру (Малеванскому), имевшему слабое зрение, оказывал ему техническую помощь при написании первых двух томов из пятитомного труда «Догматическое богословие».
С 27 октября 1887 — учитель церковно-приходской школы в селе Липовка Киевского уезда.
С 15 января 1888 — преподаватель Закона Божия в двухклассном министерском училище в местечке Шпола того же уезда, где большое влияние имели штундисты — сторонники протестантского течения, близкого к баптизму (а затем и слившегося с ним).
С 7 марта 1889 — киевский епархиальный миссионер, учитель церковно-приходской школы Киевского Свято-Владимирского братства.
С 1890 — полтавский епархиальный миссионер и преподаватель истории, пастырского богословия, литургики и гомилетики в Полтавской духовной семинарии.
Занимался миссионерской деятельностью в течение двух десятилетий. Активно противодействовал развитию баптизма на Украине, написал книгу «Обличение штунды в библейских текстах» с критикой взглядов представителей этого течения, которая стала пособием для миссионеров и священников. Заявлял, что «отступники, штунда разных наименований, суть изменники и враги святой Церкви, изменники и враги государства, изменники и враги всего славянства».
С 2 февраля 1892 — священник (целибат), зачислен в клир Полтавского кафедрального собора.
С октября 1892 по 1896 — руководитель и законоучитель женской воскресной школы города Полтавы.
С 1896 — епархиальный наблюдатель церковных школ Полтавской епархии.
С 12 мая 1902 — протоиерей.
Организовывал богословские чтения для интеллигенции и лично в них участвовал. По его инициативе было создано «Братство законоучителей и педагогов в память отца Иоанна Кронштадтского», издан Переяславский Полтавский патерик. В адресе, поднесённом ему к пятнадцатилетию церковно-школьной работы, его деятельность была охарактеризована так: «По градам и весям, по далёким и захолустным окраинам нашей епархии Вы разносили горячий призыв к дружной работе и, проясняя в сознании духовенства священную миссию нашей школы, Вы незаметно вкладывали первые кирпичи в фундаменты тех школьных зданий, сетью которых с такой поразительной быстротой покрылась наша Полтавская епархия». В 1911 епархиальный съезд учредил при Полтавском и Лубенском женских епархиальных училищах две стипендии имени протоиерея Иустина Ольшевского, в память о его деятельности.
10 декабря 1910 пострижен в монашество и возведён в сан архимандрита. Многие годы до пострижения вёл монашескую жизнь, жил в скромной келье при монастырской гостинице.
С 16 января 1911 — епископ Прилукский, викарий Полтавской епархии.
С 13 ноября 1915 — епископ Челябинский, викарий Оренбургской епархии.
С 4 июня 1915 — епископ Омский и Павлодарский. Участвовал в работе Поместного собора 1917—1918.
После издания большевистскими властями декрета об отделении церкви от государства организовал в Омске крестный ход (4 февраля 1918), в ходе которого обращался к народу с призывом хранить православную веру и защищать храмы. В ночь с 5 на 6 февраля был арестован большевиками, при аресте был убит эконом владыки Николай Цикура. Эти события вызвали возмущение прихожан. Закрылись учреждения, магазины, учебные заведения, красногвардейцы на улицах разгоняли народ. Власти вначале ввели в городе осадное положение, но уже 8 февраля были вынуждены освободить архиерея.
С 5 мая 1918 — архиепископ.
В ноябре 1918 был избран главой временного Высшего церковного управления Сибири (См. статью Русская православная церковь за рубежом). В период, когда он занимал этот пост, в Сибири был отменён декрет об отделении церкви от государства. Церковь получила отобранные у неё земли и собственность, в школах восстановлено преподавание Закона Божия, в Сибири была восстановлена учебная деятельность в пяти духовных семинариях и в пяти духовных училищах.
29 января 1919 привёл к присяге адмирала А. В. Колчака как Верховного правителя России. В марте организовал крестный ход с участием Колчака и членов его правительства. Восстановил институт военных священников, а августе 1919 благословил участников съезда казачьих войск России. Церковное управление, возглавляемое им, рассылало воззвания, в которых разъяснялась антихристианская суть большевизма. В Омске издавались журналы «За святую Русь» и «Сибирский благовестник».
Активно поддерживал движение крестоносцев, возникшее в колчаковской армии по инициативе профессора Д. В. Болдырева и протоиерея Петра Рождественского, создавших в Омске Гермогеновское братство по организации Дружины Святого Креста и Зелёного Знамени. Владыка отслужил молебен перед отправкой на фронт первой роты добровольцев-крестоносцев, лично прикалывал на грудь кресты командирам добровольцев, освятил кресты и хоругвь дружины крестоносцев и благословил участников дружины иконой Святителя Николая.
После отступления колчаковской армии остался в своей епархии. Арестован большевиками в Омске в конце 1919. Находился в заключении около двух месяцев, по данным содержащимся в его житии, был подвергнут жестоким пыткам, от которых погиб.
В 1998 был прославлен как местночтимый святой Омской епархии. В 2000 Архиерейский собор Русской православной церкви причислил святителя Сильвестра (Ольшевского) и эконома Николая Цикуру к лику Новомучеников и Исповедников Российских.