Член Совета Федерации России (с 2011 года). Депутат Верховного Совета СССР 11-го созыва, депутат Государственной Думы России III—V созывов. В Госдуме V созыва являлся членом Комитета по образованию и науке от партии «Единая Россия».
В 1960—1973 — работал на Сумском регенераторном заводе: инженер, старший мастер, главный механик, главный инженер, директор (с 1967).
1973—1978 — второй секретарь Сумского горкома партии.
1978—1983 — секретарь, второй секретарь Сумского обкома партии.
1980—1981 — находился в Афганистане.
1983—1986 — заместитель заведующего отделом химической промышленности ЦК КПСС.
1986—1989 — министр по производству минеральных удобрений СССР.
1989—1992 — председатель правления Всесоюзной Государственной агрохимической ассоциации «Агрохим».
С 1992 года — президент Российской агропромышленной компании «Росагрохим».
С 1997 года — президент Союза российских производителей минеральных удобрений.
С 1998 года — председатель совета директоров ОАО «Минудобрения».
В декабре 1999 года избран в Государственную Думу от Павловского одномандатного округа и оставался депутатом в течение трех созывов подряд.
С 2011 года — член Совета Федерации ФС РФ от Воронежской области, выдвинут региональным политсоветом партии «Единая Россия».
Как писала пресса, через цепочку оффшорных компаний Ольшанский владел кипрской компанией Yaibera Holdings Ltd, которой, в свою очередь, принадлежало россошанское ОАО «Минудобрения». В 2011 году миллиардер А. Ротенберг приобрёл завод, по разным оценкам, за 1,3 — 1,5 млрд долларов.
Состояние Ольшанского оценивается в 750 млн долларов США. Занимает 132-е место в рейтинге богатейших бизнесменов России. В 2012 году с задекларированным семейным доходом 574 млн рублей занял 13-е место в рейтинге доходов российских чиновников, составленном журналом Forbes.
орден «За заслуги перед Отечеством» IV степени
два ордена Трудового Красного Знамени
Орден «Знак Почета»
медали
Почетный химик Российской Федерации
Почетного гражданина города Россоши.
Лауреат национальной премии бизнес-репутации «Дарин» Российской Академии бизнеса и предпринимательства в 2005 г.