Осип Габрилович учился в Петербургской консерватории (1988-94) у А.Г.Рубинштейна по классу фортепиано, у А.К.Лядова и А.К.Глазунова по классу композиции. Совершенствовался в Вене (1894-96) под руководством Т.Лешетицкого (фортепиано) и К.Навратила (композиция).
Дебютировал как пианист в Берлине (1896), много гастролировал в разных странах, в том числе в США.
В 1909 году женился на дочери Марка Твена американской певице Кларе Клеменс.
С 1914 года постоянно жил в США. Выступал с серией так называемых исторических концертов, раскрывающих развитие жанра фортепианного концерта от И.-С.Баха до современных композиторов. Прославился испанскими сочинениями Ф. Шопена.
В США посвятил себя дирижерской деятельности. Дирижировал Детройтским симфонических оркестром, которым руководил до 1935 года. Одновременно (1928) дирижировал Филадельфийским симфоническим оркестром. Автор пьес для фортепиано, виолончели с фортепиано, романсов и песен.