Известен своими работами в теории матриц, теории чисел и комбинаторике. Основатель Американского математического журнала.
Сильвестр начал изучать математику в Сент-Джон-коллежде Кембриджского университета в 1831 году. Его учёба прерывалась длительными болезнями, но в итоге он занял второе место на выпускном экзамене по математике в 1837 году. Однако он не получил степени бакалавра, так как для этого требовалось подтвердить свое согласие с догматами англиканского вероисповедания, что Сильвестр отказался сделать.
В 1841 году он получил степень бакалавра и магистра в Тринити-колледже в Дублине. В том же году он переехал в США чтобы стать профессором в университете Вирджинии (University of Virginia), но вскоре вернулся в Англию.
В 1877 году Сильвестр снова переехал в Америку чтобы стать первым профессором математики в новом Университете Джона Хопкинса (Johns Hopkins University) в Балтиморе. Его жалование составило 5000 долларов (довольно щедрое по тем временам), и он потребовал, чтобы его выплачивали золотом.
В 1878 году он основал «Американский математический журнал» (American Journal of Mathematics) — второй в то время в США.
В 1883 году он вернулся в Англию, чтобы стать главой кафедры геометрии в Оксфордском университете. Он руководил кафедрой до самой смерти, хотя в 1892 году университет назначил ему заместителя.
Именем Сильвестра названа бронзовая медаль (см. Медаль Сильвестра), вручаемая с 1901 года Королевским обществом за выдающиеся заслуги в математике.