Его боксерская карьера началась в возрасте 20 лет, когда Джо одержал победу в 90-минутном матче над боксером по имени Джордж Хэарз (George Hares).
Джо Госс родился 5 ноября 1838 года в Нортгемптоне, Англия (Northampton, England). Хотя его вес редко превышал 160 фунтов (около 72 кг), умный и агрессивный Госс постоянно сражался с противниками крупнее и тяжелее его самого. Его боксерская карьера началась в возрасте 20 лет, когда Джо одержал победу в 90-минутном матче над боксером по имени Джордж Хэарз (George Hares). Госс не проиграл ни одного боя до тех пор, пока англичанин Джем Мэйс (Jem Mace), чье имя позже будет увековечено в Международном Зале Славы Бокса (International Boxing Hall of Fame), не побил его в Лондоне (London) 1 сентября 1863 года в бою, длившемся 19 раундов (1 час и 55 минут). Госс еще два раза будет бросать вызов Мэйсу, которого он считал своим 'заклятым' соперником, в том числе, на чемпионате 1866 года, но безуспешно.
В 1876 году Госс претендовал на титул чемпиона мира после победы над англичанином Томом Алленом (Tom Allen) в бою, длившемся 21 раунд. 30 мая 1880 года Джо Госс встретился в поединке с Пэдди Райаном (Paddy Ryan) в городке Колльерс-Стейшн, штат Западная Вирджиния (Collier's Station, West Virginia). Госс не смог продолжать бой, и поединок за звание чемпиона был остановлен после полутора часов на 87-м раунде. Вскоре после этого Джо Госс принял предложение о серии поединков с Джоном Лоуренсом Салливаном (John Lawrence Sullivan), пока в 1882 году не вышел на пенсию. В том поединке, когда Джон Салливан выиграл у Пэдди Райана титул чемпиона, Госс был в команде Салливана.
Джо Госс умер 24 марта 1885 года в Бостоне, штат Массачусетс (Boston, Massachusetts), в возрасте 46 лет.
К тому времени, когда Джо Госс прибыл в Америку (America), ему было уже 38 лет, но он путешествовал в хорошей компании, поскольку в Штаты Госс приехал по контракту с цирком Хоу и Кушинга (Howe and Cushing circus). Он почти восемь лет не выходил на ринг. Вся его карьера к этому времени состояла из десяти поединков, но в шести из них он победил, два раза заключил ничью и два раза проиграл. Но он умел нравиться людям, и его кандидатуру одобрил сам Джем Мэйс, которого часто называют отцом современного спорта, так что в Америке он занялся преследованием Тома Аллена. Вероятно, это была самая долгая череда поединков между двумя соперниками в истории современного бокса - Госс и Аллен сражались друг с другом около девяти лет. Госс прибыл 15 апреля 1876 года и провел весну и лето, разъезжая с цирком по стране. Большую часть времени Госс спарринговал с известным борцом, Уильямом Миллером (William Miller) и время от времени с Джонни Дуайером (Johnny Dwyer).
В 2003 году Джо Госс был введен в Международный Зал Славы Бокса (International Boxing Hall of Fame) в категории 'пионеры бокса'.