Его дебют в итальянском футболе состоялся в местном клубе в 1927 году, когда Джованни не было еще и двадцати лет.
"Джоанин" Феррари играл на месте левого инсайда в сборной Италии, которая завоевала Кубок мира 1934 г. Всего два игрока, он и Джузеппе Меацца, сумели повторить этот триумф во Франции, в 1938 г. Поразительно, но оба они дебютировали в сборной в одном матче - 9.02.1930 г. в Риме против команды Швейцарии (матч закончился со счетом 4-2 в пользу итальянцев).
Феррари выступал тогда за "Александрию", но вскоре перешел в "Ювентус", в котором установил рекорд, пять раз подряд становясь чемпионом страны. В составе черно-белых провел 160 матчей в которых забил 67 мячей.
Позднее он стал обладателем "вечного" итальянского рекорда, выиграв "скудетто" с "Амброзианой-Интер" в 1938 и 1940, а также с "Болоньей" в 1941 гг.
В 44 матчах за сборную Феррари забил 14 мячей. Он также был главным тренером сборной Италии на чемпионате мира в Чили в 1962 г.