Хорватский футболист, центральный защитник. Игрок немецкого клуба «Хоффенхайм». С 2001 года постоянно играет в составе сборной Хорватии по футболу.
Шимунич родился в столице Австралии Канберре в семье эмигрантов — боснийских хорватов. Первые шаги в футболе сделал в знаменитой австралийской спортивной академии — Австралийском институте спорта, из которого вышли многие известные австралийские футболисты, как например большой приятель Шимунича, Марк Видука. В сезоне 1995/96 Шимунич пришел в свой первый профессиональный клуб, «Мельбурн Найтс», где юный Йосип уже в первом же сезоне выступил успешно, завоевав с командой медали чемпионата Австралии. В сезоне 1996/97 Шимунич забил свои первые голы в официальных матчах — 2 в 14 матчах лиги.
Талантливым игроком вскоре заинтересовались в Европе. Летом 1997 года Шимунич подписал контракт с немецким клубом «Гамбург». В Бундеслиге молодой игрок не имел практически никаких шансов сразу заиграть, и дебютировал только в 33 туре, 22 мая 1998 года в выездном матче против дортмундской «Боруссии», выйдя на замену на 84 минуте. Команда завершила сезон на 9 месте. В сезоне 1998/99 он не провел ни одного матча. В следующем сезоне 1999/2000 он вышел на поле в 6 встречах, а в зимний перерыв стал футболистом столичной «Герты», стоимость трансфера составила около 180 тысяч евро. В весенней стадии чемпионата Бундеслиги он не сыграл ни одного матча. В сезоне 2000/01 тренер «Герты» Юрген Рёбер всё чаще ставил Шимунича в состав столичной команды, при этом конкуренция в оборонительной линии была довольно велика: в команде играли такие защитники, как Эйолфур Свериссон, Марко Ремер или Костас Константинидис. В сезоне 2000/01 «Герта» заняла 5-е место в Бундеслиге и попала в число участников Кубка УЕФА. Сезон 2001/02 был для Шимунича более успешным. Он наконец-то стал игроком основного состава «Герты», занявшей еще более высокое место — 4-е. Выступление в Кубке УЕФА было не столь успешным, «Герта» уступила в третьем раунде швейцарскому «Серветту».
Летом 2002 года в столичном клубе сменился главный тренер. Рёбер уступил место голландцу Хубу Стевенсу, но на месте Шимунича в основном составе команды это никак не сказалось. Футболист стабильно выходил на поле в центре обороны. В сезоне 2002/03 Шимунич провел 22 матча, а 7 декабря 2002 года забил свой первый гол в Бундеслиге (ударом головой на 25 минуте в матче с «Вольфсбургом» (2:2)). В конце сезона берлинцы оказались снова на 5-м месте. Значительно хуже «Герта» провела сезон 2003/04. С Шимуничем в составе она вылетела уже в первом раунде Кубка УЕФА, уступив польскому «Гроцлину», а в бундеслиге заняла лишь 12-е место. Сезоне 2004/05 команда провела увереннее, заняв высокое 4-е место, Шимунич провел в том сезоне 30 матчей. В сезоне 2005/06 Шимунич играл мало, проводя больше времени, залечивая травму, и в итоге сыграл только 18 матчей, а команда пришла к финишу на 6-м месте. В Кубке УЕФА «Герта» вышла в групповую стадию, прошла дальше, заняв в группе 3-е место, но уже в следующем раунде не смогла переиграть румынский клуб «Рапид» из Бухареста.
В сезоне 2006/07 Шимунич со своей командой победили в Кубке Интертото и вышли в основной турнир Кубка УЕФА.
30 июня 2009 года перешёл из «Герты» в «Хоффенхайм».
Шимунич мог выбирать, за какую сборную играть — Австралии или Хорватии, но с самого начала был решительно настроен представлять в футболе родину своих предков. В сборной Хорватии Шимунич дебютировал 10 ноября 2001 года в матче со сборной Южной Кореи (0:2), заменив на 46 минуте Влатко Джолонгу. В 2001 году во время отборочных матчей чемпионата мира 2002 года он не сыграл ни разу, но в итоге оказался включен в число участников финальной стадии, заменив получившего травму Игора Тудора. В чемпионате выходил на поле во всех 3 матчах своей сборной, однако так не смогла выйти из своей группы. Шимунич входил в состав хорватской команды также и на чемпионате Европы 2004 года. В отборочном турнире он забил свой первый гол в сборной — 6 сентября 2003 года он поразил ворота сборной Андорры, а хорваты победили со счетом 3:0.
В 2006 году он был включен в число игроков сборной на чемпионате мира в Германии. Там он также принял участие во всех матчах своей команды. При этом он стал героем курьезного случая: В матче группового этапа со сборной Австралии от получил три желтые карточки в одном матче. Первое свое предупреждение он получил от судьи встречи Грэма Полла на 61 минуте. На 90-й минуте матча арбитр снова показал ему желтую карточку, однако при этом не выдворил его с поля. Как выяснилось позднее, судья записал это предупреждение к себе в блокнот на счет австралийских футболистов. Эту ошибку не заметили ни боковые судьи, ни инспектор матча. Наконец, на 93 минуте Шимунич увидел перед собой третью желтую карточку и всё-таки покинул поле.