Olasz származású szülei Dominic, az édesapja halottszállítóként és Mary, az édesanyja, aki egy könyvelő és varrónő volt. 1963-ban szülei válása-, majd diszlexiája miatt is nehezen haladt iskolai tanulmányával. A középiskola elvégzése után New York-ba költözött, hogy színészi pályára lépjen.
1976-ban Los Angelesbe költözött, ahol komédiákban és kisebb sorozatokban játszott. 1979-ben a Most és mindörökké című sorozatban figyeltek fel rá, maikor 3 részen keresztül alakította Pvt. Angelo Maggio karakterét. 1983-ban volt az első sikeres szereplése a Kockázatos üzlet című filmben, amelyben Tom Cruise oldalán alakította Guido szerepét. 1985-ben a Kincsvadászok című akciófilmben kapott kisebb szerepet, majd 1988-ban Robert De Niro oldalán szerepelt az Éjszakai rohanás című filmben.
1993-ban A szökevény című filmben Harrison Ford és Tommy Lee Jones oldalán szerepelt, majd a Fülledtség című krimiben 1996-ban alakította Caesart. De az igazán nagy sikert talán a Mátrix című film hozta meg számára, amelyben a "rossz oldalra átállt" Cypher-t alakította. A forgatás során olyan színészek mellett dolgozhatott együtt, mint Keanu Reeves, Laurence Fishburne, Carrie-Anne Moss és Hugo Weaving.
Egy évvel később a Memento című filmben volt a főszereplők között. Majd 2001 és 2004 között alakította Ralph Cifaretto szerepét 21 részen keresztül a Maffiózók című sorozatban. 2003-ban kisebb szerepet kapott a Daredevil – A fenegyerek című fantasyben, illetve 2006-ban a Randi az oltárnál című romantikus filmben alakította Smitty-t. 2010-ben a Kutyák és macskák: A rusnya macska bosszúja című vígjátékban kapott kisebb szerepet és szintén ebben az évben a Villámtolvaj – Percy Jackson és az olimposziak című filmben, Gabe karakterét alakította.
Pantoliano 1979-ben feleségül vette Morgan Kester színésznőt, akitől 1981-ben egy fia született, Marco, majd 1985-ben feleségével elváltak. 1994-ben házasodott össze Nancy Sheppard modellel, akitől két lánya született Daniella 1992, és Isabella 1998-ban, egy fia Bobby, illetve Sheppard lányának Melodynak nevelőapja is egyben. Joe-nak van még egy negyvenkét éves lánya, Michelle.
Született: 1951-09-12
X