A Manchester melletti Salford sörgyárosának volt a fia. Gyenge testalkata miatt 15 éves koráig otthon nevelkedett, majd magántanártól tanult. A fizikát, kémiát és a matematikát John Daltontól tanulta. 1838-tól, 20 éves korától, már tudományos folyóiratokban jelentek meg írásai.
1840-ben felfedezte, hogy a testeket csak egy meghatározott mértékig lehet mágnesezni. Vizsgálta az elektromos áram hőhatását és felfedezte az ezzel kapcsolatos törvényt.
Kísérletileg vizsgálta és meghatározta, hogy milyen számszerű kapcsolat van a munka és a belső energia változása között. Joule ismerte fel azt is, hogy a gáznak az edény falára gyakorolt nyomása a részecskék fallal történő ütközéséből származik. Tudományos tevékenységének elismeréseként az Angol Királyi Társaság tagjává választotta.1840-ben megállapította, hogy a vezetékben az elektromos áram által termelt hő arányos a vezeték ellenállásának és az áramerősség négyzetének szorzatával, amit azóta Joule törvényeként ismerünk. Sok más, a hő és az energia más formái közötti kapcsolatról szóló beszámolói között ez volt az első, amelyről cikke a Royal Society (Királyi Tudományos Társaság) lapjában jelent meg.
1842-től 1878-ig azt vizsgálta, hogy lehetséges-e mechanikai energiát közvetlenül hőenergiává alakítani bármilyen elektromos lépés nélkül. 1850-ben bemutatott híres „lapátkerék” kísérletével megalapozta a hőmennyiség és a mechanikai munka közötti azonosság elméletét. Joule-lal két német fizikus, Hermann von Helmholtz és Julius von Mayer, 1852-től 1862-ig az angol fizikus, William Thomson (a későbbi Lord Kelvin) is együtt dolgozott a fizikai törvényszerűségek kutatásán. Az általuk felfedezett energiamegmaradás törvénye kimondja, hogy az egyik formában felszabadult energia újra megjelenik egy másikban, és sohasem vész el. Megállapította továbbá a gázok hirtelen terjeszkedésekor előforduló hűtőhatást (Joule-Kelvin effektus), amit a hűtőrendszereknél azóta is használnak.
1847-ben házasodott össze Amelia Grimesszel. Mézesheteiket az Alpokban töltötték, ahol James folytatta tudományos kísérleteit. Mindig be akarta bizonyítani, hogy amikor a víz 778 láb magasból leesik, akkor hőmérséklete 1 °C-kal emelkedik. Elérkezett az alkalom, s amikor Chamonix-ba látogatott, egy hatalmas hőmérővel felszerelkezve megkísérelte ezt bebizonyítani. Nem járt sikerrel, mivel a víz ekkora magasságból nagyon permetszerűen hullott ahhoz, hogy a kísérlet sikerüljön. Három gyermekük volt: Benjamin Arthur (sz. 1849), Alice Amelia (sz. 1852) és még egy fiú, aki születésekor, 1854-ben feleségével együtt halt meg. Joule nem házasodott újra.