Fils de commerçants, c'est à Clichy (au 5 de l'avenue Anatole France) qu'il grandit et qu'il se met à fréquenter les quartiers populaires de la capitale.Pendant la guerre en Algérie, il est amené, à ses yeux, à se comporter aussi cruellement avec le peuple colonisé que les soldats allemands l'avaient fait avec ses parents quand il était enfant. Il tue sous l'ordre de la République. Il en gardera une haine contre la société qui ne le quittera plus. C'est durant la guerre d'Algerie que Mesrine prendra un 45. special sur l'une de ses victimes et le ramenera en France. Il l'aura constamment sur lui.

Il participe à de nombreux cambriolages dès l'âge de 23 ans.

Il se marie et part travailler au Canada au service d'un milliardaire qu'il enlève en 1969. Il y assassine froidement deux gardes chasse. Arrêté, il s'évade de prison et retourne en France où il commet de nombreuses attaques à main armée. Il est arrêté par le commissaire Robert Broussard une première fois en 1973, à son appartement rue Vergniaud dans le 13^e arrondissementde Paris. Cette arrestation restera célèbre puisque le truand ouvrit la porte aux policiers (après de longues heures de négociations à travers la porte) et offrit le champagne au commissaire (Mesrine à Broussard: « Tu ne trouves pas que c'est une arrestation qui a de la gueule ? »).

Son incarcération aux quartiers de haute sécurité de la prison de la Santé est à l'origine d'un combat qu'il entend mener afin de les faire supprimer (décrivant les conditions de détention dégradantes et inhumaines). Par ce combat il contribua à rendre publique une réalité qui était jusqu'alors inconnue. Il parvient néanmoins à s'en évader le 8 mai 1978 accompagné de François Besse et de Carman Rives (ce dernier sera abattu par la ronde). Les conditions de son évasion restent à ce jour non élucidées.

Il braque le casino de Deauville peu de temps après avec son compagnon de cavale, François Besse. Le braquage tourne mal mais les deux évadés parviennent à s'enfuir. Il continue les braquages (comme celui de la Société générale de Drancy) tandis que la police reste impuissante à le localiser. Mesrine nargue les autorités en donnant des entretiens à des journalistes. Le 21 juin 1979, il enlève le milliardaire Henri Lelièvre et obtient une rançon de 6 millions de francs. Sa notoriété entraîne une guerre des polices entre Lucien Aimé-Blanc chef de l'OCRB et Robert Broussard chef de l'antigang, pour l'arrêter. Le 10 novembre 1978, il essaie d'enlever le juge Petit, qui l'avait condamné à 20 ans de prison en 1977 : c'est un échec, mais il parvient néanmoins à s'enfuir.

En septembre 1979, Mesrine tend un guet-apens au journaliste de Minute Jacques Tillier, le torture, le blesse grièvement par balles en lui tirant dans la joue et le laisse pour mort. En effet, celui-ci l'avait diffamé en racontant que Mesrine n'était pas une personne "réglo" avec ses associés.

Fin octobre 1979, le commissaire Broussard repère l'appartement de Mesrine rue Belliard, dans le 18e arrondissement de Paris. Le vendredi 2 novembre 1979, Mesrine est au volant de sa voiture BMW ; il est encerclé par les hommes de la Brigade de recherche et d'intervention, Porte de Clignancourt, à Paris. Un camion bâché qui s'est immiscé devant son véhicule dissimule des tireurs, qui ouvrent le feu sur lui et sa compagne. On trouvera dix-neuf impacts de balles dans son corps. Il est tué en possession de grenades et d'armes de poing. Sa compagne, grièvement blessée, perd un œil dans la fusillade. Sa mort est un premier cas de remise en cause de la légitime défense vis-à-vis de la police, qui aurait ouvert le feu sans sommation.

Le 6 octobre 2006, la Cour de cassation française a déclaré irrecevable le pourvoi en cassation de la famille Mesrine suite au non-lieu prononcé le 1^er décembre 2005 par la chambre d'instruction de la cour d'appel de Paris

Il est enterré au cimetière Nord de Clichy, la ville qui le vit naître.

La BMW verte métallisée de Jacques Mesrine est restée avec les scellés de justice 28 ans dans une fourriére a Bonneuil-sur-Marne avant d'être broyée dans une casse d'Athis-Mons le 14 mai 2007.