John Coltrane at Antibes 1965

Durant la dernière période de sa carrière, Coltrane affiche un intérêt croissant pour le style free jazz, dont Ornette Coleman, Albert Ayler et d'autres ont été les pionniers dès la fin des années 1950.

Au mois, d'août, John épouse Alice McLeod, divorçant en même temps de Naïma, à qui il reprochait de ne pas lui avoir donné d'enfants. Alice remplace désormais McCoy Tyner au piano, et Pharoah Sanders, un jeune saxophoniste de style free, que Coltrane encourage depuis qu'il l'a rencontré, vient s'adjoindre au groupe.

En 1961, Coltrane signe un contrat d'enregistrement décisif avec Impulse!.

À l'été 1963, il quitte son ménage avec Naïma et emménage avec Alice McLeod. Le 15 septembre, quatre fillettes noires sont tuées dans un attentat à la bombe sur l'église baptiste de la 16e rue à Birmingham, en Alabama. Suite à cette tragédie, Coltrane enregistre, le 18 novembre, la pièce Alabama en mémoire des enfants assassinés.

En avril 1964, Coltrane renouvelle son contrat avec Impulse! Records. Le 29 juin, Eric Dolphy meurt, à Berlin, en Allemagne, des suites de complications diabétiques. La mère d'Eric fait cadeau de la clarinette basse de son fils à John Coltrane. Le 26 août, Alice donne naissance à leur premier fils, John Coltrane Jr. Leur second naîtra le 6 août de l'année suivante. Ils le baptiseront Ravi, d'après le nom du sitariste et chef spirituel hindou Ravi Shankar, dont Coltrane admire la musique et la philosophie. En novembre, ces derniers se rencontrent à New York.

Le 9 décembre 1964, le John Coltrane Quartet enregistre le chef-d'œuvre A Love Supreme (Un amour suprême), l'un des principaux canons de tout le jazz, une pièce que connaissent la plupart des musiciens professionnels, plusieurs d'entre eux pour en avoir déjà joué au moins des parties, sinon toute la suite de 32 minutes. A Love Supreme est une suite lyrique en quatre parties, construite sur un simple motif quatre notes à la basse, dénotant les mots a love supreme, fondation sur laquelle Coltrane développe des volutes de notes qui tourbillonnent en des envolées rudes et rauques de la même densité que Giant Steps, mais sans rien de son formalisme.

En décembre 1965, McCoy Tyner quitte le groupe, insatisfait de la nouvelle orientation de la musique de Coltrane. Il est suivi par Elvin Jones en 1966, suite à l'arrivée du batteur Rashied Ali, dont il ne peut supporter la compétition.

Le 19 mars 1967, Alice et John ont un troisième fils, qu'ils baptisent Oran. Le 27 mars, a lieu l'inauguration officielle du Olatunji Center of African Culture, situé au 43, 125e rue Est, dans Harlem. En mai, John est pris d'une douleur atroce à l'abdomen alors qu'il rend visite à sa mère. De retour à New York, il passe une biopsie, mais il refuse de rester à l'hôpital pour d'autres examens. Le 16 juillet, aux petites heures du matin, il est conduit d'urgence à l'hôpital. Le lendemain, 17 juillet, John Coltrane meurt suite à ses blessures.