Hijo de Agustín Jiménez Aguilar y de Carmen Sandoval, nació en el pueblo de Dolores Hidalgo, en el estado mexicano de Guanajuato, donde pasó sus primeros años de vida, hasta poco después de la muerte de su padre en 1936, quien era dueño de una farmacia con la que sostenía económicamente a José Alfredo y a sus tres hermanos: Concepción, Víctor e Ignacio.

A los 8 años llegó a la Ciudad de México donde desde adolescente empezó a componer sus primeras canciones.

 La madre de José Alfredo, Carmen, abrió una pequeña tienda; sin embargo no tuvo éxito, por lo que José Alfredo tuvo que contribuir a la economía familiar y desempeñó múltiples oficios, entre ellos, el de mesero; fue además jugador de fútbol. Participó en los equipos Oviedo y Marte de la primera división de fútbol mexicano, en la posición de portero llegando a coincidir como compañero de equipo con Antonio "La Tota" Carbajal.

Más tarde, llegó a ser miembro de un grupo llamado "Los Rebeldes". En este grupo consumió por primera vez la marihuana y se hizo adicto en un tiempo a ella

El restaurante "La Sirena" donde trabajaba, era frecuentado por Andrés Huesca quien en alguna ocasión escuchó hablar de él y eventualmente escuchó algunos de los temas del entonces joven cantautor, entre los cuales estaba "Cuando el Destino" (canción a la que José Alfredo tenía mucha fe) y "Yo", esta última Huesca decide grabarla inmediatamente y de ahí en 1948 cantó por primera vez en la emisora radial XEX-AM y meses después en la XEW-AM donde se catapultó a la fama. Se casó con Paloma Gálvez con quien tuvo dos hijos José Alfredo y Paloma.

No tuvo educación musical; y de acuerdo al cantante Miguel Aceves Mejía quien apadrinó a José Alfredo en sus inicios apoyándole para sus primeras grabaciones profesionales (siendo también padrino de su boda religiosa con Paloma Gálvez), José Alfredo Jiménez no sabía tocar ningún instrumento y ni siquiera conocía los términos "Vals" o "Tonalidad". La mayoría de sus canciones interpretadas por el Mariachi Vargas de Tecalitlán, tienen los arreglos del maestro Rubén Fuentes, de quien se dice que José Alfredo simplemente le silbaba la melodía. Sin embargo, se cree que compuso más de un millar de canciones. Adicionalmente a las canciones que el mismo grabó, muchas de sus canciones han sido interpretadas por otros cantantes mexicanos y del mundo hispano entre los que sobresalen Miguel Aceves Mejía, Luis Aguilar, Javier Solís, Pedro Infante, Jorge Negrete, Vicente Fernández, Lola Beltrán, María Dolores Pradera, Chavela Vargas, Luis Miguel, Joaquin Sabina, Antonio Aguilar, Placido Domingo, Lucha Villa y Enrique Bunbury, entre muchos otros.

Se sabe que José Alfredo abrigó en sus últimos años, principios de los 70, una pasión por la joven cantante mexicana Alicia Juárez, con quien grabara un álbum en 1972. Él todavía no llegaba a los 50, pero las imágenes lo muestran como si fuera 15 años mayor.

José Alfredo Jiménez falleció en la Ciudad de México, el 23 de Noviembre 1973 a la edad de 47 años, a consecuencia de la cirrosis hepática que padecía desde años atrás. Sus restos descansan en el cementerio de su pueblo natal: Dolores Hidalgo, Guanajuato, tal y como lo mencionó, haciendo alusión a su canción "Caminos de Guanajuato". Desafortunadamente, por su disipado y derrochador estilo de vida, su familia no tenía dinero para los gastos del funeral, los cuales fueron cubiertos por la "Sociedad de Autores y Compositores de México" (SACM).