Su carrera se desarrolló a través de cuatro actividades principales: fue director, compositor, arreglista y violinista. Se convirtió en uno de los grandes intérpretes de la generación de 1910, pero a partir de 1923 creó un estilo original que lo convirtió en líder de su generación y modelo de las siguientes. En 1927 grabó su primer disco. Entre sus grandes éxitos cabe mencionar: "El malevo", "Boedo", "Berretín", "Nobleza de arrabal", "Flores negras", "Copacabana", "Tierra querida" y "Sueño azul". De Caro fue de los primeros en comprender que el destino del tango era la música -no el baile ni la canción- y avanzó en esa dirección, hasta donde le dio el aliento.
Gracias a la ayuda de sus amigos, logró tocar en la orquesta de Roberto Firpo, en el Palais de Glace. Firpo le ofreció el violín y De Caro tocó "La Cumparsita". Después de verlo, Eduardo Arolas ("El Tigre del Bandoneón") lo invitó a tocar en su orquesta.
Su padre decidió poner punto final a las correrías de Julio. Una madrugada lo esperó en la puerta de la casa y el joven tuvo que confesar la verdad. Indignado, don José le preguntó si quería ser un buen médico o un vulgar tanguero. Ante su elección por el tango, su padre lo echó de la casa y Julio se fue a vivir con los abuelos. Se encaminó definitivamente hacia el tango y tocó con Arolas durante dos años.
De Caro se separo de Arolas por cuestiones de dinero y se unio a Pedro Mafia. Formaron un cuarteto. Luego, Julio pasó a tocar el violín en la orquesta de Osvaldo Fresedo.
Se casó en Uruguay y tuvo un breve matrimonio del cual nació su única hija, Beatriz.
Se radicó en Montevideo como primer violín de la orquesta del bandoneonista Minotto Di Cicco. Allí estrenó los tangos de su autoría: "La Farándula", "Maridito Mío" y "Milonga Corrida".
De vuelta en Buenos Aires, heredó el sexteto de Juan C. Cobián.
Tocó con su orquesta en el Palais de Glace en una recepción protocolar que le brindó la aristocracia porteña al Príncipe de Gales.
El presidente Marcelo T. de Alvear se declaró su admirador. Como retribución, De Caro compuso "Guardia Vieja", dedicado al presidente y que se convirtió en el éxito de la temporada.
Se embarcó rumbo a Europa. Se presentó en Niza. Allí tuvo como público a Carlos Gardel, que, desde su mesa, ofició de "presentador", y a Carlos Chaplin, que bailó el tango "El Monito". Pasó luego a Montecarlo, Cannes, Italia, Turín, Génova y Roma. Cambió la imagen de los tangueros argentinos "for export", que cantaban vestidos de gauchos, por un elegante smoking.
El 11 de diciembre, al cumplir 78 años y, en conmemoración al primer 'Día Nacional del Tango', le hicieron un homenaje en el Luna Park. Participaron todas las orquestas y todos los cantantes de la época. De Caro lloró ante 15 mil personas que le cantaron el feliz cumpleaños. Fue la última vez que estuvo arriba de un escenario. La familia se fue de vacaciones a Mar del Plata con Julio ya muy enfermo. El 11 de marzo falleció