Caspar Mertz wuchs in einer armen Familie auf. Bereits mit 12 Jahren gab er Gitarren– und Flötenunterricht. In Wien, wo er, seit Herbst 1840 lebte und als geschätzter Gitarrenvirtuose auftrat, war Mertz als Lehrer wie als Konzertmusiker tätig. In Dresden lernte Mertz die Pianistin Josephine Plantin kennen, die er im Dezember des Jahres 1842 heiratete.
In einer Biografie über Mertz, die Josephine Mertz 1902 in der Zeitschrift Der Guitarrefreund verfasste, wird Johann Dubez (1828–1891) als Schüler genannt. Die zeitgenössischen Kritiken der Konzerte des C. J. Mertz kommen zu unterschiedlichen Bewertungen. Einerseits wirkten immer noch die Konzerte Regondis der Jahre 1840/41 nach, was Mertz’ Wirken einem hohen Maßstab aussetzte. Andererseits gab es kaum eine Kritik, die nicht die Gitarre als „undankbares Instrument“ darstellte. Eine professionelle, den Lebensunterhalt sichernde Existenz als Konzertmusiker war vor diesem Hintergrund kaum möglich. So war die Existenz vor allem aus der Unterrichtstätigkeit heraus zu sichern, was auch die Notwendigkeit einschloss, Zither und Flöte zu unterrichten. Gleichwohl waren Mertz und Dubez die einzigen namhaften Vertreter der Gitarre in Wien der zweiten Jahrhunderthälfte. Mertz blieb in der Geschichte der Gitarre als Komponist präsent, insbesondere die Wiederbelebung der Gitarre um 1900 hat sich seiner Werke angenommen.
Im Jahre 1846 erkrankte Mertz. Josephine Mertz verkaufte nach dem Tode ihres Mannes dessen Manuskripte und Instrumente. Zahlreiche Werke kamen so in den Besitz des schwedischen Ingenieurs Carl Oscar Boije af Gennäs, der das Material nach seinem Tode der Schwedischen Musiksammlung (Statens Musikbibliotek) überließ.
Kurz bevor Mertz im Jahre 1856 nach schwerer Krankheit starb, gewann er, knapp vor Napoléon Coste, den Brüsseler Gitarren-Kompositionswettbewerb.
