Caraballo Fermín nació en Puerto Ordaz en 1965 e inició sus estudios de Filosofía en el Seminario Mayor Divina Pastora de la archidiócesis venezolana de Barquisimeto.
El actual obispo completó sus estudios en el extranjero tras cursar Teología en la Universidad de Navarra, en España, y viajar a Roma para especializarse en Derecho Canónico y de la Familia por la Pontificia Universidad de la Santa Croce.
El venezolano fue ordenado sacerdote el 7 de diciembre de 1991 y desde entonces ha sido párroco en las iglesias de su localidad natal Nuestra Señora de Fátima y Nuestra Señora del Valle (además de la ya citada), además de ser vicario general y vicario judicial de la diócesis de Ciudad Guayana.
También ha impartido clases de Derecho Canónico en el seminario mayor El buen pastor, en Ciudad Bolívar.