Vzdevek starejši so mu dali, ker naj bi ga Jezus poklical prej kot njegovega bratranca Jakoba mlajšega, prav tako naj bi bil starejši tudi po letih.
Jakob in Janez sta bila sinova očeta Zebedeja (Jezus ju imenuje boanerges – sinova groma). Po poklicu sta bila ribiča v Betsajdi ali enem od drugih mest ob Genezareškem jezeru, kjer ju je Jezus skupaj poklical, da hodita za njim.
Apostoli Peter, Jakob starejši in Janez so trije izmed Jezusovih najtesnejših zaupnikov, saj jih je vzel s seboj na goro Tabor in se vpričo njih spremenil. Tudi v vrtu Getsemani je pred svojim trpljenjem poklical Petra, Jakoba in Janeza stran od drugih apostolov ter nato šel sam molit.
Evangelisti pripovedujejo, da je njuna mati prosila, da bi smela Jakob in Janez sedeti v nebesih na častnem mestu ob Jezusu. Toda Jezus je to spremenil v navodilo o ponižnosti in služenju bližnjemu.
Mučeniška smrt apostola Jakoba je izpričana že v Apostolskih delih (Apd 12,2), kjer evangelist Luka poroča, da je kralj Herod dal prijeti nekatere od apostolov, da bi se tako prikupil judovskim verskim voditeljem. O njegovi smrti Luka poroča, da je bil Jakob umorjen z mečem.
Žal ni nič zgodovinskega v trditvah, da naj bi apostol Jakob oznanjal v Španiji, saj je kmalu po binkoštih umrl zaradi vere. Zgodovinsko pa je izpričano, da so pred arabskimi vojaškimi pohodi v 7. stoletju relikvije svetega Jakoba prepeljali v Španijo, v kraj, ki danes nosi ime po njem – Santiago de Compostela.
Predvsem v 10.–15. stoletju je to postala izredno priljubljena romarska pot. Ker goduje julija, so se mu kmalu začeli priporočati za dobro letino, prav tako pa je poseben zavetnik romarjev.
Apostolska dela navajajo, da je Herod umoril Jezusovega brata Jakoba. Po izročilu naj bi bila njuna mati Saloma sestra Device Marije. Tako bi bila Jakob in Jezus bratranca. Vendar drugi viri tega ne potrjujejo niti ne zanikajo, saj o Joahimu in Ani vemo le to, da sta bila starša Device Marije, ne pa tudi, ali sta imela še kakšne druge otroke – kar pa je povsem možno.