Jaroslav Kocian se narodil 22. února 1883 v Ústí nad Orlicí. 

Studoval na Pražské konzervatoři, kde byl žákem Otakara Ševčíka a skladbu se učil u Antonína Dvořáka. Po absolutoriu v roce 1901 zahájil úspěšnou koncertní kariéru, během níž vystupoval po celém světě, včetně Spojených států, Japonska a Číny. 

Proslul svou precizní houslovou technikou a citlivým přednesem děl Bacha, Mozarta, Beethovena, Čajkovského, Smetany a Dvořáka. V letech 1907–1909 působil jako profesor na konzervatoři v Oděse. Po roce 1921 vyučoval na Pražské konzervatoři, kde se v roce 1929 stal řádným profesorem a v letech 1939–1940 jejím rektorem. 

Mezi jeho žáky patřili například Alexandr Plocek, Václav Snítil a Josef Suk mladší. 

Zemřel 8. března 1950 v Praze a jeho ostatky byly později přeneseny na Vyšehradský hřbitov.