Viktor Barvitius se narodil 28. března 1834 v Praze jako syn pokladníka rodiny Buquoyů. Jeho starší bratr Antonín Viktor Barvitius byl architektem a designérem. V letech 1849 - 1855 navštěvoval pražskou Akademii a ateliér Christiana Rubena a Eduarda Engertha, kde studoval figurální malbu. Roku 1855 studoval umělecké sbírky ve Vídni, v roce 1856 v Drážďanech a Lipsku. Mezi lety 1857 - 1862 opakovaně pobýval v Mnichově, Augsburgu, Řezně, Norimberku, Bamberku, Berlíně a v Drážďanech. V období 1862 - 1865 zastával funkci korektora a knihovníka na pražské Akademii.

Roku 1865 získal roční stipendium do Paříže, kde se stal žákem Thomase Couturea. Ve Francii zůstal do konce roku 1868 a nějaký čas setrval u Soběslava Pinkase v Cernay-la-Ville. V roce 1869 si znovu prohlédl vídeňské sbírky a také Mezinárodní výstavu v Mnichově. Díky častým pobytům v zahraničí získal vynikající znalost evropského umění a roku 1885 byl pověřen instalací sbírek Společnosti vlasteneckých přátel umění v Rudolfinu. V letech 1877 - 1893 byl inspektorem Obrazárny Společnosti vlasteneckých přátel umění.

Spolu se svým bratrem Antonínem založil jako náhradu za zrušený malířský cech podpůrný umělecký Spolek sv. Lukáše. Dne 12. ledna 1878 se oženil s Gabrielou, rozenou Leichleitnerovou, ovdovělou šlechtičnou Haasovou von Wranau (1846 - 1886). S ní měl dva syny a dvě dcery. Viktor Barvitius zemřel 9. června 1902 v Praze.