Kolben se narodil 1. listopadu 1862 ve Strančicích u Prahy, vystudoval strojnictví a elektrotechniku na pražské technice. Po studiích cestoval po Evropě a nakonec odjel do USA, kde získal místo asistenta slavného vynálezce Thomase Edisona, a později se stal hlavním inženýrem ve firmě Edison Machine Works v Shenectady. V Americe se sblížil i s další legendou světa vynálezů a techniky Nikolou Teslou.
Po návratu do Evropy byl Kolben několik let šéfkonstruktérem švýcarské firmy Oerlikon, která vyráběla vícefázové generátory. V roce 1896 se vrátil do Prahy, kde založil ve Vysočanech firmu Kolben a spol. Z původně malé dílny se stala světoznámá firma. Kolben totiž některými novinkami předběhl o několik let konkurenci a firma získala značné renomé.
Ve dvacátých letech následovaly fúze - nejprve v roce 1921 Kolbenův závod splynul s Českomoravskou strojírenskou a tento podnik o šest let později vytvořil se strojírenskou firmou Breitfeld-Daněk akciovou společnost Českomoravská-Kolben-Daněk (ČKD). Kolben byl ředitelem, později místopředsedou správní rady a založil i další firmy. Kromě toho psal studie o silnoproudé elektrotechnice a byl čestným členem několika organizací.
Osudným se stal slavnému průmyslníkovi jeho židovský původ. V roce 1943 jej nacisté deportovali do terezínského ghetta, kde také zemřel.
