Brorsen se narodil v dánském městečku Nordborg, ležícím na ostrově Als. Když mu byly tři roky, rodiče se rozvedli a dále žil jen s matkou. Ta byla naštěstí finančně zajištěna, a tak se mohl bez obav věnovat studiu. Nejprve chodil v Christiansfeldu do školy založené církví Moravští bratři, později do latinské školy ve Flensburgu. Poté se na přání matky začal věnovat právu, kvůli kterému navštěvoval školy v Kielu, Berlíně a Heidelbergu. Po nějaké době však změnil obor a studoval nejprve filozofii, později matematiku a přírodní vědy a nakonec astronomii.
Svá pozorování uskutečňoval na hvězdárnách v Kielu a Altoně (jedna ze čtvrtí Hamburku), kde v letech 1846 a 1847 objevil své první tři komety. Za tyto zásluhy získal ocenění od dánského krále Christiana VIII. V Altoně se navíc sblížil se zkušeným astronomem Heinrichem Christianem Schumacherem a stal se jeho pomocníkem. Během zdejšího působení dostal nabídku přejít na kodaňskou observatoř „Rundetaarn“ (Kulatá věž), ale překvapivě ji odmítl. Místo toho dal přednost soukromé observatoři Johna Parishe v již zmíněném Senftenbergu, kterou mu doporučil Schumacher.
Do budoucího Žamberku přijel Brorsen roku 1847. Protože majitel hvězdárny, John Parish, se také zajímal o matematiku a astronomií, investoval nemalé peníze do observatoře a vybavil ji velmi kvalitními přístroji z Londýna. Díky tomu snesla srovnání i s takovými hvězdárnami, jaké byly v Římě, Paříži nebo Greenwichi. Zároveň s nimi udržovala kontakty.
Brorsen zde objevil další dvě komety, ale věnoval se i jiným druhům pozorování. Sledoval například zákryty hvězd Měsícem, pohyby hvězd či sluneční skvrny. Také se zabýval polární září a zvířetníkovým světlem, u kterého nalezl protisvit. Objevil kulovou hvězdokupu NGC 6539 v souhvězdí Hada a emisní mlhovinu Plamínek v Orionu, označovanou dnes jako NGC 2024. U té však později vyšlo najevo, že nebyl prvním, kdo ji spatřil, protože již roku 1786 ji pozoroval William Herschel.
Toto plodné období bohužel skončilo roku 1858, kdy zemřel John Parish, a jeho dědic neměl zájem o pokračování astronomické činnosti. Přesto, že Brorsen byl ochotný pracovat na hvězdárně zcela zdarma, byla tato zbořena a přístroje rozprodány. Tato událost na něj velmi negativně zapůsobila. Podle některých zdrojů poté ještě pozoroval v omezené míře vlastními přístroji, podle jiných se již astronomií přestal zcela zabývat a věnoval se hlavně botanice. Podnikal dlouhé vycházky po okolí a zkoumal různé druhy rostlin.
Ačkoli byl dvakrát zasnouben, nikdy se neoženil a zůstal svobodný. Roku 1870 se vrátil do svého rodného města, kde žil samotářským a podivínským životem. Nestaral se o svůj zevnějšek a údajně se chodil pravidelně koupat do místního jezera, dokonce i v zimním období, kdy si musel vysekávat díru v ledu. Zemřel roku 1895 ve věku nedožitých 76 let.
