Narodil se 29. února 1820 v americkém městě Clarkson jako šesté dítě z celkového počtu devíti. Jeho život byl již od dětství protkán řadou nehod a úrazů. Ve třinácti letech si zlomil kyčel a kvůli špatné léčbě s tím měl po zbytek života problémy. Nemohl kvůli tomu zastávat těžkou práci a měl dostatek času na čtení a vzdělávání.
Uvádí se, že zájem o astronomii v něm probudila tzv. Velká březnová kometa roku 1843, jež byla na obloze mimořádně výrazným objektem. Nebyla to však první kometa, kterou mohl Swift pozorovat. Když mu bylo patnáct let, na obloze byla vidět Halleyova kometa, a protože se dožil bezmála 93 let, dočkal se jako jen málo lidí i jejího dalšího návratu v roce 1910.
Později se začal zajímat o optiku, sestrojil několik dalekohledů, se kterými sledoval oblohu a objevil mimo jiné několik komet. Také organizoval veřejná pozorování a astronomické přednášky. Jeho zanícení pro pozorování ilustruje fakt, že aby se dostal na střechu, odkud pozoroval, musel překonat tři žebříky. To by nebylo jednoduché ani pro zdravého člověka, natož pro Swifta, který měl zdravotní problémy a kulhal.
Roku 1878 během pozorování úplného zamění Slunce spatřil neznámý objekt asi dva stupně od slunečního disku. Domníval se, že by to mohla být planeta, obíhající uvnitř dráhy Merkuru, ale toto pozorování nebylo nikdy potvrzeno. Nyní se má za to, že se mohlo jednat o hvězdu théta či dzéta ze souhvězdí Raka.
Nedlouho poté se podařilo Swiftovi uskutečnit nejlepší obchod ve svém životě. Bohatý podnikatel Hulbert Harrington Warner mu věnoval 100 000 dolarů, za které byla v městě Rochester postavena hvězdárna a vybavena kvalitním dalekohledem o průměru 40 cm. Swift se stal jejím ředitelem a pomocí tohoto přístroje uskutečnil velké množství objevů. Během následujících let nalezl a popsal několik set objektů vzdáleného vesmíru.
Časem začalo Swifta trápit světelné znečištění a hledal lepší místo k pozorování. To nakonec našel na hoře Echo nedaleko od Los Angeles a přesídlil sem i se svým oblíbeným dalekohledem. Pokračoval zde ve svých pozorováních a objevoval další objekty až do vysokého věku. Teprve roku 1901 musel kvůli zhoršujícímu se zraku svoji činnost ukončit a odejít do důchodu.
Díky svým zásluhám obdržel velké množství ocenění a bývá někdy označován jako „americký Herschel“.
