Esta es un área de clase obrera y de bajos ingresos que tiene una gran afluencia de turistas durante cuatro meses de cada año. La gente de Ellsworth, Maine, tal vez como la mayoría de las personas que viven fuera de las áreas urbanas, son algo reservadas hasta que te conocen, pero casi siempre son amables y serviciales. La paciencia ayuda mucho a llevarse bien en Maine. La agitada temporada turística de verano puede ser a veces una experiencia anormal y un tanto estresante para los locales y para los visitantes, y una sonrisa y una palabra amable hacen mucho. Visite Ellsworth desde fines del otoño hasta principios de la primavera para ver cómo es realmente, ¡cuando la multitud se ha ido a casa!
Según la historia de los indios Passamaquoddy, el área de Ellsworth fue habitada por primera vez por miembros de las tribus Passamaquoddy y/o Penobscot. En 1773 se construyó la primera goleta en Ellsworth. Se trataba de Susan y Abigail, nombradas así por las hijas de los dos ciudadanos más prominentes y colonos originales de 1763 del sur de Maine, Benjamin Milliken y Benjamin Joy. El barco transportaba tejas de pino y duelas de roble en viajes anuales a las Indias Occidentales. En los años siguientes, hasta principios del siglo XX, se construyeron muchas goletas de varios tamaños en los astilleros de Ellsworth a lo largo del río Union.
El historiador Albert Davis registra que en la última parte del siglo XVIII, Ellsworth era conocido como el 'Asentamiento de Union River' y estaba adyacente a los asentamientos de Surry (al este) y Trenton (al sur). En 1798, los habitantes locales solicitaron ser incorporados bajo el nombre de 'Sumner'. Habiendo tomado ese nombre un asentamiento en el condado de Oxford, Maine, la ciudad fue incorporada por la Mancomunidad de Massachusetts en 1800 como Ellsworth, llamada así por Oliver Ellsworth, tercer presidente del Tribunal Supremo de los EE. sugirió el nombre "Estados Unidos de América" para el país recién formado.
Davis también informa que a fines de la década de 1770 hubo incursiones británicas en Union River Settlement, con intentos de apropiarse del ganado local. Sin embargo, no hubo batallas formales en el área de Ellsworth durante la Guerra Revolucionaria.
En 1838, Ellsworth se convirtió en la sede del condado de Hancock, reemplazando a Castine en ese papel. Los edificios originales del condado de 1838 siguen en pie, al oeste del río Union, en Bridge Hill.
Entre 1860 y 1865, Ellsworth envió 653 soldados a luchar en la Guerra Civil, según el historiador Albert Davis. Esto fue en un momento en que solo había 847 votantes (hombres) en el área. El entrenamiento militar se llevó a cabo frente a los antiguos edificios del condado en Bridge Hill, al oeste del río Union, en el sitio del parque triangular del actual Monumento a la Guerra Civil.
En 1869, Ellsworth fue incorporada como ciudad por la Legislatura de Maine. El primer ayuntamiento fue Hancock Hall, que se encontraba en la esquina de Main Street y School Street. Fue destruido por el Gran Incendio de Ellsworth de 1933.
El trabajo en la famosa represa hidroeléctrica de Ellsworth se inició en 1907, en el sitio de una de las represas originales del río Benjamin Milliken Union en las 'cataratas inferiores'. Esto condujo a la creación del actual Lago Leonard justo al norte de la ciudad.
El primer gran desastre de Ellsworth del siglo XX fue la Gran Inundación de 1923. Una riada de primavera se precipitó sobre la presa y se llevó el puente de metal del río Union, junto con muchos edificios ubicados a lo largo del río, como el conocido Teatro Dirigo, el Fundición y muchos muelles y almacenes. Este evento marcó el final de la prominencia de Ellsworth como centro de envío. El actual puente de hormigón se terminó en 1924.
El Gran Incendio de 1933 destruyó la mayor parte del distrito comercial del centro de Ellsworth, en el lado este del río Union. Se reconstruyeron nuevos edificios en ladrillo, principalmente en estilo Art Deco. El exclusivo Ayuntamiento de Ellsworth data de este período. Afortunadamente, muchas de las casas antiguas fuera del distrito comercial sobrevivieron a la conflagración.
En las décadas de 1960 y 1970, se desarrolló un nuevo distrito comercial de Ellsworth en High Street, que es la ruta directa hacia y desde Bar Harbor y el Parque Nacional Acadia. Esta área es ahora el distrito comercial más grande del condado de Hancock, con varios centros comerciales y muchas tiendas grandes, que se extienden casi hasta el límite de Ellsworth-Trenton. El tráfico congestionado durante los meses de verano ha dado lugar a intentos de cambiar la red vial, especialmente en la concurrida intersección de la Ruta 1 y la Ruta 3, conocida como "El Triángulo".