Puerto del Hambre está en los márgenes de la costa de Bahía Buena, en cuyo desolado paraje patagónico el capitán Pedro Sarmiento de Gamboa fundara la Ciudad del Rey Felipe, el 25 de marzo de 1584 con alrededor de 300 colonos. Este intento de colonización española se supone tuvo un trágico fin: sus habitantes perecieron de inanición. Años después, el corsario inglés Thomas Cavendish recaló en el lugar, y se encontró únicamente con los restos de la antigua colonia y un sobreviviente: Tomé Hernández, gracias a quien se conoce la historia de Rey don Felipe. El inglés rebautizó el paraje con el nombre "Port Famine", en castellano Puerto del Hambre, nombre que hasta hoy conserva. Bajo dominación inglesa, se utilizó como base para la Royal Navy británica.

Además de "Rey Don Felipe", Sarmiento de Gamboa funda la colonia del "Nombre de Jesús", situada próxima a la boca atlántica del estrecho, en el Cabo Vírgenes en territorio actualmente argentino, que fue abandonada por sus habitantes, presumiblemente para desplazarse hacia el oeste en busca de la Ciudad del Rey Felipe.

El buque de exploración hidrográfica HMS Beagle, bajo el mando del capitán Pringle Stokes se encontraba de misión entre la Patagonia y la Tierra del Fuego cuando éste cayó en una profunda depresión. Recaló en Port Famine en agosto de 1828 y se encerró en su cabina para después suicidarse. Fue sepultado en el llamado cementerio inglés del puerto, donde aún se encuentra su tumba, decorada con cartas naúticas. El teniente W.G. Skyring, oficial ejecutivo de la nave, asumió temporalmente el mando, para después traspasarlos al teniente Robert FitzRoy. Bajo su mando, y en el segundo viaje de exploración del Beagle viajó el joven naturalista Charles Darwin, visitando en numerosas ocasiones Puerto del Hambre entre 1832 y 1834.

El 2 de mayo de 1843 llegaron a Puerto Hambre los veinte primeros inmigrantes alemanes. El mismo año, Jhon Williams Wilson construyó Fuerte Bulnes, aproximadamente a dos kilómetros de la península llamada Punta Santa Ana dentro de una estrategia militarar para tomar posesión de varias regiones de la Patagonia en nombre de Chile. En tiempos recientes se ha reconstruido el fuerte original con su capilla, habitaciones del capellán, cárcel, polvorín, oficina postal y establos.

En febrero de 1968 las ruinas de la antigua colonia fueron declaradas Monumento Nacional de Chile.