Soubor vzpomínkových próz „Všecky krásy světa“ vznikl z podnětu fotografa Ondřeje Rakovce, který Seiferta požádal, aby slovem doprovodil jeho poetické fotografie zimní Prahy. Na začátku sedmdesátých let byla kniha Seifertových vzpomínek zadána do nakladatelství Albatros, na pokyn ministerstva kultury však byl rukopis v únoru 1972 vyřazen z edičního plánu. Seifert i přes odmítnutí rukopisu nadále pokračoval v psaní svých vzpomínek a v roce 1976 je nabídl nakladatelství Odeon. Vzpomínkové texty v témže roce ve svém bytě přednesla herečka Vlasta Chramostová před třemi desítkami hostů. Úryvky četby Vlasty Chramostové spolu s úvodním slovem Jaroslava Seiferta pak na gramofonových deskách vydala Nadace Charty 77 ve Stockholmu za podpory nakladatelství Šafrán v Uppsale. „Všecky krásy světa“ byly vydány v exilu také knižně – v roce 1981, u příležitosti Seifertových 80. narozenin, je vydalo nakladatelství Index v západoněmeckém Kolíně nad Rýnem i torontské nakladatelství Sixty-Eight Publishers. Samizdatově vyšly vzpomínky v edici Kvart rovněž v roce 1981. Nakonec byly „Všecky krásy světa“ oficiálně vydány i v Československu v nakladatelství Československý spisovatel v letech 1983 a 1985. Tato „oficiální“ vydání byla ovšem cenzurována – některé kapitoly či jména „nepohodlných“ osob byly vynechány. Rukopis „Všech krás světa“ spolu s exilovými i oficiálními československými vydáními a se seznamem cenzurních škrtů československého vydání byly vystaveny v aule Královské národní knihovny ve Stockholmu u příležitosti udělení Nobelovy ceny Jaroslavu Seifertovy v roce 1984. Třetí domácí oficiální vydání z roku 1992 pak vycházelo z necenzurované exilové podoby vzpomínek. Kniha poté byla v České republice vydána ještě několikrát a byla přeložena do mnoha jazyků.

V Literární archivu Památníku národního písemnictví se nachází rukopis „Všech krás světa“ z let 1970 až 1975, který PNP oficiálně zakoupil v roce 1978 od pražského antikvariátu na Václavském náměstí 41.