I 1875 udlejede Aarhus by et areal på ca. 4,5 ha af 'Møllehavens Toft', der lå øst for Hasleforten, til et nystiftet haveselskab til anlæggelse af en planteskole og en prøvedyrkning af frugtsorter. Haveselskabet fik senere navnet Det Jydske Haveselskab.
I årene efter lejede selskabet mere jord, således at haven efterhånden dækkede ca. 8 ha. Men da havens drift efterhånden blev for dyr for selskabet, overtog byen i 1911 arealet, og byrådet enedes om at udlægge det som park. Allerede i 1903 havde man vedtaget en vejplan, hvori indgik anlæggelse af en botanisk have.
Siden 1911 er der gentagne gange blevet foretaget udvidelse af arealet, sidst i 1942-46, således at Botanisk Have nu dækker i alt 21,5 ha, heraf udgør Den Gamle By 5 ha. Langt den overvejende del af de repræsenterede planteslægter og arter, der nu findes i Botanisk Have, er et resultat af et godt internationalt samarbejde mellem botaniske haver verden over.