I 1876 blev Nordre Kirkegård taget i brug på grund af pladsproblemer på Søndre kirkegård, som lå, hvor det nuværende rådhus ligger.
Nordre Kirkegård blev udvidet i 1891 mod sandgraven, i 1892 ind mod byen, i 1899 nordvest for Kirkegårdsvej og i 1912 med Knudrisbakke. I dag udgør kirkegården et samlet areal på 14,8 hektar. Allerede i 1920 blev det besluttet at anlægge endnu en kirkegård, fordi Nordre Kirkegård var fuldt udnyttet. Det blev til Vestre Kirkegård, der blev taget i brug i 1927.
Nordre Kirkegård er i dag karakteriseret ved de mange gamle og fornemme gravminder, ved de usædvanlig mange forskellige træer samt ved nærheden til byen og vandet, som fornemmes fra størstedelen af kirkegården.
Kirkegården er, udover sin primære funktion, formentlig et af de mest benyttede grønne områder i Aarhus. Sjældent kan man gå tur på kirkegården uden at møde andre mennesker, og de bedst placerede bænke er ofte optagede.