Rent geografisk set er Skelhøjes historie meget gammel, den blev nemlig “formet” for ca 15.ooo år siden, da isen skabte Dollerup Bakker og Hald Sø. Men selve byens historie er kun godt hundrede år gammel.
Historien starter i årene 1905-06, da der blev vedtaget og anlagt en jernbane mellem Viborg og Herning. Der blev ved denne lejlighed også besluttet hvor stationerne skulle ligge og det blev grundlaget for Skelhøje. Byen blev navngivet da det var blevet besluttet at der skulle ligge en station her. På et møde hvor egnens beboere, politimesteren, amtmanden og ejeren af Dollerup mølle, A.P. Jensen, var til stede, foreslog Chr. Nielsen at byen skulle hedde Skjelhøje. Navnet skulle den have efter de gamle kæmpehøje, der lå i området, og som dannede skel mellem Lysgaard, Dollerup og Fredriks sogne, mellem herrederne Lysgaard og Nørlyng og mellem stifterne Aarhus og Viborg. Byen voksede op omkring stationen og blev med årene til en meget livlig by, med mange små erhvervsdrivende.
I 1910 lå der således både en købmand, en skrædder, en smedje, en bager med øldepot, en mølle med tilhørende korn og foderstof forretning, en slagter, en træhandel, en skomager, en manufakturforretning med egen systue, en trikotagehandel, en telefoncentral og ikke mindst stationenmed tilhørende pakhus. Desuden var der blevet opført et afholdshjem, et vandværk og et vogterhus. I de efterfølgende år kom der både en skole, en vognmand, et vaskeri, en selskabsbil(datidens taxa), et tarmrenseri, et posthus og et mejeri.
Det gik forrygende i den lille by, men op igennem 1960′erne og 70′erne ændredes det til det modsatte. Indbyggerne var begyndt at arbejde og handle udenbys, de små butikker måtte lukke og senere fulgte de størrer virksomheder efter. Skolen blev lukket og i 1971 blev posthus med tilhørende postnr og telefoncentral lukket og persontransporten, på jernbanen, nedlagt. Byen gik fra stationsby til soveby. Der kørte dog stadig godstog på strækningen, men kun indtil 1978, hvor skinnerne blev fjernet. I 1976 blev den lille stationbygning revet ned og byens grundsten blev fjernet.
Men helt død er byen dog ikke. Det er stadig en livlig by, nu bare på et andet plan. Der er stadig flere erhvervsdrivende og der er stadigvæk lokale, der værner om byen og den historie vi stadig skriver…