1960-ban Sugar Grove, Virginia, William Pugh egy farmon tenysztettk ki ezt a tpus lovat. Pontosabban egy vzijuk volt egy fajtatpussal kapcsolatban. Keresett egy jl kinz, szeld, kicsi s sima lovagls lovat. Bill Pugh megkezdte a tenysztst egy 1/2 Arab s 1/2 Walking Horse kancval. Ugyanakkor lltlag vsrolt egy Welsh pnit. Az ivadk Pogo volt, akirl Pugh gy gondolta, rendkvli. Pogo szeld volt, j jrssal, s kpes volt a poroszklsra. Pogo lelkestst nyjtott a tenysztnek.
Bill Pugh-nak volt egy clja, egy kicsi (13-14 marok magas), szeld, termszetesen gait l. Arab vrt hasznlt "szikraknt", a jrsmd vgett Tennessee Walker lovat hasznlt, Morgan fajtt a mretek s a szeld termszet vgett, valamint kerlt a tenyszvonalba American Saddlebred, Hackney s Welsh pni is. Amikor kapott egy mnt, az megfelel volt az elvrsainak, elhamarkodva el is adta. Ugyanakkor sok kanct s csikt is adott el, melyek nem nztek ki a "legjobbnak".
Mindenesetre kialakult egy nehezebb test fajta, mely kpes a kocsihzsra, de finom, szablyos s elegenden kicsi a gyerekek s a nk szmra mint htasl. A fajta magassga kisebb mint 15 marok, a fej finom, messze l szemekkel, melyek nagy kifejezsek.
Harminc vvel ksbb keletkezett egy eltr fajta s megalakult a The Virginia Highlander Horse Association s megkezdtk a bejegyzst kt mnnel s hsz kancval. ltalban deres szn, de srga, fekete s szrke sznben is megtallhatak. A fajta egyeslett 1991-ben alaptottk meg.