1960-ban Sugar Grove, Virginia, William Pugh egy farmon tenyésztették ki ezt a típusú lovat. Pontosabban egy víziójuk volt egy fajtatípussal kapcsolatban. Keresett egy jól kinéző, szelíd, kicsi és sima lovaglású lovat. Bill Pugh megkezdte a tenyésztést egy 1/2 Arab és 1/2 Walking Horse kancával. Ugyanakkor állítólag vásárolt egy Welsh pónit. Az ivadék Pogo volt, akiről Pugh úgy gondolta, rendkívüli. Pogo szelíd volt, jó járással, és képes volt a poroszkálásra. Pogo lelkesítést nyújtott a tenyésztőnek.
Bill Pugh-nak volt egy célja, egy kicsi (13-14 marok magas), szelíd, természetesen gait ló. Arab vért használt "szikraként", a járásmód végett Tennessee Walker lovat használt, Morgan fajtát a méretek és a szelíd természet végett, valamint került a tenyészvonalba American Saddlebred, Hackney és Welsh póni is. Amikor kapott egy mént, az megfelelő volt az elvárásainak, elhamarkodva el is adta. Ugyanakkor sok kancát és csikót is adott el, melyek nem néztek ki a "legjobbnak".
Mindenesetre kialakult egy nehezebb testű fajta, mely képes a kocsihúzásra, de finom, szabályos és elegendően kicsi a gyerekek és a nők számára mint hátasló. A fajta magassága kisebb mint 15 marok, a fej finom, messze ülő szemekkel, melyek nagy kifejezésűek.
Harminc évvel később keletkezett egy eltérő fajta és megalakult a The Virginia Highlander Horse Association és megkezdték a bejegyzést két ménnel és húsz kancával. Általában deres színű, de sárga, fekete és szürke színben is megtalálhatóak. A fajta egyesületét 1991-ben alapították meg.