Las tribus germánicas que invadieron el Imperio Romano a principios de la Edad Media, luchaban por lo general a pie y con hachas y espadas. Las únicas armaduras que solían usar eran cascos y escudos. Se organizaban en bandas armadas bajo el liderazgo de un jefe.
Aunque eran feroces guerreros, luchaban como turbas sin coordinación. Las disciplinadas legiones romanas habían obtenido grandes victorias contra las tribus germánicas durante siglos, en parte por la fragilidad que se derivaba de su propio ímpetu. Pero al final del imperio, la calidad de las legiones romanas empezó a decaer, y las tribus germánicas pudieron traspasar sus fronteras.
No todas las tribus germánicas luchaban a pie. Una excepción eran los godos, que se habían acostumbrado a la caballería desde su asentamiento al norte del Mar Negro. Los visigodos y ostrogodos aprendieron las artes de la caballería gracias al contacto con el Imperio Romano Oriental al sur del Danubio, así como con los jinetes bárbaros de Asia. El ejército del Imperio Romano Oriental puso gran interés en el desarrollo de la caballería debido a sus conflictos con dos pueblos de jinetes bárbaros: los partos y los persas.
Tras la caída de Roma, la mayoría de las guerras que tuvieron lugar en Europa se realizaron con soldados de infantería. Una excepción podría haber sido la lucha de Arturo de Inglaterra contra los invasores sajones, aunque no tenemos pruebas de que su éxito se debiera al uso de la caballería. Puede que Arturo lograra detener el avance sajón en Inglaterra durante 50 años gracias al uso de la caballería o al empleo de tropas disciplinadas. Otra excepción fue el ejército bizantino, que recuperó el norte de África de las manos de los vándalos y estuvo a punto de lograr devolver el control de Italia al Imperio Romano Oriental en el siglo VI. El poderío del ejército bizantino en esta época radicaba en su caballería. También contaba con grandes líderes y con un dominio de las tácticas de guerra desconocido por los bárbaros.
En estos primeros siglos, la lucha rara vez implicaba a grupos que pudieran ser descritos como ejércitos. Se trataba de las mismas bandas armadas de épocas anteriores, pequeñas para el estándar bizantino o asiático, y con tácticas y estrategias limitadas. Las principales actividades militares eran las incursiones para obtener alimento, esclavos y armas como botín de guerra. Las agresivas tribus se desplazaban arrasando en su camino las reservas de alimento de sus enemigos, dejándolos morir de hambre y esclavizando a los supervivientes. Las batallas eran casi siempre enfrentamientos entre hordas guerreras que luchaban cuerpo a cuerpo con hachas y espadas. Luchaban como turbas, no como las disciplinadas formaciones que caracterizaban al ejército romano, protegiéndose con cascos, escudos y un tipo ligero de armadura. Las armaduras de cuero eran las más frecuentes; sólo los jefes y la élite llevaban armaduras de cota de malla.
A principios del siglo VIII, la España visigoda cayó ante los guerreros del Islam, muchos de los cuales luchaban como caballería ligera. Al mismo tiempo, los nómadas magiares de las planicies húngaras incrementaron sus ataques a caballo en Europa Occidental. En el 732, un ejército de infantería franco derrotó una invasión de la caballería musulmana cerca de Poitiers lo que puso fin a la expansión musulmana hacia el norte. Carlos Martel, líder guerrero de los francos, quedó impresionado por la caballería mora y emprendió la reforma de parte de su ejército. Esta fue continuada en años posteriores por el gran rey de los francos Carlomagno. La caballería pesada franca fue el origen del caballero armado que llegó a representar las luchas medievales.
Durante 30 años, Carlomagno llevó a cabo campañas militares que incrementaron el tamaño de su imperio. El ejército franco estaba formado por la infantería y la caballería armada, pero la caballería fue su fuerza principal y más impresionante. Podía moverse con rapidez y dirigir duros ataques a los enemigos, que luchaban en su mayoría a pie. Las campañas de Carlomagno eran invasiones con fines económicos en las que se quemaba, saqueaba y devastaba al enemigo hasta lograr su rendición. Carlomagno se enfrentó en muy pocas ocasiones contra adversarios organizados.
Los vikingos luchaban exclusivamente a pie, pero acostumbraban a reunir caballos al desembarcar, utilizándolos para invadir las tierras del interior. Sus invasiones comenzaron a finales del siglo VIII y terminaron en el siglo XI. Los descendientes de los invasores vikingos, los normandos del noroeste de Francia, se acostumbraron rápidamente a utilizar caballos y llegaron a ser unos de los guerreros con mayor éxito de finales de la Edad Media.
A principios del siglo X, los alemanes empezaron a desarrollar su caballería bajo el reinado de Otón I. El objetivo era contar con una fuerza de contraataque rápida contra las invasiones vikingas, así como frenar las incursiones a caballo de los bárbaros del este.
Hacia finales del siglo X, la caballería pesada fue una parte fundamental del ejército europeo, con la excepción de la Inglaterra anglosajona, las tierras celtas (Irlanda, Gales y Escocia) y Escandinavia.
