Ce site privilégié, appelé autrefois "La Côte Lebel", fut un camp fortifié de l'Âge du fer. Défendu d'un côté par la Moselle et de l'autre par l'Euron, ce camp fut longuement occupé comme en témoignent les nombreuses monnaies et débris de poteries.
Au XIIIe siècle Henri le Lombard, fils du duc Ferry Ier de Lorraine, prend le nom de Bayon dont il est seigneur. Il y construit un château entouré de solides murailles flanquées de fortes tours dont on voyait encore les vestiges à la fin du XIXe siècle. La famille de Bayon s'éteint rapidement et, après un partage en 1422, la seigneurie passe entre les mains de la Maison de Haraucourt. Profitant de sa position, la ville s'enrichit aux dépens des voyageurs.