Fondée en 1415 par Jean Chousat, originaire de Poligny, chef des finances du duc de Bourgogne, qui obtint en 1431 du pape qu'elle soit élevée à la dignité de collégiale, Saint-Hippolyte était pratiquement achevée à sa mort, en 1433. A cette époque, il ne restait plus que la tour, qui fut achevée en 1450 grâce à la générosité de Jean Chevrot, évêque de Tournay, également originaire de Poligny.
Grâce à la rapidité de sa construction, le temple se présente dans un style gothique tardif caractéristique du XVe siècle. Le plus grand intérêt de l'église réside dans sa magnifique décoration sculpturale, contemporaine de l'œuvre architecturale et qui est en grande partie due aux artistes de l'école bourguignonne, adeptes de l'œuvre de Claus Sluter. Parmi eux se trouveraient son neveu, Claus de Werve (+1439, à Dijon), et Juan de la Huerta (+1462 ?).
La grande qualité sculpturale du temple est déjà observée dans sa façade principale, présidée par une Vierge polychrome attribuée à de la Huerta, et se confirme dès l'entrée grâce à l'impressionnant calvaire situé sur la poutre qui sépare la nef du presbytère. Les quatre statues qui le décorent sont également magnifiques ; De gauche à droite : Saint Bavon (avec les traits de Jean Chousat –le fondateur–), la Vierge à l'Enfant, Saint Jean l'Évangéliste et Saint André.
D'autres figures de grande qualité sont réparties dans le reste de l'église, comme la "Vierge du Fondateur", avec l'Enfant dans le bras droit et un sceptre dans le gauche, œuvre de Claus de Werve, dans la chapelle où fut enterré Jean Chousat, ou la figure en prière de Philippe Courault, né à Poligny, abbé de Saint-Pierre de Gand, qui est attribuée à Juan de la Huerta.