Tot 1714 liep de westelijke arm van de Ieperlee hier in open lucht. Dat jaar werd ze overwelfd waardoor de Waterstraat die langs het riviertje liep, heel wat verbreedde. Nadat de visverkoop van de Boomgaardstraat naar hier verhuisde, was ook de naamsverandering een feit. Op de overwelfde Ieperlee kwamen enkele verkoopsstallen en een lokaal voor de “minckmeester” of veilingmeester en de viskeurders: het minckhuisje. De verkopers van zeevis kregen een overdekte toonbank, de verkopers van riviervis stonden echter aan toonbanken onder de blote hemel. De elegante smeedijzeren vooroorlogse verkoopstallen werden in 1923 vervangen door nogal logge arduinen constructies onder schilddaken.
Het minckhuisje werd in een neogotische, pittoreske stijl ontworpen door architect Jules Coomans en in 1899 gebouwd. Een jaar eerder waren drie huizen van de Kiekenmarkt onteigend om meer ruimte te bieden aan de Vismarkt zodat het tolpaviljoentje met de fraaie smeedijzeren omheining er kon neergezet worden. In 1901 keurde de gemeenteraad ook plannen goed voor het verleggen van de rooilijn op de westzijde waardoor de Paters Karmelieten terrein zouden verliezen. Die plannen werden echter nooit doorgevoerd. Tijdens de Eerste Wereldoorlog ontsnapte het minckhuisje wonderbaarlijk aan de eerste beschietingen, maar later werd het toch vernietigd. Architect Coomans mocht het in 1923 voor de tweede keer ontwerpen. De wapenschilden die het tolhuisje sieren, werden pas in 2006 op initiatief van de Gidsenkring ingekleurd.
Marktplaatsen zijn van oudsher populaire vestigingsplaatsen voor herbergen. Niet zelden werd in de cafénaam verwezen naar het marktgebeuren. Zo heette het café op de hoek met de Kiekenmarkt “Poissonnerie Yproise”, het huidige café “ ’t Fenomeen” heette “De Karper”, en “De Vage Belofte” was “De Vischmijn”. Het meest bekende (en beruchte) café was “Au Saumon - In den Zalm”, dat zich bevond waar nu “In Companie” is. “Gasthof Den Zalm” werd reeds genoemd in 1530. Driehonderd jaar later, rond 1830, was het de vergaderplaats van de “Club der hardhoofdige Patriotten” zoals de voorstanders van de Belgische revolutie in Ieper heetten. Hetzelfde lokaal had ook op het einde van de 20ste eeuw naam en faam als het alternatieve jongerencafé en “Onafhankelijke republiek De Vort’n Vis”.
Na de overwelving van Ieperlee hier in 1714, werd de Vismarkt aangelegd. De nieuwe toegangsweg vanaf de Boterstraat kreeg toen een monumentale poort met een bas-reliëf uitgevoerd door de Ieperse beeldhouwer Louis Ramaut. Het stelde de zeegod Neptunus voor, die op een wagen, getrokken door twee onstuimige paarden, vertoornd uit de stormachtige zee opduikt. Bovenaan wordt het stadswapen geflankeerd door twee monumentale dolfijnen. Eind 19de eeuw was het heel bouwvallig geworden en in 1907 restaureerde stadsarchitect Jules Coomans, samen met beeldhouwer Kamiel Cornillie, het geheel.
Na de vernietiging in de Eerste Wereldoorlog was de reconstructie van de Neptunuspoort vanzelfsprekend geen prioriteit. Hoewel Jules Coomans reeds in 1923 de wederopbouwplannen maakte, werd de poort voorlopig opgemetseld in snelbouwstenen, die later vervangen werden door grote blokken natuursteen. Pas in 1937 kwam er weer schot in de zaak, ondanks de tegenwerking vanwege de hogere overheid. Onder meer de wereldberoemde architect Henry Vandevelde, “kunstadviseur van de Minister van Openbare Werken”, adviseerde in duidelijke bewoordingen tegen een reconstructie naar vooroorlogs model.
In 1938 kreeg Maurice Deraedt (1881-1955) vanwege het stadsbestuur de reconstructie van het bas-relief boven de Vispoort toevertrouwd. Het was geen gemakkelijke opdracht omdat het huis ernaast in de Boterstraat er tijdens de wederopbouw een verdieping had bijgekregen. Deraedts reconstructie werd dus hoger en smaller. Er was nog een verschil met het vooroorlogs model: Neptunus zou nu niet langer de voorbijgangers in de Boterstraat verstoord aankijken maar de blik strak vooruit houden. Het model voor de kwade zeegod vond Deraedt in badmeester Van Uxem. Van veearts Caenepeel, directeur van het slachthuis, kreeg hij een model voor de zeepaarden. Het dier dat hem werd bezorgd was zeer schichtig bij het nemen van een gipsen afgietsel van zijn hoofd. Pas na het drinken van een liter bier kalmeerde het. Een jaar lang werkte Deraedt aan de Vispoort. In december 1939 werden de stellingen weggenomen en was Ieper een monument rijker. Kort na Wereldoorlog Twee raakte de vismarkt in onbruik. Enkel bij speciale gelegenheden zoals de historische evocatie “Beleg van Ieper” in 1983 lag er terug vis in de stalletjes.
