Костёл Визитации Пресвятой Девы Марии построен в 1615г., по другим источникам - в 1620г., (по фундации) при финансовой помощи владельца местечка, Виленского каштеляна (градоначальника) Геранима Ходкевича. В 1741 году проведена значительная реконструкция здания, что породило со временем утверждения, что якобы он построен в 1741 году. По утверждению архивных документов, уже в 1615 году при костёле существовала школа, а с 1794 года и больница для убогих. В 1621 году в здании костёла в специальном саркофаге было захоронено сердце прославленного военачальника Яна Короля Ходкевича.
В Большой Берестовице действовала революционно-демократическая организация, созданная К.Калиновским. Внеё входили настоятель местного костёла Игнатий Козловский, землемер Феликс Рожанский и несколько других жителей Берестовитчины. После подавления восстания под руководством К.Калиновского, в 1865 году костёл был закрыт. Здание передано православному приходу и было перестроено под православную церковь. В 1920 году храм опять был передан католикам. Но в это время в местечке уже был построен новый костёл, поэтому служба в старом костёле проводилась только 2 раза в год.
Во время Великой Отечественной войны здесь некоторое время помещались советские, а потом и немецкие военнопленные. После войны в костёле было зернохранилище, потом складские помещения райпотребсоюза. В середине 1980 годов была разработана документация на его реставрацию, уже были сооружены леса – но перестройка приостановила этот процесс. А в конце августа 1991 года среди белого дня вспыхнул пожар, в результате которого сгорели леса и крыша.
