Первый костел в Лелюнай был построен в 1698 году, но подробной информации о нем не сохранилось. Второй деревянный костел был построен в 1788 году Юозасом Помарнацкасом, владельцем поместья Лелюнай, в 1793 году был создан приход. Костел освящен во имя Святого Иосифа. В плане он имел форму латинского креста с отдельной деревянной колокольней в алтаре. После того, как костел пришел в упадок, благодаря усилиям священника Антанаса Масайтиса, на его месте в 1901-1905 годах была построена ныне существующая кирпичная церковь. Несколько лет спустя художники Стакаускас и Новакаускас украсили интерьер церкви растительными и геометрическими орнаментами. В 1931 году в церковных башнях от удара молнии случился пожар, в результате чего упали и разбились большие колокола, в 1940 году были отлиты новые колокола, однако во время войны один колокол был похищен.
Костел Святого Иосифа в Лелюнай возведен в неоготическом стиле, с тремя нефами с размытым трансептом, пятигранной апсидой и двумя неразделяемыми ризницами с галереями на втором этаже. В костеле явно отражены готические архитектурные элементы: разделяющие стены контрфорсы, остроконечные арочные окна со стилизованными масверками, остроконечные арочные ниши и двери. Главным акцентом костела являются две массивные квадратные башни. Это – четырехъярусные башни с четырехскатными шпилями и крестами. Между башнями вставлен треугольный фронтон, разделенный на три промежуточных фронтона с семью нишами по бокам. Над фронтоном возвышается лестничная башня с крестом. Главный фасад слегка вытянут вперед, с по углам ступенчатые контрфорсы, отделанные в завершении башенками со шпилями и крестами. Главный остроконечный арочный портал слегка углубленный, с обрамлением, по бокам фасад украшают длинные конические арочные окна с масверком. Над порталом два парных арочных окна. Верхушки фасадов вдоль карниза украшены орнаментом аркад. Остроконечные арочные окна костела подчеркивают впечатление возвышения вверх, характерное готическому стилю.
В интерьере костела также преобладает неоготика. Внутреннее пространство разделено на три нефа четырьмя столбами, нефы покрыты крестообразными сводами. Три неоготических алтаря костела роскошно украшены резьбой и пинаклями. Художественная неоготическая кафедра костела украшена скульптурами Христа и четырех евангелистов. Над притвором (нартексом) размещены органные хоры. В 1913 году костел приобрел орган с 21 регистром с неоготическим проспектом, изготовленнымв знаменитой мастерской Бруно Гебеля, в Кенигсберге. Это один из первых пневматических органов в Литве.
Церковный двор окружен забором с цоколем из каменной кладки, кирпичными столбами и железными решетками. В углу церковного двора находится часовня, построенная из красного кирпича.
Костел св. Иосифа с Лялюнай - Kauno g. 19, Utena 28361, Lietuva
