16세기 프로테스탄트 종교개혁 운동으로 로마가톨릭교회 교세가 많이 약화되었지만, 가톨릭 국가들과 교황청 사이에서도 교황의 권위와 힘을 약화시키는 요인들이 계속적으로 생겨났다. 첫째, 가톨릭 국가들이 자국 내의 교회와 수도원에 대한 인사권을 독립적으로 행사하겠다는 것이었다. 이것은 그 국가들의 교회와 수도원들이 교황청에 송금하던 것을 저지하는 국가 재정정책의 하나였다. 이것은 가톨릭 국가들의 새로운 민족주의 의식이기도 하였다. 둘째, 유럽의 가톨릭 국가들(프랑스, 이태리, 스페인, 포르투갈) 사이의 복잡한 정치 문제에 교황이 시달려서 조정할 힘이 없어져 갔다. 교황청의 추기경들(각료들) 사이의 정치로 국가들 사이에 충돌이 일어나기도 하였다. 그리고 국왕들이 교황의 권위를 무시하는 일들이 많아졌는데 1527년에 신실한 가톨릭 신자인 황제 칼 5세가 로마교황청을 군대의 힘으로 점령하였고 교황은 어느 산성에 있게 되었다. 교황이 프랑스를 편들었다는 이유였다. 문예부흥운동가들은 이 사건을 로마교황청이 하나님의 벌을 받은 것이라고 혹평하였다. 그를 이은 교황들 중에는 취임한 지 불과 몇 개월 후에 물러난 경우도 있었다. 이렇게 하여 교황청과 교황의 권위와 힘은 날로 약해져 갔다.
교황청은 가톨릭교회와 교황의 권위를 회복할 필요를 절감했다. 이에 교황 바울 3세는 1545년 12월에 공의회를 트렌트(Trent)에서 개최하였다. 1551년 5월에는 볼로냐(Bologna)에서 모였다가 1552년 5월에는 다시 트렌트에서 모였다. 이 공회의 작업이 최종적으로 마무리된 것은 1563년 12월이었다. 이렇게 가톨릭교회의 개혁은 오랜 시간을 요한 것이었다. 황제 칼 5세는 이 회의에 참석하지 않고 이 회의가 루터교회와 가톨릭교회 사이의 분열과 함께 가톨릭교회 안의 분열을 치유하는 것이 되기를 바랐다.
이 회의에 기대한 것들이 여러가지 제출되었다. 칼 5세와 독일의 대표들은 평신도들에게도 성찬의 잔을 돌릴 것과 독일 국어로 찬송을 부르게 할 것과 신부의 결혼을 허락할 것과 교회의 수입금 일부를 빈민의 자녀들 교육에 돌릴 것과 교황의 권한을 줄일 것을 요청했다. 또 어떤 대표는 프로테스탄트들의 믿음으로 의로움을 받는다는 교리를 가톨릭교회도 수용하자고 했다. 반면에 가톨릭교회가 프로테스탄트 교회와 같을 수 없다는 이유로 이단 처벌을 강조한 사람도 있었다. 도덕적 부패를 척결하자는 제의도 있었으나 그것이 교황청의 관료제도를 교란할 염려가 있다며 반대하는 사람도 있었다. 여러 복잡한 문제가 많았으나 결론적으로 프로테스탄트 교회와의 화해는 실패한 회의가 되었다.
이 공회에서 많은 문제들이 예수회(The Society of Jesuits)의 주장대로 된 것이 많았다. 예수회는 스페인의 이그나티우스 로욜라(Ignatius Loyola, 1491~1556)가 1540년에 조직한 수도단인데 교황청의 충복 노릇을 한 단체여서 이때 가톨릭교회 안에서 가장 큰 세력을 가지고 있었다. 이 장기 회의의 결과로 간주할 수 있는 것들은 아래와 같다.
1)프로테스탄트 교회가 발행한 서적과 문서들을 가톨릭 신자들이 읽지 못하도록 엄격히 관리하기 위하여 금지도서 목록(index)을 만들 것.
2)기본적인 가톨릭 신앙을 종합한 요람을 만들어서 신자들에게 가르칠 것.
3)예배의식을 비롯한 모든 예전의 의식을 수정할 것. (다소 간소화할 것을 목적으로 함)
4)라틴어 성경의 개정판을 출간할 것. (프로테스탄트들이 라틴어 성경의 오류를 많이 지적한 것을 참고할 수 있었다)
5)스페인과 이태리에 이단자(프로테스탄트 포함)를 재판할 종교재판을 설치할 것. (예수회 수도사들이 종교재판을 관장)
이 회의는 크게 세 가지 목적을 가지고 있었다. 첫째는 프로테스탄트의 교리에 대항하기 위하여 중세교회의 교리를 엄격히 견지하게 하는 것이었다. 다음은 프로테스탄트 교회가 보여준 대로 신부들이 신자들을 좀더 잘 보살피고, 신학교육을 개혁해서 신부의 자질을 향상시키고, 감독이 자기 교구의 교역자들을 부단히 살펴서 지도하고, 부패를 척결하도록 하는 것이었다. 그리고 교황의 권위를 한층 강화하려는 것이었다.
이 회의에서는 다른 나라 말로 라틴어 성서를 번역하는 것을 계속 금하였고, 아담이 만든 원죄는 예수 그리스도의 중보로 세례의식(유아와 장년)을 통하여 말소되며, 믿음으로 의로워지는 것(의인의 교리)은 세례를 받고 중생되어야 이뤄지며, 의인은 프로테스탄트들이 주장하듯이 믿음만으로는 얻을 수 없다고 하면서 그들의 믿음은 단순한 신념에 불과한 것일 수 있기 때문이라고 하였다. 그리고 사람은 자유의지를 가지고 하나님의 은혜를 거절할 수도 있고 받아들일 수도 있다고 하면서 하나님의 계명과 교회가 지킨 계명을 잘 지키고 행하는 행위는 믿음과 더불어 의로움을 받는 길이라고 하였다. 즉 믿음과 행위가 협력해서 의로움을 받는다는 것이었다.
그리고 하나님의 예정을 받은 사람이 의로움을 받는다는 교리를 반대하고, 특히 하나님이 일부 사람은 구원으로 일부 사람은 멸망으로 예정하였다는 이중예정론을 반대하였다. 연옥의 교리를 다시 강조하였고, 프로테스탄트가 성례전을 세례식과 성만찬 두 가지로만 제한한 것을 반대하고 종전대로 일곱 가지 성례전이 구원을 얻는 데 필요하다고 하였다. 성례전이 은혜가 되는 효과는 신부의 인격이나 생활과는 관계없이 신부가 단순히 집행하는 의식을 통하여 얻어지는 것이라고 하였다. 또한 프로테스탄트들이 주장한 만인성직론을 반대하고 신부만이 성례전을 집행할 권한을 가진다고 하였고, 성만찬 의식 때 떡과 잔이 그리스도의 몸이 된다는 화체설을 믿고 루터가 말한 공체설 즉 그리스도의 몸이 떡과 잔과 함께한다는 교리를 반대했다. 신부가 사죄의 선언을 하면 죄가 용서받는 것을 진리로 믿을 것과, 성자의 유물과 교회당의 성자들의 성상과 그림에 대하여 존경을 표할 것과, 면죄부를 계속 발행하되 폐단이 없도록 할 것과, 감독 한 사람이 수 개의 교회를 맡는 일을 못하게 할 것과, 한 감독이 여러 교구와 교회에서 오는 수입을 차지하지 못하게 할 것과, 모든 수도원은 지역의 교회 감독의 권한 아래 있게 할 것 등을 명시하였다. 아무튼 트렌트 공의회 이후 로마가톨릭교회의 교세는 성장하였고 그 교회는 해가 갈수록 교황권을 강화하여 교황의 권위와 힘 아래 가톨릭교회는 하나가 되어갔다.
가톨릭 개혁운동의 주동세력이었던 예수회는 이태리와 스위스에서도 개혁운동을 계속 추진하였다. 그리고 특별히 프랑스에서 예수회가 급속히 성장해 가면서 파리대학에 침투했다. 16세기 초부터 파리대학에는 가톨릭교회의 개혁을 추진해 온 사람들이 있었다. 파리에서 활동한 예수회 수도사들은 프랑스인이 아니고 스페인 사람들이었다. 이들이 파리대학생들과 합류하여 클레르몬트 감독관에서 집단을 만들었다. 이들의 운동을 심하게 반대한 파리대학 교수단은 이 대학 안의 솔본느대학에서 교회개혁을 추진해 오던 ‘갈리아주의’(Gallicanism) 곧 프랑스주의 학파였다. 이 학파는 중세 말기의 소위 「회의론 운동」을 추진한 사람들의 후배들이었다. 이 학파는 교황의 권위의 축소를 주장하고 예수회원들의 교황절대권 주장을 반대하였고 그 밖에도 교리적인 차이를 가지고 있었다. 그런데 프랑스에 예수회 대학들이 몇 군데 설립되었다. 1594년에 한 예수회 대학 학생이 프랑스 왕 앙리 4세를 암살하려던 계획이 발각되어서 예수회 반대 운동이 일어나서 파리의 예수회원들이 다른 도시로 도피했다. 그런데 1603년에 앙리 4세가 가톨릭교회에 유리한 한 칙령을 발표하여 가톨릭 신자가 왕의 고백사가 되고 그의 후계자 루이 13세의 개인교사가 되었다. 그리고 1606년에서 1640년 사이에 예수회 대학 42개가 증설되었다.
프랑스에서 예수회를 반대하는 운동이 계속되어서 대학에서 격렬한 논쟁이 벌어졌는데 루뱅(Louvain)대학의 학생 코넬리우스 얀센(Cornelius Jansen, 1585~1638)을 비롯한 성 어거스틴의 신학을 지지한 학생들이 예수회 학생들과 대립하였다. 얀센은 그 대학 교수가 되었다. 얀센은 「아우구스티누스」(Augustinus)라는 책을 써서 어거스틴의 사상과 자기의 견해를 밝혔다. 얀센은 칼뱅주의자여서 예정론을 주장하면서도 자기는 프로테스탄트가 아니라고 말했다. 그는 개인적인 종교 경험을 강조하고 믿음으로 의인이 되는 것을 믿었지만 로마가톨릭교회 신앙을 가지고 있었다. 그의 영향과 감화를 받은 사람들이 많았는데 그 중의 한 사람이 철학자 파스칼(Pascal, 1623~1662)이었다. 얀센은 로마가톨릭교회로부터 이단자로 정죄되었고 교황 이노센트 10세는 얀센의 책 「아우구스티누스」에서 몇 가지 이단적인 주장을 지적하였다. 얀센의 사상의 영향이 프랑스에서 아주 근절되도록 교서를 발표하였고 프랑스의 가톨릭교회는 교황의 부당한 개입을 규탄하였다. 얀센을 지지한 프랑스의 감독 몇 사람이 파면되었고 그를 지지하다가 박해를 피하여 홀랜드로 피난간 사람들도 있었다. 얀센을 존경한 프랑스 가톨릭 신자들이 교황과 예수회를 미워하여 5, 6천 명의 평신도들과 신부들이 합세하여 로마가톨릭교회에서 탈퇴하고 「올드 가톨릭 교회」(The Old Catholic Church)라는 교파를 만들었고, 홀랜드의 대주교가 이 새 교단에 가담하였다.
예수회는 가톨릭교회의 개혁과 함께 교세 확장을 위하여 선교운동을 전개했다. 유럽에서는 주로 이단자 색출과 재판을 맡아 종교재판을 수시로 그리고 필요한 곳을 찾아서 개설하였고, 해외에 선교사를 파송하기 시작하였다. 예수회는 파리대학에서 로욜라의 지도로 1534년에 60여명의 회원들이 모인 가운데 시작되어 나중에 교황청에 정식 등록되었다. 이 회의 설립 목적은 ‘사람들의 영혼을 돕기 위해서’라는 것이었다.
예수회 회원들은 군대와 같은 훈련을 받았고 수도회장 로욜라에게 절대복종을 서약했다. 그들은 청빈과 자비와 복종을 맹세하였고 더 중요한 것은 교황에 대한 충성 맹세였고 교황의 명령에 순종하여 어디든 가기로 결심하였다. 그들은 프로테스탄트 신도들을 색출해내는 사냥개 노릇을 했고 교황청 집 지키는 개라는 평을 받았다.
예수회는 프란시스 자비에르(Francis Xavier, 1506~1552)를 1541년 인도 남단의 고아(Goa)에 선교사로 파송하여 가톨릭 선교운동의 선두자가 되게 했다. 그는 파리대학의 철학과 강사였는데 로욜라로부터 감화를 받고 예수회원이 되었다. 그는 고아에 가서 인도의 귀족계급 사이에 침투하여 선교하기 어려운 것을 알고 빈민들과 천대받던 천민계급 사람들에게 복음을 전하였다. 그들에게 복음을 가르쳐서 믿게 하기가 힘들었지만, 많은 빈민대중이 몰려왔을 때 그들이 복음을 배우거나 이해하기 전에 세례를 주었다. 가톨릭교회는 세례를 받지 못하면 구원을 못 받는다고 믿었기 때문에 우선 세례부터 주었다. 그는 하루에 너무 많은 사람들에게 세례를 주느라고 피곤해서 지칠 정도였다. 어린 아이들에게도 세례를 주었는데 그 아이들이 세례를 받지 못하고 죽으면 지옥에 갈 것으로 믿었기 때문이었다. 그는 세례받고 예수 믿지 않으면 지옥의 형벌을 받는다는 공포심을 사람들에게 주었고 고아 지방의 왕국 정부가 사람들에게 자비에르의 전도를 받도록 권장하였다.
자비에르는 고아에서 7~8년 전도하다가 일본인 상인 야지로를 만나 일본을 소개받고 그의 인도로 두 예수회 수도사와 함께 일본의 서남 지방에 선교하러 갔다. 여기서도 그는 인도에서의 선교 방법대로 전도했으나 불교가 성하던 일본 땅에서 그는 27개월 간의 선교로 소수의 신자를 얻을 수 있을 뿐이었다. 그러나 그가 떠난 후 그 지방의 영주 고니시 유키나가(小西行長)가 그리스도교로 개종하여 그의 정치적 영향으로 신자들이 늘어 1575년에는 신도 수가 5만 명 이상이 되었다. 그러나 인도와는 달리 일본에서는 그리스도인들을 박해하는 전란이 일어나서 종당에는 교회가 박멸되어 그 후 몇 백 년 동안 일본 땅 지상에서는 교회를 볼 수 없었다.
임진왜란 때 고니시 장군이 포르투갈인 예수회 신부 중 한 사람을 종군시켜서 조선에 와서 선교의 길을 모색한 듯 하나 실패했고, 조선의 양가 출신의 청년 두 사람을 일본으로 데려가서 신학공부를 시켜서 신부가 되게 해서 조선의 선교사로 파송하기로 했는데 그 중의 한 청년이 신부가 되어 조선에 침투하려 했다는 기록이 있으나 조선에 입국했는지 알 수 없다.
자비에르는 일본을 떠나서 중국으로 가서 선교할 생각으로 배를 타고 1551년 11월에 칸톤(Canton, 廣東) 근처의 한 섬에 상륙했으나 그 이듬해 유행병에 걸려서 사망하였다. 그 후 30년이 지난 1582년에 역시 예수회 신부 마테오 리치(Matteo Ricci, 1552~1610)와 아담 샬(Adam Schall)이 중국 북경에 가서 선교를 시작하였고, 그들의 영향으로 1784년 2월 조선인 이승훈이 세례를 받아 가톨릭교회가 조선에 전래됐다. 자유가 없는 유교사회에서 천주교신도(천주학도)들은 북경의 예수회 선교사들의 도움으로 비밀선교에 힘썼으나 조선에 파송된 중국인 주문모 신부와 서양인 신부들이 체포되어 순교하였다. 초대 조선인 신부로서 김대건 신부가 1845년 8월에 서임됐다. 조선왕조의 완강한 박해가 거듭되어 수많은 신자들이 학살되어 결국 선교는 좌절되었다.
예수회 선교사들이 개척한 선교지에 프란체스코(Francisco) 수도회 선교사들도 와서 선교하였다. 예수회 선교사들의 선교 정책은 토착화 정책이어서 중국이나 인도의 재래 전통을 존중하고 조상제사와 같은 제식도 존속시키고 본토민의 문화를 채용하여 일상생활을 해갔다. 그러나 프란체스코 수도회는 예수회의 토착화 정책을 반대하여 두 선교단체 사이에 격심한 전례논쟁이 일어나서 교황청이 문제 해결에 고심하였다. 때로는 교황청이 예수회의 의견을 인정해주었고 때로는 프란체스코 수도회의 의견을 인정하였는데 이 논쟁이 중국과 인도에서 동시에 일어났었다. 이러한 논쟁에도 불구하고 가톨릭교회의 교세는 이 두 선교단의 선교로 세계 널리 확장되었다.
한때 로마교황청의 신임을 크게 받고 세계선교사업의 선두자로서 교세 확장에 큰 공을 세운 예수회가 1773년에 교황청의 명령으로 해산되었다. 그 이유는 여러가지였다. 첫째 그들의 조직력은 실로 가공할 만하여 프로테스탄트 교회만이 아니고 가톨릭교회 안에서도 무서워할 만한 조직이었고, 식민지 선교에서 식민정권과 대립하여 싸운 일이 많아서 스페인과 프랑스와 포르투갈 식민지에서 예수회를 축출하였다. 또 그들은 선교 이외에 상업에도 종사하였고 선교정책이 너무 독자적이어서 교황청의 반대를 받은 것이 많았다.