알렉산더 해밀턴 대표가 제시한 제 3의 정부 구성안은 중앙 정부에 거의 무제한의 권한을 주도록 돼있었습니다. 해밀턴의 제안은 인기가 없었습니다. 무려 다섯 시간에 달하는 해밀턴의 연설이 끝나자 한 대표가 말했습니다.
“해밀턴은 모든 사람들로부터 감탄을 사지만 그를 지지하는 사람은 한 사람도 없다” 해밀턴의 제안은 표결에 부쳐졌으나 부결됐습니다. 그렇게 되자 이제 남은 것은 버지니아 안을 놓고 논의를 하는 수밖에 없었습니다. 대표들은 국가의 의회 구성 문제를 논의했습니다. 이것은 제헌 회의중 가장 뜨거운 쟁점이 됐습니다. 의회 구성은 각주의 대표권 문제로 처음부터 논란이 일었습니다. 중앙 정부에서 큰주와 작은 주 모두에게 똑같은 대표권을 주어야 하는가가 문제였습니다. 한 대표가 그 상황을 이렇게 설명했습니다. “진실을 바라보도록 합시다. 이것은 자유가 아니라 권력에 대한 싸움입니다. 중앙 의회에서 작은 주는 큰주에 권한을 빼앗길수 있습니다. 그러나 작은 주에 사는 주민들도 큰주에 사는 사람들과 똑같이 자유를 누리게 될 것입니다.” 이 문제는 극심한 감정 대립으로 나타났습니다. 어느날 델라웨어주의 거닝 베드포드 (Gunning Bedford)대표는 큰주의 대표들을 똑바로 쳐다보면서 소리쳤습니다. “여러분, 나는 당신들을 신뢰할수 없습니다. 여러분이 작은 주들을 분쇄하려 한다면 여러분은 연방을 분쇄하는 것입니다. 그리고, 만약 여러분이 그렇게 한다면 작은 주들은 보다 영예와 신뢰를 지키는 외국의 동맹을 찾아 나설 것입니다” 큰주와 작은 주 사이의 대표권 문제는 필라델피아 제헌 회의가 열린 이해 여름에 4주 동안이나 계속됐습니다. 대표들은 제시된 안들을 표결에 부치고, 이를 토의하고 또 표결에 부치곤 하는 일을 반복했습니다. 5월에 시작된 토의가 7월로 접어들어도 합의에 도달할 기미가 보이지 않았습니다. 어떤 대표는 ‘마치 어느 쪽으로도 움직일수 없는 위치에 우리가 서있는것 같다’고 말했습니다. 그래서 대표들은 합의를 이루지 못할때 대규모 조직이 하는 방식을 택했습니다. 대표들은 위원회를 구성하기로 표결했습니다. 위원회의 목적은 중앙 의회의 대표권 문제에 관한 타협안을 만들어 제출토록 하기 위한 것이었습니다. 이른바 Grand Committee, 즉 대 위원회라고 불리운 이 위원회는 그로부터 며칠 동안 작업을 하도록 했습니다. 나머지 대표들은 그동안 휴식을 취하면서 7월 4일 독립 기념일을 즐기기로 했습니다. 이해의 독립 기념일은 아메리카가 영국으로부터의 식민 통치를 벗어나 새로운 나라를 선포한지 11년이 되는 날이었습니다. 이날 미국에서는 예년과 같이 시가 행진, 폭죽놀이, 그리고 각종 애국적인 연설등으로 독립 축하 행사들이 펼쳐졌습니다. 필라델피아의 축하 행사는 특히 중요했습니다. 이 도시는 독립 선언서가 서명된 곳이었고, 이제는 새로운 정부를 만들기 위한 회의가 열리고 있기 때문이었습니다. 제헌 회의의 의장인 죠지 워싱턴은 필라델피아의 한 교회에서 열린 기념행사에서 대표들에게 연설했습니다. 특별히 문서로 준비돼 대표들에게 배포된 연설에서 워싱턴은 이렇게 말했습니다. “여러분의 나라는 우려와 희망으로 여러분들을 주시하고 있습니다. 이 나라는 여러분의 결정에 의지하고 있습니다. 이 나라는 여러분과 같은 사람들, 즉 독립을 위한 전쟁에서 우리를 이끌었던 사람들이 모든 미국인들에게 유익한 정부를 만들수 있을 것으로 믿고 있습니다. 우리들 중에는 분명, 우리가 처한 모든 문제점들에 대한 해답을 갖고 있으며, 정부 구성의 묘를 알고 있는 분들이 있습니다. 우리는 분명 우리가 쟁취한 자유를 보존할수 있는 정부를 설계할 능력을 갖고 있습니다.” 대표들은 바로 그같은 연설을 들을 필요가 있었습니다. 불과 며칠 전만해도 벤자민 프랭클린은 제헌회의에 대한 자신의 의견을 발표하면서 희망이 없다고 말했었습니다. 프랭클린은 이렇게 말했습니다. “우리는 정치적인 현명성을 찾기 위해 계속 맴돌기만 하면서 스스로 그 현명성이 부족하다는 것을 느끼는것 같습니다. 우리는 정부 형태에 있어서 원시 시대 역사로 돌아갔습니다. 우리는 이제는 더 이상 존재하지 않는 각기 다른 공화제를 검토했습니다. 우리는 현재 유럽에 있는 모든 현대의 정치 체제를 살펴보았습니다. 그러나 그 어떤 것도 우리 실정에 맞는 것을 발견하지 못했습니다.” 프랭클린은 대표들에게 신의 도움을 청하자고 촉구했습니다. 프랭클린은 매번 회의를 기도로 시작하자고 말했습니다. 노스 캐롤라이나의 휴 윌리암슨 대표가 재빨리 프랭클린의 제의를 가로막았습니다. 그의 말은 간단했습니다. 이 회의는 기도를 인도할 목사에게 줄 돈이 없다는 것이었습니다. 대표들은 7월 5일 다시 일을 시작했습니다. Grand Committee는 대표권 문제에 관한 보고서를 발표했습니다. 이 보고서는 두가지 제안을 담고 있었습니다. 위원회는 두가지 안을 모두 수용하던가 아니면 두가지 모두를 거부하던가 해야 한다고 말했습니다. 보고서는 양원제를 제의했습니다. 첫번쩨 안은 양원중 하나는 인구 비례로 대표권을 주자는 것이었습니다. 각주는 인구 4만명당 하나의 투표권을 준다는 것이었습니다. 두번째 안은 또 하나의 의회에 각주가 동등한 수의 대표권을 주도록 한 것이었습니다. 제헌 회의는 이미 양원제 안을 투표로 통과시킨바 있었습니다. 그러나 합의를 이루지 못한 부분은 두 의회에서 각주가 어떻게 투표권을 행사하느냐의 문제였습니다. 또 어떻게 의원들을 선출하는가도 합의를 이루지 못했습니다. Grand Committee의 제안은 한달전 코네티커트의 로져 셔먼 대표가 제안한 것과 같은 내용이었습니다. 이후로 이 타협안은 대 타협, 즉 Grand Compromise라 불리웠습니다. 대표들은 타협안에 대해 여러날 토론을 벌였습니다. 이들은 만약 합의를 도출하지 못한다면 제헌회의는 실패한다는 것을 알고 있었습니다. 이때는 필라델피아 제헌회의 기간중 가장 암울한 시기였습니다. 얼마후 메릴랜드의 루터 마틴 대표는 신문들이 얼마나 많은 합의를 이루었는가를 보도했다고 지적하고 그러나 그것은 사실과 다르다고 말했습니다. 루터 대표는 우리는 사실상 파멸의 벼랑에 서있다고 말했습니다. 루터는 우리는 겨우 머리 카락 한올의 힘에 의해 유지되고 있다고 말했습니다. 뉴욕의 로버트 예잇즈와 죤 랜싱 대표는 항의의 표시로 회의장을 떠났습니다. 그러나 버지니아의 죠지 메이슨은 아무 합의가 없이 필라델피아를 떠나기보다는 차라리 이곳에 뼈를 묻겠다고 말했습니다. 심지어 죠지 워싱턴마져 실망에 빠졌습니다. 그는 잠시 뉴욕으로 돌아간 알렉산더 해밀턴에게 편지를 썼습니다. ”나는 당신이 여기를 떠나있어 섭섭합니다. 현재 우리의 토의는 어느때보다 암담합니다. 어떤 형태의 정부가 좋을 것인지에 대해 합의가 이루어진 것이 없습니다. 나는 회의가 성공적인 결실을 보리라는 희망을 거의 잃어버렸습니다. 나는 회의에 참석하겠다고 동의한 것을 후회하고 있습니다.”1787년 여름, 대표들은 중앙 정부에 어느만큼의 권한을 주어야 하는 지에 대해 길고 거치른 싸움을 계속했습니다. 그러나 이 회의에서 가장 첨예한 쟁점은 그것이 아니었습니다. 여러해가 지난후 제임스 매디슨은 가장 어려웠던 문제는 각주가 어떻게 대표권을 갖느냐, 그리고 중앙 정부에서 어떤 투표권을 갖느냐 하는 것이었다고 회고했습니다. 매디슨은 그 문제야 말로 제헌회의를 가장 위협하는 문제였다고 말했습니다.