TCP(Transmission Control Protocol)는 인터넷에서 데이터를 안정적으로 전달하기 위한 핵심 프로토콜로, 전송 계층(Transport Layer)에 속합니다. TCP는 데이터를 순서대로, 오류 없이 목적지에 전달하기 위해 사전에 연결을 설정하고 상태를 동기화하는 절차를 필요로 합니다. 이 연결 설정 과정이 바로 3-Way Handshake이며, 신뢰성 있는 통신의 출발점이라 할 수 있습니다.
이번 글에서는 TCP 연결이 어떤 방식으로 수립되는지, 각 단계에서 어떤 메시지가 오가는지 알아봅시다.
1. TCP는 왜 연결을 수립할까?
TCP는 연결 지향형(Connection-Oriented) 프로토콜입니다. 따라서 데이터를 전송하기 전에 송신자와 수신자 간의 연결을 명시적으로 설정해야 합니다. 이러한 과정에서 아래의 내용이 필수적입니다.
- 데이터의 순서 보장: 데이터가 전송 순서대로 도착해야 하는 애플리케이션 요구를 만족
- 전송 오류 제어: 손실된 데이터나 중복된 데이터를 탐지하고 재전송
- 흐름 제어 및 혼잡 제어: 네트워크 병목을 줄이고, 수신자가 감당 가능한 속도로 데이터 전송
이러한 기능을 가능하게 하기 위해, 연결 수립 시점에 송신자와 수신자는 상태를 동기화하고, 시퀀스 번호 기반의 통신 규약을 사전에 맞추기 위해 TCP 3-Way Handshake가 진행됩니다.
2. TCP 3-Way Handshake 구조와 흐름
TCP 연결 수립은 세 단계의 메시지 교환으로 구성되며, 이를 3-Way Handshake라고 부릅니다.
1단계: SYN (클라이언트 → 서버)
클라이언트가 서버에 연결을 요청하는 단계입니다. 클라이언트의 시작 시퀀스 번호(ISN)를 포함한 SYN 패킷 전송합니다. 이 요청은 단순한 연결 요청을 넘어서 이후 통신의 시퀀스 기준점을 전달하는 역할도 수행합니다.
- ISN (Initial Sequence Number) : 초기 순서 번호 입니다. TCP 연결이 처음 수립될 때, 송신 측(보통 클라이언트)이 랜덤하게 선택해 보내는 32비트 숫자입니다. 이후 전송되는 바이트들에 대해 이 ISN을 기준으로 순서 번호를 부여하게 됩니다. 예를 들어, 클라이언트가 ISN = 1000을 생성해 SYN 패킷에 담아 보내면, 이후 전송될 데이터의 첫 번째 바이트는 순서 번호 1001, 다음 바이트는 1002… 식으로 번호가 매겨집니다.
- SYN (Synchronize) : 동기화 요청 플래그 입니다. TCP 헤더에 있는 제어 비트(Control Bit) 중 하나로, 상대방과 시퀀스 번호를 맞추기 위해 “초기 순서 번호(ISN)”를 전달할 때 설정됩니다. SYN 플래그를 통해 서로의 초기 시퀀스 번호를 교환하여 이후 데이터 흐름을 동기화합니다.
2단계: SYN + ACK (서버 → 클라이언트)
서버가 요청을 수락하며 클라이언트의 SYN에 대한 응답을 전송합니다. 자신의 ISN을 포함한 SYN과 클라이언트 ISN에 대한 ACK 전송합니다. 이를 통해, 클라이언트와 서버 양측 모두 송신 준비가 완료됨을 확인합니다.
- ACK (Acknowledgment) : 확인 응답 플래그 (Acknowledgment) 입니다. TCP 헤더에 있는 제어 비트 중 하나로, “이전 단계로부터 받은 데이터를 제대로 받았다”는 의미로 상대방에게 알려줄 때 설정합니다. 예를 들어, 클라이언트가 자신의 ISN = 1000을 보냈다면, 서버는 “ACK 번호 = 1001”을 담아서 “클라이언트가 보낸 ISN + 1을 잘 받았다”는 의미를 전달합니다. ACK 플래그는 세션이 수립된 이후에도 매번 송수신할 때마다 상대가 보낸 바이트들을 잘 받았음을 알리는 데 계속 사용됩니다.
3단계: ACK (클라이언트 → 서버)
클라이언트가 서버의 SYN을 확인하고 최종 응답을 보냅니다. 서버 ISN에 대한 ACK 패킷을 전송합니다. 연결이 ESTABLISHED 상태로 전환되어 데이터 송수신이 가능해집니다.
이 구조는 양측이 명시적으로 상태를 동기화하며, 일방적이지 않은 쌍방향 통신 준비를 마쳤음을 의미합니다.
| 단계 | 전송 측 | SEQ 번호 | ACK 번호 | 설명 |
|---|---|---|---|---|
| 1단계 (SYN) | 클라이언트 → 서버 | 100(클라이언트_ISN) | - | 클라이언트가 랜덤으로 초기 시퀀스 번호(ISN) 100을 정해 SEQ=100, SYN=1 패킷을 보냄. ACK는 미설정. 100부터 시작한다는 의미 |
| 2단계 (SYN-ACK) | 서버 → 클라이언트 | 300(서버_ISN) | 101(클라이언트_ISN+1) | 서버가 랜덤으로 초기 시퀀스 번호(ISN) 300을 정해 SEQ=300, SYN=1, ACK=101 패킷을 보냄. 여기서 ACK=101은 “클라이언트가 보낸 100번 SYN을 잘 받았으니, 다음으로 받을 데이터는 101번부터 해달라”는 의미 |
| 3단계 (ACK) | 클라이언트 → 서버 | 101(클라이언트_ISN+1) | 301(서버_ISN+1) | 클라이언트가 SEQ=101, ACK=301, SYN=0 패킷을 보냄. SEQ=101은 “내가 보내는 첫번째 데이터 바이트는 101번부터”, ACK=301은 “서버가 보낸 300번 SYN을 잘 받았으니 다음 데이터는 301번부터 해달라”는 의미. 이로써 양쪽 모두 상대방의 ISN(100, 300)을 확인했고, 실제 데이터 전송을 시작할 준비가 끝남 |
이렇게 세 단계가 완료되면 양쪽 모두 상대의 초기 순서 번호(ISN)를 확인하고, 이후 데이터 전송 시 SEQ와 ACK를 바탕으로 신뢰성 있는 통신을 이어나가게 됩니다. 이해도를 높이기 위해 용어 정리를 하면 아래와 같습니다.
3. 시퀀스 번호와 ACK 메커니즘
TCP는 데이터를 보낼 때 “어떤 데이터가, 어느 순서로, 제대로 도착했는지” 추적해야 신뢰성 있는 통신이 가능합니다. 이를 위해 TCP는 각 바이트에 시퀀스 번호(Sequence Number, SEQ)를 붙이고, 받은 쪽에서는 “여기까지 잘 받았다”고 알려주는 확인 응답 번호(Acknowledgment Number, ACK)를 사용합니다. 3-Way Handshake 단계에서도 이 번호가 초기화되고 교환되기 때문에, 연결이 성립된 뒤에는 서로가 서로의 번호를 기억한 상태로 본격적인 데이터 전송을 시작할 수 있습니다.
- SEQ (Sequence Number) : TCP 헤더에 포함된 32비트 필드로, 해당 패킷에 담긴 데이터(또는 제어 메시지)가 연결 전체에서 네 번째 단계까지 어느 위치에 속하는지 표시합니다.
시퀀스 번호(SEQ) 역할
- 데이터 조각화(Fragmentation) : TCP는 큰 데이터를 작은 패킷(세그먼트)으로 나눠서 보냅니다. 예를 들어, 1,000바이트짜리 파일을 500바이트씩 두 번 보내야 한다면, “첫 번째 세그먼트가 어디까지, 두 번째 세그먼트가 어디부터”인지 일일이 구분해줘야 합니다.
- 순서 보장(Ordering) : IP 계층에서는 패킷이 서로 다른 경로를 통해 흩어져서 도착할 수 있기 때문에, 수신 측이 나중에 받은 두 번째 세그먼트를 먼저 처리하면 데이터가 뒤섞일 수 있습니다. 이럴 때 시퀀스 번호가 있으면 원래 보낸 순서대로 재조립하기가 쉬워집니다.
- 재전송 관리(Retransmission) : “이전에 보낸 데이터가 제대로 도착했는지” 확인되지 않으면, 일정 시간 뒤에 다시 보내야 합니다. ACK 번호를 통해 수신 측이 “이 번호까지는 이상 없이 받았다”고 알려주면, 송신 측은 그 다음 번호부터 남은 데이터를 보내거나, 누락된 부분만 재전송할 수 있습니다.
확인 응답 번호(ACK)의 역할
- 수신 측은 마지막으로 제대로 받은 바이트의 다음 번호(마지막 바이트 순서 번호 + 1)를 ACK 번호 필드에 담아 송신 측에 보냅니다. 예를 들어, 송신 측이 바이트 0부터 바이트 99까지(총 100바이트)의 데이터를 보냈다면, 수신 측은 이를 잘 받았음을 의미하는 ACK 번호로 “100”을 전송합니다.
- 흐름 제어(Flow Control): 수신 측 버퍼가 꽉 차면 ACK를 늦게 보내거나, 가끔씩만 보내면서 “너무 빨리 보내지 말아 달라”는 신호를 줄 수도 있습니다.
- 오류 검출: 특정 번호(x)까지 받았다는 ACK가 일정 시간 내에 오지 않으면, 송신 측은 “아마 그 구간에서 패킷이 손실됐구나!”라고 판단하고 해당 시퀀스 번호(x)부터 다시 전송을 시도합니다.
이를 통해 연결 수립 이후 각 전송 단위에 대한 확인 응답이 가능해지며, 재전송이나 데이터 순서 보장이 실현됩니다.
4. 연결 실패 발생 예시
연결 실패 및 타임아웃
3단계 중 하나라도 누락되면 연결은 실패합니다. 예를 들어, SYN을 보냈지만 SYN+ACK이 도착하지 않으면 클라이언트는 일정 시간 기다린 뒤 타임아웃으로 연결 시도를 포기합니다. 이는 방화벽 차단, 네트워크 중단, 서버 부하 등 다양한 원인으로 발생할 수 있습니다.
SYN Flood 공격 (DDoS)
공격자는 SYN 요청만 무수히 보낸 뒤, ACK을 보내지 않아 서버의 **연결 대기열(Backlog Queue)**을 점유하는 SYN Flood 공격을 시도할 수 있습니다. 이는 TCP 연결 대기 자원을 고갈시켜 정상 요청을 막는 대표적인 DDoS 기법입니다.
Half-Open 상태
양쪽 중 한쪽만 연결이 종료된 상태를 Half-Open이라 부르며, 서버 리소스를 낭비할 수 있습니다. 이러한 상태를 탐지하고 정리하기 위해 TCP Keep-Alive 기능이나 커넥션 타임아웃 설정이 활용됩니다.
5. 3-Way Handshake 활용
TCP 3-Way Handshake는 단순히 연결을 여는 기능을 넘어서, 다양한 환경에서 사용됩니다.
- 패킷 분석: Wireshark로 병목/지연 구간을 분석할 때 가장 먼저 확인하는 기준
- 보안 분석: 비정상 SYN 패턴은 보안 침해의 신호로 해석 가능
- 서버 성능 측정: 연결 수락 속도, SYN Queue 포화 여부 등도 성능 지표로 사용
- L4 로드밸런싱: 세션의 시작점을 식별하고 연결을 특정 서버에 전달하기 위한 필수 정보
컨테이너나 가상 머신처럼 네트워크 토폴로지가 복잡한 환경에서는 연결 성립 자체가 문제가 되는 경우가 많아, 3-Way Handshake는 네트워크 구성 검증에도 중요한 역할을 합니다.
6. 전체 요약 정리
| 단계 | 메시지 | 주체 | 설명 |
|---|---|---|---|
| 1 | SYN | 클라이언트 | 연결 요청 및 클라이언트 시퀀스 번호 전송 |
| 2 | SYN + ACK | 서버 | 연결 수락, 서버 시퀀스 번호 전송 + 클라이언트 응답 확인 |
| 3 | ACK | 클라이언트 | 서버 응답 확인 및 최종 연결 확립 |
마무리
TCP 3-Way Handshake는 모든 신뢰성 기반 네트워크 통신의 출발점이자 기초입니다. 이 과정을 정확히 이해하면 단순한 연결 이상으로, 성능 병목, 보안 위협, 인프라 장애의 원인을 파악하고 대응할 수 있습니다.