Ограничение числа одновременных подключений с одного IP в Nginx

Используйте ngx_http_limit_zone_module следующим образом прописав директив limit_zone и limit_conn в конфигурационном файле nginx.conf

http {
....
    limit_zone one $binary_remote_addr 1m;
    limit_conn one 8;
...
}

Ограничили число подключений до 8 с одного IP-адреса и выделили под это кэш размером в 1 мб. В кеше размером 1 мегабайт может разместиться до 32000 состояний размером по 32 байта. Подробнее тут http://sysoev.ru/nginx/docs/http/ngx_http_limit_zone_module.html