En 1934, la OGPU fue incorporada a la nueva NKVD de la URSS, transformándose en el Directorio Principal de Seguridad del Estado. El NKVD de la RSFSR dejó de existir y no regresó hasta 1946 (como el MVD de la RSFSR). Como resultado, el NKVD también se hizo responsable de todas las instalaciones de detención (incluyendo los campos de trabajo, conocidos como Gulag, además de hacerse cargo de la policía regular).
Otros departamentos del NKVD se encargaban de funciones policiales generales e investigaciones criminales, recopilar la información de inteligencia y operaciones especiales en otros países, la contrainteligencia y la seguridad personal para oficiales de alto rango y otras labores relacionadas.