三省当中，尚书省的级别最高，长官尚书令正二品，副长官左右仆射（读如夜）从二品。这当然因为尚书省出道最早又管事最多，直到隋代仍然是总揽一切的机关，高颎和杨素便是以左右仆射的身份成为隋的宰相。
尚书省的规模也最大，下辖六部二十四司。其中，吏部管官员，相当于组织部或人事部；户部管度支，相当于财政部兼民政部和商务部；礼部管祭祀和教育，相当于文化部兼教育部再加精神文明建设办公室；兵部管军政，相当于国防部；刑部管刑律，相当于公安部和司法部；工部管营造，相当于建设部兼交通部、农业部、水利部。
六部的长官都叫尚书，正三品。副长官都叫侍郎，正四品（吏部侍郎正四品上）。每个部下面还有四个司，司官都叫郎中，从五品上；副司官都叫员外郎，从六品上；其下为主事，从九品上。六部二十四司，每部第一司即为本司，比如吏部第一司为吏部司，户部第一司为户部司，等等。
这六个部，在尚书省分左右两边办公，两边各有一个分管领导和秘书长。吏、户、礼为左，兵、刑、工为右，领导和秘书长则分别为左右仆射和左右丞（正四品）。左右丞只负责协调具体事务，大事则必须向左右仆射请示汇报。