Награждён шестью орденами Ленина, орденом Октябрьской Революции, тремя орденами Красного Знамени, тремя орденами Суворова I степени, орденом Суворова II степени, Отечественной войны I степени, медалями, иностранными орденами.
Родился 21 мая 1900 года в деревне Боркино Кировской области.
В Советской Армии с 1919 года. Окончил пехотные командные курсы (1920), курсы «Выстрел» (1923), Военно-воздушную академию им. Н. Е. Жуковского (1932). Участник Гражданской войны. Сражался против формирований Булак-Балаховича, участвовал в подавлении восстания в Воронежской губернии и кронштадтского мятежа 1921 года.
После Гражданской войны командовал ротой, батальоном. С 1930 года – в ВВС. По окончании академии с января 1933 года – начальник оперативного отделения штаба авиационной бригады, затем работал в научно-исследовательском институте ВВС РККА. В 1934 году назначен командиром эскадрильи Высших лётно-тактических курсов. В 1935 году сдал экстерном экзамены на звание военного лётчика. С августа 1938 года – помощник начальника, с мая 1941 года – начальник Высших авиационных курсов усовершенствования лётного состава.
В годы Великой Отечественной войны К.А. Вершинин командовал (с сентября 1941 года) ВВС Южного фронта, с мая 1942 года – 4-й воздушной армией. В сентябре 1942 года – апреле 1943 года командовал ВВС Закавказского фронта. Во время наступления советских войск на Кавказе по инициативе К.А. Вершинина были применены малоскоростные, но высокоманёвренные истребители И-153 («Чайка»), которые эффективно атаковали противника на малых высотах.
В мае 1943 года К.А. Вершинин вновь назначен командующим 4-й воздушной армией, руководил ею в воздушных сражениях на Кубани, где было завоёвано господство в воздухе. После освобождения Крыма 4-я воздушная армия была передана в состав 2-го Белорусского фронта, участвовала в Белорусской операции 1944 года, сыграла важную роль в разгроме противника. В ходе Восточно-Прусской операции, несмотря на исключительно неблагоприятные метеорологические условия, К.А. Вершинин обеспечил успешные действия соединений воздушной армии при разгроме пшаснышско-млавской и других группировок противника.
К.А. Вершинин отличался глубокими знаниями в области оперативного искусства, постоянными поисками нового, творческим подходом к решению поставленных задач. Это позволяло ему умело организовывать взаимодействие соединений ВВС с сухопутными войсками, оказывать действенную помощь общевойсковым и танковым армиям.
В 1946–1949 годах К.А. Вершинин – главком ВВС – заместитель министра обороны СССР. В период перевооружения ВВС реактивной техникой по его инициативе осенью 1946 года был создан 1-й специальный учебный центр для обучения лётного состава полётам на реактивных самолётах. В августе 1947 года под руководством К.А. Вершинина на воздушном параде в Тушино советские лётчики впервые продемонстрировали групповой высший пилотаж на реактивных истребителях.
С сентября 1949 года – в войсках ПВО и ВВС. В 1953–1954 годах командовал войсками ПВО страны. В январе 1957 года он вновь назначен главкомом ВВС – заместителем министра обороны СССР. С марта 1969 года – в Группе генеральных инспекторов Министерства обороны СССР.
Депутат Верховного Совета СССР II, IV-VII созывов.
Награждён шестью орденами Ленина, орденом Октябрьской Революции, тремя орденами Красного Знамени, тремя орденами Суворова I степени, орденом Суворова II степени, Отечественной войны I степени, медалями, иностранными орденами.