Karpin khởi đầu sự nghiệp quần đùi áo số trong màu áo CLB Sport Tallinn vào năm 1986. Hai năm sau, ông đầu quân cho CSKA Moscow - một trong những CLB danh tiếng bậc nhất của Nga. Dù vậy, mọi chuyện không mấy suôn sẻ với Karpin bởi cựu tiền vệ này chỉ có vỏn vẹn 3 lần ra sân, trước khi chuyển đến Fakel Voronezh năm 1989.
Cũng kể từ đây, sự nghiệp của Karpin mới thực sự bắt đầu thăng tiến. Ông ghi điểm mạnh tại Fakel Voronezh với 7 pha lập công sau 7 lần ra sân. Chính phong độ ấn tượng này đã giúp Karpin được Spartak Moscow tái ký hợp đồng vào năm 1990. Trái với nhiệm kỳ đầu đáng quên, Karpin đã từng bước trở thành trụ cột của Spartak Moscow, để rồi cùng CLB đoạt 3 chức vô địch quốc gia Nga (Russian Premier League) liên tiếp vào các năm 1992, 1993 và 1994. Trước đó, Karpin đã cùng Spartak Moscow đăng quang Soviet Cup ở mùa 1991/92.
Màn thể hiện tuyệt vời trong màu áo Spartak Moscow đã giúp Karpin lọt vào mắt xanh của nhiều đội bóng tại châu Âu. Bước ngoặt đến với cựu tiền vệ này vào Hè 1994, khi ông được Real Sociedad chiêu mộ với giá 750.000 euro, mở ra một chương hoàn toàn mới trong sự nghiệp. Từ việc chỉ chơi bóng tại một giải đấu thuộc hạng dưới của lục địa già, Karpin đã vươn mình đến một trong những giải VĐQG thuộc top đầu châu Âu.
Quan trọng hơn cả, Karpin không đến La Liga để thưởng ngoạn hay học việc, thay vào đó, ông lập tức trở thành mắt xích quan trọng của Sociedad. Qua hai mùa giải, cựu tuyển thủ Nga sở hữu 77 lần ra sân cho CLB xứ Basque, đóng góp 17 bàn thắng - con số không hề ít với một tiền vệ. Hè 1996, Karpin tiếp tục cuộc phiêu lưu ở Tây Ban Nha khi rời Sociedad gia nhập Valencia với giá 6 triệu euro. Ông chỉ có một mùa cống hiến cho "Bầy dơi", trước khi cập bến Celta Vigo vào hè 1997 với mức phí 4,2 triệu euro.
Tại đây, Karpin như cá gặp nước. Ông cùng với tiền vệ đồng hương Aleksandr Mostovoi tạo thành hai quân bài ăn ý, góp phần tạo nên tập thể Celta Vigo được truyền thông Tây Ban Nha đánh giá là hiệu quả nhất lịch sử CLB. Ở La Liga 1998/99, Celta dù chỉ xếp thứ 5 chung cuộc trên bảng xếp hạng song đã ghi tới 69 bàn. Đây là một trong số ít lần Celta vượt qua mốc 60 bàn, với lần gần nhất trước đó đến ở mùa 1951/52 (64).
Danh hiệu đầu tiên và cũng là duy nhất của Karpin trong màu áo Celta đến vào năm 2000, khi ông cùng các đồng đội vô địch UEFA Intertoto Cup - giải đấu dành cho những CLB không đủ điều kiện tham dự Champions League hay UEFA Cup (tiền thân của Europa League ngày nay). Ở mùa giải 2000/01, Karpin còn cùng Celta vào đến chung kết cúp Nhà vua. Trên đường đi, đội bóng của Karpin đã quật ngã cả Barca ở bán kết song đáng tiếc lại thúc thủ 1-3 trước Real Zaragoza trong trận cuối cùng.
Chung cuộc, Karpin có 5 mùa bùng nổ tại Celta trước khi trở lại Sociedad năm 2002, có tiếp 3 mùa giải thi đấu cho đội chủ sân Anoeta trước khi giải nghệ ở tuổi 36. Dù vậy, mối lương duyên với bóng đá của Karpin không dừng lại ở đó. 4 năm sau khi treo giày, cựu tiền vệ người Nga dấn thân vào nghiệp huấn luyện và đội bóng đầu tiên ông dẫn dắt chính là Spartak Moscow - CLB đã trở thành bệ phóng đưa sự nghiệp của Karpin thăng hoa tại La Liga.
Năm 2014, Karpin sang Tây Ban Nha dẫn dắt Mallorca song không thành công, trước khi lần lượt kinh qua Torpedo Armavir và Rostov. Năm 2021, Karpin được bổ nhiệm là HLV trưởng đội tuyển Nga. Đến tháng 6 năm nay, ông được LĐBĐ Nga gia hạn hợp đồng đến năm 2028, cho thấy chiến lược gia 55 tuổi này được tin tưởng như thế nào.
Song song với việc nắm quyền tại tuyển Nga, Karpin còn có nhiệm kỳ hai dẫn dắt Rostov, bắt đầu từ năm 2022 cho đến nay. Ở hai mùa giải gần nhất, Karpin đều giúp Rostov cán đích ở nửa trên bảng xếp hạng Russian Premier League, trong đó, đứng thứ 4 ở mùa 2022/23. Hiện tại, sau 7 vòng đấu ở mùa 2024/25, Rostov đang xếp thứ 7 với 11 điểm, kém đội đầu bảng Zenit Saint Petersburg 6 điểm.
