Hanya, kompetisi lini depan Chelsea musim 2003-2004 semakin ketat dengan keberadaan Adrian Mutu, Hernan Crespo, Gudjohnsen, Hasselbaink, dan Mikael Forssell.
Akibatnya, Cole enggan menjadi pilihan keenam dan dipinjamkan ke Charlton Athletic.
Pada periode berikutnya di 2004-2005 yang menandakan pembentukan rezim Jose Mourinho, Cole dipinjamkan ke Aston Villa selama semusim.
Kembali ke Stamford Bridge pada 2005, dia lagi-lagi mendapati sesaknya lini depan dengan adanya Crespo, Didier Drogba, serta Gudjohnsen.
Baca Juga: 10 Pemain Paling Tidak Setia di Liga Inggris, Ada Si Penjebol Gawang Persib yang Kini Bangkrut
Baca Juga: Cerita Mantan Bintang Persib Michael Essien Selama Karantina, Latihan Pakai Zoom
Cole bertahan selama semusim sebelum akhirnya hengkang permanen ke West Ham United pada 2006.
"Saya mengambil pilihan pada akhir musim itu bahwa sekaranglah saatnya untuk pergi," tutur Cole curhat, seperti dikutip BolaSport.com dari situs klub West Ham.
"Saya ingin main lebih banyak di skuad juara Chelsea kala itu, tapi sungguh sulit tampil reguler.