非但没有等到约定的投降，反而遭到了暴风雨袭击，许多战舰搁浅在这里。查理意识到受了欺骗，暴怒之下下令攻城，可打起来他才发现自己陷入了一个连环圈套：阿尔及尔正处于雨季，连绵不绝的雨水打湿了火药，将他引以自豪的强力火炮化为废铜烂铁。

就在此时，守城的部队发起了攻击，他们早已提前准备好干燥的火药，在避雨的碉堡中开炮，把西班牙大船打了个千疮百孔，查理也在指挥时受伤。祸不单行，就在他的大军接连受挫时，安德鲁多利亚送来了更加令人沮丧的消息：后勤运输部队再次被暴风雨袭击，只有几艘船免于灭顶之灾。后勤线断了，查理的大军吃了上顿没下顿，如果此时海雷丁率军反攻，他们只能束手待毙。

行动彻底失败了，沮丧的查理沿着海岸线回家，打算路上搜集些粮食填肚子。结果每次靠岸，陆地上就会突然涌现出骑骆驼的贝都因人，他们用原始的弓箭把西班牙士兵射了个七零八落。没有后勤，没有补给，士兵们狼狈到要靠船上的猫、老鼠和骑士的马匹充饥，浆手们甚至饿到无力划动木浆，连皇帝本人都差点饿死在海上。

此战，查理失去了三百名将领和八千名普通士兵，而他的敌人海雷丁，甚至都没在阿尔及尔出现过。