Mezi nimi se rozhoří velký politický boj, během něhož došlo i na osobní urážky, ale jehož jádrem byl nesmiřitelný spor mezi dvěma doktrínami, které se z něho postupně vynořily – marxismem a anarchismem. Marx tehdy pochopil, že je téměř nutností odstranit Bakunina z M.A.P., protože hrozilo, že se organizace promění v síť autonomních federací, postavených proti socialistickým politickým stranám Marxova typu. Marxovi se to nakonec těsnou většinou na jednom z kongresů podařilo. Švýcarská federace ale svolala další kongres, který odmítl Marxovu verzi. Marx poznal, že anarchisté získali v MAP pevné pozice a proto přesunul jeho hlavní sídlo do New Yorku, kde posléze činnost MAP ustala.
Bakunin se však již nacházel na konci života. Byl znaven a znechucen neutuchajícími útoky ze strany marxistů. Těžce nemocen zemřel v Bernu 1. července 1876.