Райффайзен начал свою практическую деятельность одновременно с Шульце в юго-западной части современной Германии, на Рейне. Первые годы его работы на поприще общественного служения посвящены были также благотворительной помощи "недостаточным" и "неимущим".

К тому времени, как начал работать Райффайзен, у крестьянина юго-западной Германии потребность в кредите ощущалась уже достаточно сильно. А если потребность возникла, она, конечно, нашла себе и удовлетворение. Но те способы и формы, посредством которых первоначально удовлетворялась эта потребность, были не только несовершенны, и тяжелы, они были просто вредны и разорительны для сельского хозяйства и в будущем грозили ему гибелью. В роли деревенского банкира выступил ростовщик. Так как ссудный капитал, которым располагали ростовщики, не мог быть особенно большим, а спрос на кредитование быстро рос, то понятно, что, далеко не удовлетворяя потребности, ростовщический кредит принял тяжелые, уродливые формы. За занятые деньги в то время считалось обычным, "нормальным" платить 60 и даже 100 процентов годовых Ясно, что таких условий никакое, самое хорошее хозяйство вынести было не в состоянии, и что вместо улучшения, оно, завязнув в тине ростовщического кредита, шло верными шагами к разорению.

Райффайзен в течение долгих лет сам жил в деревне. Ему близко были известны нужды деревенского населения и те способы, при помощи которых оно пыталось удовлетворить эти нужды и приспособиться к новым хозяйственным условиям. Он видел тщетность этих попыток, видел воочию горе, слезы и страдание, вытекавшие отсюда.

Движимый чувствами сострадания и любви к ближнему, он задумал помочь горю и облегчить страдания сельских. Жителей. Райффаизен ясно понимал, что надо организовать кредит и, движимый филантропическими побуждениями, думал сначала найти решение этой трудной задачи в благотворительной помощи. Первые основанные им деревенские общества (ферейны) носили благотворительный характер. Однако, после нескольких лет работы, Райффаизен убедился, что взятая им на себя задача не разрешается и не может быть разрешена путем благотворительности.

Благотворительных средств не может быть достаточно, для покрытия потребности. Опыт показал, что даровые средства легко выпрашиваются под всевозможными, более или менее благовидными предлогами; раз они выданы, то о возврате, никто не думает, и собрать выданные ссуды является делом почти невозможным. Таким образом, общество, ставящее себе целью организовать кредит, превращается в простую раздаточную контору благотворительных подачек, разрушающую правильную постановку кредитования и действующую развращающим образом на население.

Горькие уроки жизни показали Райффайзену обратную сторону той картины, которую он пытался нарисовать в своем воображении, и заставили его с новой энергией приняться за отыскание правильного пути. Этот путь был найден в применении важного кооперативного начала взаимной помощи.

В апреле 1869 года в деревне Геддесдорф было основано первое кредитное товарищество и тем самым было положено основание правильной организации кооперативного кредита, которому суждено было в течение нескольких десятков лет, охватить весь цивилизованный мир.

Некоторые основные начала, на которых строилась организация этого кредитного товарищества, с несущественными изменениями проходят через всю так называемую Райффайзенскую "систему" и определяют собою отличительный черты или тип товарищества,

В 1866 году Райффаизен публикует первое издание своей известной книги "Ссудные ферейны" ("Die Darlehenskassen vereine"); в 1877 году он основывает кооперативный союз, получивший впоследствии наименование "Генерального Союза сельских кооперативных товариществ". Во главе союза в качестве его председателя Райффайзен оставался до самой смерти.