粒子源R是被铅块包围的，它发射的α粒子经过一条细通道，形成一束射线，打在金箔F上。显微镜M带有荧光屏S，可以在水平面内转到不同的方向对散射的a粒子进行观察。被散射的粒子打在荧光屏上会有微弱的闪光产生。通过显微镜观察闪光就可以记录在某一时间内向某一方向散射的粒子数。从α粒子放射源到荧光屏这段路程处于真空中。
当粒子打到金箔时，由于金原子中的带电粒子对a粒子有库仑力的作用，一些粒子的运动方向改变，也就是发生了α粒子的散射。统计散射到各个方向的粒子所占的比例，可以推知原子中电荷的分布情况。除了金箔，当时的实验还用了其他重金属箔，例如铂箔。
实验发现，绝大多数α粒子穿过金箱后，基本上仍沿原来的方向前进，但有少数a粒子（约占1/8000）发生了大角度偏转，极少数偏转的角度甚至大于90°，也就是说，它们几乎被＂撞了回来”。对α粒子散射实验的解释 这样的事实令人惊奇。大角度的偏转不可能是电子造成的，因为它的质量只有α粒子的1/7300，它对α粒子速度的大小和方向的影响就像灰尘对枪弹的影响，完全可以忽略。因此，α粒子偏转主要是具有原子的大部分质量的带正电部分造成的。而按照J.J.汤姆孙的模型，正电荷是均匀地分布在原子内的，α粒子穿过原子时受到的各方向正电荷的斥力基本上会相互平衡，因此对α粒子运动的影响不会很大。所以，J.J.汤姆孙的模型无法解释大角度散射的实验结果。
卢瑟福分析了实验数据后认为，事实应该是：占原子质量绝大部分的带正电的物质集中在很小的空间范围。这样才会使α粒子在经过时受到很强的斥力，使其发生大角度的偏转。
1911年，卢瑟福提出了自己的原子结构模型。他设想：原子中带正电部分的体积很小，但几乎占有全部质量，电子在正电体的外面运动。这样，当α粒子接近原子时，电子对它的影响仍如前述可以忽略，但是，正电体对它的作用就不同了。因为正电体很小，当α粒子进入原子区域后，大部分离正电体很远，受到的库仑斥力很小，运动方向几乎不改变。只有极少数粒子在穿过时距离正电体很近，因此受到很强的库仑斥力，发生大角度散射。这个情况如图所示。
按照卢瑟福的理论，正电体的尺度是很小的，称为原子核。卢瑟福的原子模型因而称为核式结构模型。卢瑟福以这个模型为依据，利用经典力学计算了向各个方向散射的α粒子的比例，结果与实验数据符合得很好。
