公元135年犹太人被赶出了耶路撒冷，从此开始了大规模的“大流散”和放逐，此后500年间一部分从古老的丝绸之路进入中国西北部，唐宋时期一部分经印度搭乘船只到达中国，并在东南沿海港口定居下来，到了元朝时跟随着蒙古军队到中国的犹太人也很多，据考古资料，已知或据信存在犹太社团的中国城市包括洛阳、西安、开封、敦煌、杭州、宁波、扬州、北京、南京和宁夏。
开封犹太人在宋朝时来到当时都城开封定居，后逐渐被同化，直到19世纪形成了回族。
19世纪以来，俄国的1905年革命和1917年革命使大批犹太难民进入中国，他们主要住在东北和海港城市天津，大多从事皮毛生意。
据《犹太年鉴》记载，1935年到天津的犹太人有3500人，二战结束后犹太人陆续离开中国，到60年代初全部撤离。
到了20世纪30年代，逃脱纳粹迫害的数千德国和奥地利犹太人临时居住在上海，等待得到签证以前往他国。
图为1950年在天津三代同堂的犹太人亚荷德·格尔谢维奇，他安葬于天津犹太人公墓。
直到今天，几乎所有的犹太人都走了，早期定居在中国的犹太人已经逐步融合在中国庞大的人口中被同化了，但是还有一些历史遗迹保留下来，可能追溯到犹太后裔，比如开封犹太人社团，至今还有希伯来的经卷和石碑，也有传教士记载的明清时中国犹太人在会堂里祈祷的景象；还有天津犹太人，他们曾在1911年在天津组建希伯莱协会。