В предложении "Когда я с ним ни разговаривал, он молча уходил от меня." можно писать и не и ни почему

Написание обеих частиц возможно, но предложения с ними будут иметь разный смысл. Если использовать частицу не, то смысл будет таким: когда я с ним не разговаривал, он молча уходил от меня (потому что разговора не происходило). Если употреблена будет частица ни, то смысл изменится: когда я с ним ни разговаривал (каждый раз, когда я с ним говорил), он молча уходил от меня (потому что не хотел общаться).