Помогите с идеей реализации
 

Буду писать завуалированно. Есть список строк. Список большой - 500 000 и более. Есть "задания". В каждом задании участвует определенное количество строк. Задание для увеличения скорости выполняется в несколько потоков через AJAX (штук 100 потоков). Нужно, чтобы скрипт чётко знал, участвовала ли уже строка в задании, или нет.Сначала думал сделать так: сохраняем исходные строки в файл1, а отработанные в задании строки - в файл2. Затем через array_diff палим, какие ещё не отработали. Но при 500 000 строках скрипт завалился на бок.Не подскажите, как лучше сделать?