Tailing Log File и запись результатов в новый файл

Введение

Вы можете перетащить файл, отслеживая последнюю позицию;

пример

 $file = __DIR__ . "/a.log"; $tail = new TailLog($file); $data = $tail->tail(100) ; // Save $data to new file 

TailLog – это простой класс, который я написал для этой задачи, вот простой пример, показывающий его фактический хвост файла

Простой тест

 $file = __DIR__ . "/a.log"; $tail = new TailLog($file); // Some Random Data $data = array_chunk(range("a", "z"), 3); // Write Log file_put_contents($file, implode("\n", array_shift($data))); // First Tail (2) Run print_r($tail->tail(2)); // Run Tail (2) Again print_r($tail->tail(2)); // Write Another data to Log file_put_contents($file, "\n" . implode("\n", array_shift($data)), FILE_APPEND); // Call Tail Again after writing Data print_r($tail->tail(2)); // See the full content print_r(file_get_contents($file)); 

Вывод

 // First Tail (2) Run Array ( [0] => c [1] => b ) // Run Tail (2) Again Array ( ) // Call Tail Again after writing Data Array ( [0] => f [1] => e ) // See the full content a b c d e f 

Времени в реальном времени

 while(true) { $data = $tail->tail(100); // write data to another file sleep(5); } 

Примечание. Стояние 100 строк не означает, что оно всегда возвращает 100 строк. Он вернет новые добавленные строки. 100 – это максимальное количество строк для возврата. Это может быть неэффективно, если у вас есть более тяжелая регистрация более 100 строк в секунду, есть ли какие-либо

Класс хвоста

 class TailLog { private $file; private $data; private $timeout = 5; private $lock; function __construct($file) { $this->file = $file; $this->lock = new TailLock($file); } public function tail($lines) { $pos = - 2; $t = $lines; $fp = fopen($this->file, "r"); $break = false; $line = ""; $text = array(); while($t > 0) { $c = ""; // Seach for End of line while($c != "\n" && $c != PHP_EOL) { if (fseek($fp, $pos, SEEK_END) == - 1) { $break = true; break; } if (ftell($fp) < $this->lock->getPosition()) { break; } $c = fgetc($fp); $pos --; } if (ftell($fp) < $this->lock->getPosition()) { break; } $t --; $break && rewind($fp); $text[$lines - $t - 1] = fgets($fp); if ($break) { break; } } // Move to end fseek($fp, 0, SEEK_END); // Save Position $this->lock->save(ftell($fp)); // Close File fclose($fp); return array_map("trim", $text); } } 

Хвост блокировки

 class TailLock { private $file; private $lock; private $data; function __construct($file) { $this->file = $file; $this->lock = $file . ".tail"; touch($this->lock); if (! is_file($this->lock)) throw new Exception("can't Create Lock File"); $this->data = json_decode(file_get_contents($this->lock)); // Check if file is valida json // Check if Data in the original files as not be delete // You expect data to increate not decrease if (! $this->data || $this->data->size > filesize($this->file)) { $this->reset($file); } } function getPosition() { return $this->data->position; } function reset() { $this->data = new stdClass(); $this->data->size = filesize($this->file); $this->data->modification = filemtime($this->file); $this->data->position = 0; $this->update(); } function save($pos) { $this->data = new stdClass(); $this->data->size = filesize($this->file); $this->data->modification = filemtime($this->file); $this->data->position = $pos; $this->update(); } function update() { return file_put_contents($this->lock, json_encode($this->data, 128)); } } 

Не совсем понятно, как вы хотите использовать выход, но что-то вроде этой работы ….

 $dat = file_get_contents("tracker.dat"); $fp = fopen("/logs/syst.log", "r"); fseek($fp, $dat, SEEK_SET); ob_start(); // alternatively you can do a while fgets if you want to interpret the file or do something fpassthru($fp); $pos = ftell($fp); fclose($fp); echo nl2br(ob_get_clean()); file_put_contents("tracker.dat", ftell($fp)); 

tracker.dat – это всего лишь текстовый файл, содержащий позицию позиции чтения из предыдущего прогона. Я просто ищу эту позицию и передаю остальную часть в выходной буфер.

Используйте tail -c <number of bytes , а не количество строк, а затем проверьте размер файла. Грубая идея:

 $old_file_size = 0; $max_bytes = 512; function last_lines($path) { $new_file_size = filesize($path); $pending_bytes = $new_file_size - $old_file_size; if ($pending_bytes > $max_bytes) $pending_bytes = $max_bytes; exec("tail -c " + $pending_bytes + " /path/to/your_log", $output); $old_file_size = $new_file_size; return $output; } 

Преимущество состоит в том, что вы можете избавиться от всех специальных материалов обработки и получить хорошую производительность. Недостатком является то, что вам нужно вручную разделить вывод на строки, и, вероятно, вы можете закончить с незавершенными линиями. Но это не имеет большого значения, вы можете легко обойтись, опустив последнюю строку отдельно от вывода (и соответственно вычитая последнее количество строк байтов из old_file_size ).