Готовый парсер редтуба

Статус
В этой теме нельзя размещать новые ответы.

vredin

Постоялец
Заблокирован
Регистрация
17 Дек 2007
Сообщения
139
Реакции
35
  • Автор темы
  • Заблокирован
  • #1
мой первый скрипт, бить можно но желательно объективно и в сторону оптимизации скрипта.
Скрипты ложат в mysql базу тайтл, тайтл по-русски(в процессе), короткий урл, категорию, время добавления, ссылки на превьюшки(это сделал "в лоб"), код для вставки, прямая линка на flv, индикатор выкладывания видео на своем сайте(на всякий случай), индикатор того что превьюшки закачаны.
есть проверка на дубликаты, т.е. теоретически можно запускать несколько инстансов скрипта.
Категории нужно допилить в конфиг файле + я не понял по какому принципу видики хранятся на сайте в разных категориях, но понял что около половины на сайте лежат в категории, которую я назвал "general"

Вопросы, предложения приветствую.. делалось чтобы вспомнить что такое программирование(ничего не писал лет 6).
 

Вложения

  • redtube_parser.zip
    6,4 KB · Просмотры: 116
мой первый скрипт, бить можно но желательно объективно и в сторону оптимизации скрипта.
Скрипты ложат в mysql базу тайтл, тайтл по-русски(в процессе), короткий урл, категорию, время добавления, ссылки на превьюшки(это сделал "в лоб"), код для вставки, прямая линка на flv, индикатор выкладывания видео на своем сайте(на всякий случай), индикатор того что превьюшки закачаны.
есть проверка на дубликаты, т.е. теоретически можно запускать несколько инстансов скрипта.
Категории нужно допилить в конфиг файле + я не понял по какому принципу видики хранятся на сайте в разных категориях, но понял что около половины на сайте лежат в категории, которую я назвал "general"
*** скрытое содержание ***
Вопросы, предложения приветствую.. делалось чтобы вспомнить что такое программирование(ничего не писал лет 6).

Отличная идея, я бы рекомендовал в переменной $path_to_thumbs из файла get_thumbs.php часть '/home/localhost/www/pics/' перенести в настройки, а так парсер неплохо написан;)
 
Очень даже хороший скрипт. Работает очень быстро. Вопрос: у redtube ссылки на видео файлы постоянные? Как то я уже парсил какой-то ресурс, они постоянно линки меняли.
 
  • Заблокирован
  • #4
ссылки постоянные но время от времени некоторые убивают. В теме про дле лежит два парсера один только редтуб парсит я выкладывал, другой еще несколько адалт тубов. Но и этот скрипт интересен
 
  • Автор темы
  • Заблокирован
  • #5
Очень даже хороший скрипт. Работает очень быстро. Вопрос: у redtube ссылки на видео файлы постоянные? Как то я уже парсил какой-то ресурс, они постоянно линки меняли.

снифер ловит вот такую линку на сам ролик:
Для просмотра ссылки Войди или Зарегистрируйся

там сильно замученная функция получения урла, но линки старого типа (Для просмотра ссылки Войди или Зарегистрируйся) тоже работает отлично.

на всякий случай я добавляю в базу код для вставки - с ним конечно меньше гибкости, нельзя будет свой плеер юзать, но для ГС можно использовать :)
 
  • Автор темы
  • Заблокирован
  • #6
Выкладываю скрипт переводчика для роликов и прикольную тулзу, с помощью которой очень удобно редактировать перевод после Гугла прямо в ячейках таблицы

translate.php - в запросе принудительно поставлено переводить по 500 строк за раз, перевел так всю базу - на всякие каптчи не нарывался.. в принципе проверку не добавлял ибо еще не знаю как :(

db2 - запускать index.html. с помощью jqgrid формируется вывод оригинального тайтла и переведенного гуглом. но так как гугл перевел тайтлы очень смешно, то ручная правка просто необходима.
 

Вложения

  • translate.zip
    317,1 KB · Просмотры: 37
  • Автор темы
  • Заблокирован
  • #7
ссылки постоянные но время от времени некоторые убивают. В теме про дле лежит два парсера один только редтуб парсит я выкладывал, другой еще несколько адалт тубов. Но и этот скрипт интересен

можете ткнуть в другие парсеры? хочу вытащить пару функций - сейчас обдумываю сделать импорт из моей базы в wp и возможно dle

что касается "умирания" ссылок - могу дописать модуль для проверки наличия роликов и апдейта базы.. теоретически, прогон всех 16к урлов что сейчас на редтубе займет не более часа
 
можете ткнуть в другие парсеры? хочу вытащить пару функций - сейчас обдумываю сделать импорт из моей базы в wp и возможно dle
что касается "умирания" ссылок - могу дописать модуль для проверки наличия роликов и апдейта базы.. теоретически, прогон всех 16к урлов что сейчас на редтубе займет не более часа

Функция fixEncoding в 48 строке translate.php отсутствует. Наверное ты её в func.php добавил?
 
  • Автор темы
  • Заблокирован
  • #9

Вложения

  • func.zip
    2,3 KB · Просмотры: 40
Стоило бы добавить ище определение размера файла FLV. :)
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху