PHP 实战：爬取 Bilibili 弹幕数据- 技术经验 -卓越飞翔博客

Bilibili 是一个盛行于中国的弹幕视频网站，也是一片宝藏，里面蕴藏着各种各样的数据。其中弹幕数据是一项非常有价值的资源，因此许多数据分析师和研究人员都希望能够获取这些数据。在本文中，我将介绍使用 PHP 语言实现爬取 Bilibili 弹幕数据。

准备工作

在开始爬取弹幕数据之前，我们需要安装一个 PHP 爬虫框架 Symphony 2。可以通过以下命令进行安装：

$ curl -LsS https://symfony.com/installer -o /usr/local/bin/symfony
$ chmod a+x /usr/local/bin/symfony

之后我们需要使用 Composer 安装 GuzzleHttp 和 PHP-DI 依赖库：

$ composer require guzzlehttp/guzzle php-di/php-di

接着，我们需要到 Bilibili 网站中查找对应的视频的编号，可以通过浏览器 F12 开发者工具获取。

爬取弹幕数据

在获取到 Bilibili 视频的编号之后，我们可以使用 GuzzleHttp 发送 GET 请求获取数据，从而获得视频中的弹幕列表信息。以下是获取数据的代码：

$client = new GuzzleHttpClient();
$res = $client->request('GET', "https://api.bilibili.com/x/v1/dm/list.so?oid={$oid}");
$xml = simplexml_load_string($res->getBody(), 'SimpleXMLElement', LIBXML_NOCDATA);

在成功获取到弹幕列表信息之后，我们将其封装为一个数组：

$items = [];

foreach ($xml->d->p as $p) {
    list($time, $type, $size, $color, $time) = explode(",", $p['p']);
    $content = (string) $p;
    $items[] = [
        'time' => (float) $time,
        'content' => $content
    ];
}

在我们成功获取到弹幕数据之后，我们可以将其保存到数据库中，以便后续的分析与使用：

$builder = $this->db->createQueryBuilder();
foreach ($items as $item) {
    $builder->insert('danmaku')
            ->values([
                '`time`' => ':time',
                '`content`' => ':content'
            ])
            ->setParameters([
                ':time' => $item['time'],
                ':content' => $item['content']
            ])
            ->execute();
}

分析弹幕数据

接下来，我们可以开始对获取到的弹幕数据进行分析和展示。我们可以使用 PHP 配合 Highcharts 这个数据可视化工具来构建一个弹幕数量的图表。以下是展示数据和代码实现：

$builder = $this->db->createQueryBuilder();

$data = $builder->select('COUNT(*) as cnt, FLOOR(`time`) as time')
                ->from('danmaku')
                ->groupBy('floor(`time`)')
                ->execute()
                ->fetchAll(PDO::FETCH_ASSOC);

echo $twig->render('danmaku.html.twig', [
    'data' => $data
]);

Highcharts.chart('container', {
    chart: {
        type: 'spline'
    },
    title: {
        text: '弹幕数量'
    },
    xAxis: {
        title: {
            text: '时间'
        }
    },
    yAxis: {
        title: {
            text: '数量'
        }
    },
    credits: {
        enabled: false
    },
    series: [{
        name: '弹幕数量',
        data: {{ data | json_encode }}
    }]
});

结束语

通过该篇文章，我们已经成功使用 PHP 爬虫框架 Symphony 2 实现了爬取 Bilibili 弹幕数据的功能，并对获取到的数据进行了分析，生成了一个弹幕数量的图表。这个过程中，我们学会了如何使用 PHP 发送 GET 请求获取 Bilibili 视频弹幕数据，以及如何使用 Highcharts 来展示数据。

相关推荐