CREATE TABLE crawler_part
(
    id                 BIGINT AUTO_INCREMENT PRIMARY KEY COMMENT 'Unique ID for each auto part',
    part_number        VARCHAR(255) NOT NULL COMMENT 'Part number of the auto part',
    status             INT          NOT NULL DEFAULT 0 COMMENT 'Status of the auto part crawl: 0-not start,1-starting 2-Success, 3-Failure',
    result             VARCHAR(2000) COMMENT 'result of the part crawler',
    create_time        TIMESTAMP             DEFAULT CURRENT_TIMESTAMP COMMENT 'Time when the record was created',
    update_time        TIMESTAMP             DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'Time when the record was last updated',
    INDEX              idx_status (status) COMMENT 'Index for fast retrieval based on status'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='Table for auto parts crawled by a crawler';

实现过程中遇到的难点

难点在于：登录的时候如何验证滑动验证码。

网上参考了很多文章，最后找到了是通过opencv解决的。

通过参考这篇文章让我解决了滑动验证码的问题：基于Java+selenium+opencv模拟网页滑动验证_java + selenium 图片滑块拖动验证-CSDN博客

有点搞，现在这篇文章看不了了，要vip了，咳咳，但是一个合格的码农……懂得都懂……

演示

由于是公司提供商的网站，所以这里就不用实战网址进行测试滑动验证码了。

而是用掘金网址来做验证。（已获取掘金官方同意才做的）

(不得不说，掘金是真大气，哈哈）

演示视频

核心代码

计算滑块移动的距离：

/**
 * 获取滑块移动的距离
 * @param backgroudUrl 滑动背景图
 * @param slideUrl 小滑块
 * @param top 高度：小滑块上边到背景图上边的距离，单位是px
 * @return
 */
public static String getDistance(String backgroudUrl, String slideUrl, int top) {

    // 加载OpenCV本地库
    System.load(DLL_PATH);
    File bFile = new File(CommonConstant.OPENCV_PICS + "background.jpg");
    File sFile = new File(CommonConstant.OPENCV_PICS + "slideUrl.jpg");
    try {
        //将图片复制保存到指定路径
        FileUtils.copyURLToFile(new URL(backgroudUrl), bFile);
        FileUtils.copyURLToFile(new URL(slideUrl), sFile);

        BufferedImage bgBI = ImageIO.read(bFile);
        BufferedImage sBI = ImageIO.read(sFile);

        // 裁剪
        // 小滑块左边置顶，所以需要从滑块的右上角点开始截图，宽度为小滑块的，宽度是背景图减去小滑块的宽度。
        bgBI = bgBI.getSubimage(sBI.getWidth(), top, bgBI.getWidth() - sBI.getWidth(), sBI.getHeight());
        ImageIO.write(bgBI, "png", bFile);

        Mat s_mat = Imgcodecs.imread(sFile.getPath());
        Mat b_mat = Imgcodecs.imread(bFile.getPath());

        // 转灰度图像
        Mat s_newMat = new Mat();
        Imgproc.cvtColor(s_mat, s_newMat, Imgproc.COLOR_BGR2GRAY);

        // 二值化图像
        binaryZation(s_newMat);
        Imgcodecs.imwrite(sFile.getPath(), s_newMat);

        // 让两张图片进行比对
        int result_rows = b_mat.rows() - s_mat.rows() + 1;
        int result_cols = b_mat.cols() - s_mat.cols() + 1;
        Mat g_result = new Mat(result_rows, result_cols, CvType.CV_32FC1);
        // 归一化平方差匹配法
        Imgproc.matchTemplate(b_mat, s_mat, g_result, Imgproc.TM_SQDIFF);
        // 归一化相关匹配法
        Core.normalize(g_result, g_result, 0, 1, Core.NORM_MINMAX, -1, new Mat());

        Point matchLocation = new Point();
        Core.MinMaxLocResult mmlr = Core.minMaxLoc(g_result);
        matchLocation = mmlr.maxLoc; // 此处使用maxLoc还是minLoc取决于使用的匹配算法
        Imgproc.rectangle(b_mat, matchLocation,
                new Point(matchLocation.x + s_mat.cols(), matchLocation.y + s_mat.rows()), new Scalar(0, 255, 0, 0));
        //返回值就是要移动的距离，在这里需要加上被裁剪掉的宽度再减去小滑块的宽度，最后乘上相应的比例。
        // 这个1.62不是固定的，但是对于juejin的验证码来说就是固定的
        // 公式：原图px / 掘金验证码显示的大小px = 1.62
        // 换了网站的话，用上面公式进行重新计算。
        return "" + ((matchLocation.x + s_mat.cols()) / 1.62);
    } catch (Throwable e) {
        e.printStackTrace();
        return null;
    } finally {
        //删除保存的滑块以及背景图片
        bFile.delete();
        sFile.delete();
    }
}

自己动手试试，学会selenium的简单语法之后就可以了，难点就是这个计算距离的方法。

总结

总结这次抓取数据的方案设计。
selenium我觉得使用过程中没有什么难点，主要是业务上的难点，比如说完成滑动验证码的认证。
opencv的简单使用。
原文链接: https://juejin.cn/post/7379121513419112485

文章标签

后端开发程序员