计算机视觉前沿研究速递：如何高效从arXiv获取最新CVPR论文

1次阅读

没有评论

共计 3709 个字符，预计需要花费 10 分钟才能阅读完成。

作为一名计算机视觉研究者，我深刻体会到手动追踪 arXiv 论文的痛点。特别是在 CVPR（计算机视觉与模式识别会议）这类顶会的高产期，每天都有数十篇新论文涌现。传统的手工检索方式存在三个致命问题：

时间成本高 ：每次需要重复输入相同的关键词组合，浏览大量无关结果
容易遗漏重要论文 ：人工筛选时难免会错过某些相关但标题不直观的研究
信息整合困难 ：复制粘贴论文信息到本地文档的过程既枯燥又容易出错

在开始编码前，我们先对比几种常见方案：

Google Scholar：覆盖面广但无法精确控制检索条件
Semantic Scholar：有 API 调用限制且响应速度较慢
arXiv API：完全免费、响应快速、支持复杂查询语法

显然 arXiv API 是我们的最佳选择，特别是对于需要获取预印本论文的场景。

首先安装必要的库：

pip install arxiv

下面是核心代码框架，实现了按 CVPR 相关关键词检索最新 10 篇论文：

import arxiv

def fetch_latest_papers():
    # 构建检索查询
    search = arxiv.Search(
        query="computer vision AND pattern recognition",
        max_results=10,
        sort_by=arxiv.SortCriterion.SubmittedDate,
        sort_order=arxiv.SortOrder.Descending
    )

    # 执行检索并处理结果
    results = []
    for result in search.results():
        paper_info = {
            "title": result.title,
            "authors": [author.name for author in result.authors],
            "abstract": result.summary,
            "pdf_url": result.pdf_url,
            "published": result.published.strftime("%Y-%m-%d")
        }
        results.append(paper_info)

    return results

增加美观的输出格式：

def print_papers(papers):
    for i, paper in enumerate(papers, 1):
        print(f"{i}. {paper['title']}")
        print(f"作者: {', '.join(paper['authors'])}")
        print(f"发表日期: {paper['published']}")
        print(f"摘要: {paper['abstract'][:200]}...")
        print(f"PDF 链接: {paper['pdf_url']}")
        print("-" * 80)

arXiv 官方建议：

单次请求不超过 1000 篇论文
每秒不超过 1 次请求
大规模抓取建议使用官方提供的数据集

解决方案：

import time

# 在循环中添加延迟
time.sleep(3)  # 3 秒间隔

常见问题包括作者信息缺失、日期格式异常等。改进后的健壮版代码：

try:
    author_list = [author.name for author in result.authors] if result.authors else ["未知作者"]
    publish_date = result.published.strftime("%Y-%m-%d") if result.published else "日期未提供"
except Exception as e:
    print(f"解析论文信息时出错: {e}")
    continue

arXiv 有时会更新论文版本，导致重复出现。解决方法：

seen_papers = set()

if paper['title'] in seen_papers:
    continue
seen_papers.add(paper['title'])

使用 pyzotero 库实现自动导入：

from pyzotero import zotero

zot = zotero.Zotero("你的用户 ID", "user", "你的 API 密钥")

for paper in papers:
    item = {
        "itemType": "preprint",
        "title": paper["title"],
        "abstractNote": paper["abstract"],
        "url": paper["pdf_url"],
        "date": paper["published"]
    }
    zot.create_items([item])

通过 SMTP 实现每周摘要推送：

import smtplib
from email.mime.text import MIMEText

def send_email(papers):
    content = "\n".join([f"{p['title']} - {p['pdf_url']}" for p in papers])
    msg = MIMEText(f"本周 CVPR 相关新论文:\n\n{content}")
    msg["Subject"] = "arXiv 论文更新提醒"

    with smtplib.SMTP("smtp.example.com", 587) as server:
        server.starttls()
        server.login("your_email@example.com", "password")
        server.sendmail("your_email@example.com", "target@example.com", msg.as_string())

以下是整合所有功能的最终版本：

import arxiv
import time
from datetime import datetime, timedelta

class arXivMonitor:
    def __init__(self):
        self.seen_titles = set()

    def fetch_papers(self, days=7, max_results=10):
        """获取最近 N 天的最新论文"""
        search = arxiv.Search(
            query="computer vision AND pattern recognition",
            max_results=max_results,
            sort_by=arxiv.SortCriterion.SubmittedDate,
            sort_order=arxiv.SortOrder.Descending
        )

        new_papers = []
        try:
            for result in search.results():
                if result.title in self.seen_titles:
                    continue

                paper = {
                    "title": result.title,
                    "authors": [a.name for a in result.authors] if result.authors else ["Unknown"],
                    "abstract": result.summary,
                    "pdf_url": result.pdf_url,
                    "published": result.published.strftime("%Y-%m-%d") if result.published else "Unknown"
                }
                new_papers.append(paper)
                self.seen_titles.add(result.title)

                time.sleep(1)  # 遵守 API 限制
        except Exception as e:
            print(f"Error fetching papers: {e}")

        return new_papers

if __name__ == "__main__":
    monitor = arXivMonitor()
    latest_papers = monitor.fetch_papers()

    for i, paper in enumerate(latest_papers, 1):
        print(f"[{i}] {paper['title']}")
        print(f"Published: {paper['published']}")
        print(f"Authors: {', '.join(paper['authors'])}")
        print(f"Abstract: {paper['abstract'][:150]}...")
        print(f"PDF: {paper['pdf_url']}")
        print()

这套自动化方案已经帮助我节省了大量文献调研时间。通过简单的改造，你还可以：