多模態、預訓練排序是當下的熱門話題，同時也將會是未來金融行業的主攻方向之一。一直以來，度小滿關注創新技術的發展，加強創新技術在金融領域的運用，在多模態、預訓練排序等領域取得出色的成績。日前，由度小滿數據智能應用部AI-Lab撰寫的兩篇論文，對多模態和預訓練排序提出新穎算法，獲得了業界的高度關注。
度小滿兩篇論文對多模態和預訓練排序提出新穎算法
近日，度小滿數據智能應用部AI-Lab的兩篇論文分別入選ACM MM和CIKM國際頂級會議。兩篇論文分別就多模態和預訓練排序等多個熱門話題提出了新穎的算法，并在相關任務上達到了國際頂尖水平，獲得了審稿人的一致好評并最終錄用。這標志著度小滿在自然語言處理和計算機視覺等人工智能前沿領域的研究得到了國際同行的認可。
其中，度小滿論文中具有實體對齊網格的位置增強Transformer被ACM MM錄用。據了解，許多圖像除了實際的物體和背景等信息外，通常還包含著很有價值的文本信息，這對于理解圖像場景是十分重要的。因此度小滿這篇論文主要研究基于文本的視覺問答任務，這項任務要求機器可以理解圖像場景并閱讀圖像中的文本來回答相應的問題。然而之前的大多數工作往往需要設計復雜的圖結構和利用人工指定的特征來構建圖像中視覺實體和文本之間的位置關系。為了直觀有效地解決這些問題，度小滿科研團隊提出了具有實體對齊網格的位置增強Transformer。
該模型能夠整合目標檢測、OCR以及基于Transformer的文本表示等多種方法的優勢，增強算法對于圖像中場景信息的理解，更精準的融合圖像與文本多模態的信息，進一步助力證件識別、人臉與活體檢測等業務場景，提升度小滿在視覺風控方面的技術能力。
度小滿布局預訓練語言模型，廣泛運用于金融服務場景中
而度小滿另一篇論文中基于BERT的動態多粒度排序模型被CIKM錄用。近年來，預訓練的語言模型廣泛應用于文本的檢索排序任務中。然而，在真實場景中，用戶的行為往往受到選擇或曝光偏差的影響，這可能會導致錯誤的標簽進而引入額外噪聲。
而對于不同候選文檔，以往的訓練優化目標通常使用單一粒度和靜態權重。這使得排序模型的性能更容易受到上述問題的影響。因此，在度小滿這篇論文中科研人員重點研究了基于BERT的文檔重排序任務，開創性地提出了動態多粒度學習方法。此外，該方法還同時考慮了文檔粒度和實例粒度來平衡候選文檔的相對關系和絕對分數。
該模型有效地提升了長文本理解與排序任務的性能，特別是其中所用到的預訓練語言模型已經成為度小滿在自然語言處理方面的基礎架構，在獲客、信貸等業務場景被廣泛地使用，為業務模型提供了更加豐富的文本表示和精準的文本特征，在保障業務穩健發展中起到了十分重要的作用。
各種創新技術的誕生和應用，為金融服務產業的發展帶來了諸多機遇。可以說，加強技術創新，將會是企業搶占金融服務市場先機的有效途徑之一。相信在以度小滿為代表的一批創新金融科技企業的共同努力下，未來金融服務行業將擁有更多可能性。
【免責聲明】本文僅代表合作供稿方觀點，不代表和訊網立場。投資者據此操作，風險請自擔。
最新評論